[QA Basics] QA 지표와 품질 측정

목차

<이전글>  [QA Basics] QA와 협업

 

1. 품질 지표의 필요성

2. 테스트 활동 지표

3. 결함 관리 지표

4. 프로젝트 품질 지표

5. 품질 대시보드와 시각화

6. 지표 활용 시 주의점

 

1. 품질 지표의 필요성

 

품질 지표(Quality Metrics)는 소프트웨어 품질을 수치로 표현한 값입니다.
단순히 “느낌상 안정적이다”가 아니라, 객관적 데이터 기반으로 품질을 설명할 수 있게 해줍니다.

📌 품질 지표가 필요한 이유

1. 객관적 의사결정
   •   일정 연장, 배포 승인, 리소스 재배치 등 중요한 결정의 근거 제공
   •   “품질이 좋다/나쁘다”를 주관이 아니라 숫자로 표현
2. 진행 상황 추적
   •   테스트 커버리지, 결함 발견률 같은 수치를 통해
   •   프로젝트가 계획대로 진행 중인지 점검
3. 리스크 가시화
   •   결함 추세, 심각도 분포를 통해 잠재 위험 영역 파악
   •   문제를 사전에 차단할 수 있음
4. 성과 평가와 개선
   •   QA 활동의 효과를 측정하고 개선 방향 도출
   •   예: 자동화 도입 후 회귀 테스트 소요 시간 50% 단축

 

품질 지표는 “품질을 수치화해 보여주는 언어”이며,
QA가 팀과 경영진에게 품질 상태를 설득력 있게 전달하는 도구다.

 

 

 

 

 

 

 

2. 테스트 활동 지표

 

테스트 활동 지표(Test Activity Metrics)는 테스트가 얼마나 잘 수행되고 있는지를 보여주는 지표입니다.
QA의 일상적 활동(계획·실행·검증)을 수치로 표현해 프로젝트 상태를 파악할 수 있습니다.

📌 주요 지표

1. 테스트 커버리지 (Test Coverage)
   •   테스트가 요구사항·코드·기능을 얼마나 포괄했는지 비율로 표시
   •   종류:
     •   요구사항 커버리지: 모든 요구사항이 최소 1개 이상의 케이스로 검증되는지
     •   코드 커버리지: Statement, Branch, Condition 커버리지
   •   예: 코드 1,000라인 중 800라인 실행 → 커버리지 80%
2. 테스트 실행률 (Execution Rate)
   •   계획된 테스트 케이스 중 실제로 실행된 비율
   •   계산: (실행된 케이스 수 ÷ 전체 케이스 수) × 100
   •   프로젝트 일정 관리에 활용
3. 테스트 성공률 (Pass Rate)
   •   실행된 케이스 중 성공한 케이스 비율
   •   계산: (성공 케이스 ÷ 실행 케이스) × 100
   •   예: 100건 중 85건 성공 → 성공률 85%
4. 결함 발견률 (Defect Detection Rate)
   •   실행된 테스트 대비 발견된 결함의 비율
   •   계산: (발견된 결함 수 ÷ 실행된 케이스 수) × 100
   •   품질 위험 영역을 가시화

 

테스트 활동 지표는 “계획 대비 실행, 실행 대비 성공, 성공 대비 결함 발견”을 보여주며,
QA 활동의 진척도와 효과성을 판단하는 핵심 도구다.

 

 

 

 

 

 

 

 

3. 결함 관리 지표

 

결함 관리 지표(Defect Metrics)는 발견된 결함의 양과 질, 그리고 추세를 수치로 표현합니다.
단순히 “버그가 많다/적다”가 아니라, 품질 리스크를 데이터로 드러내는 도구입니다.

📌 주요 지표

1. 결함 밀도 (Defect Density)
   •   코드 크기(LOC)나 기능 수 대비 결함 수
   •   계산: (발견된 결함 수 ÷ 코드 라인 수/기능 수)
   •   예: 1,000LOC에서 10건 → 결함 밀도 0.01
2. 결함 발견율 (Defect Detection Percentage, DDP)
   •   전체 결함 중 QA 테스트에서 발견된 비율
   •   계산: (QA 발견 결함 ÷ 전체 발견 결함) × 100
   •   QA 팀의 효과성을 평가하는 지표
3. 결함 누적 추세 (Defect Trend)
   •   시간에 따른 결함 발견·해결 추세 그래프
   •   남은 결함 수가 줄어드는지, 특정 구간에서 몰리는지 확인
4. 결함 심각도 분포 (Defect Severity Distribution)
   •   결함을 Blocker, Critical, Major, Minor 등으로 구분
   •   “결함 개수”보다 “심각한 결함 비율”이 더 중요한 품질 지표

📌 지표 해석 포인트

• 결함 수가 많아도 대부분 Minor면 큰 리스크 아님
• 결함이 특정 모듈에 몰리면 → 집중 테스트 필요
• 추세 그래프가 일정 시점 이후 안정화되면 → 배포 가능성 ↑

 

결함 관리 지표는 “얼마나 많은 버그가, 얼마나 심각하게, 언제 발견·해결되는가”를 보여주며,
프로젝트 품질 상태와 리스크를 가시화한다.

 

 

 

 

 

 

 

4. 프로젝트 품질 지표

 

프로젝트 품질 지표(Project Quality Metrics)는

프로젝트 전체의 진행 상황과 품질 수준을 평가하는 지표입니다.
일정, 비용, 리스크까지 포함해 경영진·PM에게 보고 가능한 수준의 품질 지표를 제공합니다.

📌 주요 지표

1. 일정 준수율 (Schedule Adherence)
   •   계획된 일정 대비 실제 완료율
   •   계산: (완료된 작업 ÷ 계획된 작업) × 100
   •   일정 지연 가능성을 조기 파악
2. 리스크 대응 지표
   •   프로젝트 중 식별된 리스크 수, 해결된 리스크 비율
   •   리스크가 감소 추세인지 여부로 안정성 평가
3. 테스트 비용 vs 실패 비용
   •   테스트 비용(Test Cost): QA 인력, 도구, 환경 구축 비용
   •   실패 비용(Failure Cost): 배포 후 버그 수정, 클레임, 신뢰도 하락 비용
   •   비교를 통해 QA 투자 효율성 설명 가능
4. 품질 비용(CoQ: Cost of Quality)
   •   예방 비용 + 평가 비용 + 내부 실패 비용 + 외부 실패 비용
   •   QA 활동이 CoQ 절감에 얼마나 기여했는지 확인
5. ROI (Return on Investment)
   •   자동화 도입, 도구 활용 등이 실제로 얼마나 비용 절감과 품질 향상으로 이어졌는지 측정
   •   예: 자동화 회귀 테스트 → QA 리소스 30% 절감

📌 지표 활용 예시

• “일정 준수율 95%, 주요 리스크 80% 해소, CoQ 절감 20%” 같은 수치를 근거로
• 프로젝트 품질을 객관적으로 설명하고 의사결정(배포, 연장, 자원 재분배) 지원

 

프로젝트 품질 지표는 “QA 활동이 프로젝트 전반에 어떤 가치를 주었는가"를 보여주며,
단순 테스팅을 넘어 경영적 품질 관리로 확장된다.

 

 

 

 

 

 

 

5. 품질 대시보드와 시각화

 

품질 지표는 모아두는 것만으로는 의미가 없습니다.
대시보드와 시각화를 통해 팀·PM·경영진이 한눈에 이해할 수 있어야 합니다.

 
📌 품질 대시보드의 역할

1. 실시간 품질 상태 공유
   •   진행 중인 테스트 실행률, 결함 현황, 커버리지 즉시 확인
2. 이슈 조기 발견
   •   결함 급증, 커버리지 부족 등 이상 징후를 빠르게 인지
3. 의사결정 지원
   •   배포 승인 여부, 자원 재배치 판단 근거 제공

📌 주요 도구

• Jira + Zephyr/TestRail → 테스트 관리 및 실행 현황 시각화
• SonarQube → 코드 품질 지표(복잡도, 중복, 커버리지)
• Allure Report → 자동화 테스트 실행 결과 리포트
• Grafana / Kibana → 로그·운영 지표 시각화

📌 시각화 방식

• 차트: 실행률(막대), 결함 추세(라인), 심각도 분포(파이)
• 지표 카드: Pass율, 오픈 결함 수, 자동화 커버리지
• 트렌드 그래프: 주·월 단위 품질 변화 추적

 

품질 대시보드와 시각화는 “품질을 숫자에서 그림으로 바꾸는 과정”이며,
QA가 팀 전체를 품질 중심 의사결정으로 이끄는 핵심 도구다.

 

 

 

 

 

 

6. 지표 활용 시 주의점

 

품질 지표는 품질 상태를 가시화하는 도구이지만,
숫자에만 집착하거나 맥락을 무시하면 잘못된 결론으로 이어질 수 있습니다.

📌 주의해야 할 점

1. 숫자 자체에 집착하지 않기
   •   “결함 0건 = 품질 우수”가 아님
   •   단순히 리포트되지 않았을 뿐, 실제로는 잠재 결함이 많을 수 있음
2. 맥락 고려하기
   •   결함 수가 많아도 조기 발견으로 빠르게 수정되었다면 긍정적 신호
   •   커버리지가 낮더라도 핵심 영역을 충분히 검증했다면 문제 없음
3. 지표의 게임화(Gameification) 방지
   •   팀이 지표를 목표로만 삼아 “결함 은폐” 같은 부작용이 발생할 수 있음
   •   지표는 성과 평가 도구가 아니라 품질 개선 도구임을 명확히 해야 함
4. 질적 평가와 병행
   •   지표는 수치만 보여줌 → 사용성, UX, 만족도 같은 정성적 품질은 놓칠 수 있음
   •   정성적 피드백(사용자 리뷰, 회고 결과)과 함께 해석 필요

 

품질 지표는 “품질을 수치로 번역하는 언어”일 뿐,
맥락과 질적 평가를 함께 고려해야 진정한 품질 인사이트를 얻을 수 있다.

 

 

 

 

 

 

 

마무리
이 시리즈에서는 품질 보증의 핵심 개념부터 실무 적용까지 기본 개념을 살펴보았습니다.