수강 신청 시스템
C2 테스트 평가 요약
버전 1.0
개정 히스토리
날짜 |
버전 |
설명 |
작성자 |
1999년 3월 28일 |
1.0 |
R1.0
릴리스의 테스트 평가(C2 반복 - 초기 릴리스에서 개발) |
C. Smith |
|
|
|
|
|
|
|
|
목차
- 목표
- 범위
- 참조
- 소개
- 테스트 적용 범위
- 코드 적용 범위
- 결함 분석
- 7.1 결함 밀도
- 7.2 결함 상태동향
- 7.3 결함 추이분석
- 제안 조치
- 다이어그램
C2 테스트 평가 요약
1. 목표
이 테스트 평가 보고서는 수강 신청 시스템 릴리스
1.0 시스템 테스트의 결과를 테스트 적용 범위(요구사항 및 코드 기반
적용 범위)와 결함 분석(예: 결함 밀도) 관점에서 설명합니다. 이
테스트는 C2 반복 시 수행되었습니다.
2. 범위
이 테스트 평가 보고서는 C2 반복에서 구현된 수강 신청 R1.0
릴리스에 적용됩니다. 수행된 테스트는 테스트 계획 [5]에서
설명합니다. 이 평가 보고서는 다음과 같은 용도로 사용됩니다.
- R1.0 시스템 성능 동작의
만족도와 적합성 평가
- 테스트의 만족도 평가
- 개선사항 식별을 통한 테스트 적용 범위 및/또는 테스트 품질 향상
3. 참조
관련 참조 서적은 다음과 같습니다.
- 수강 신청 시스템 용어집, WyIT406, V2.0, 1999, Wylie College IT.
- 수강 신청 시스템 소프트웨어 개발 계획, WyIT418, V1.0, 1999, Wylie College IT.
- 수강 신청 시스템 C2 반복 계획, WyIT500, V1.0, 1999, Wylie College IT.
- 수강 신청 시스템 C2 통합 빌드 계획, WyIT502, V1.0,
1999, Wylie College IT.
- 수강 신청 시스템 테스트 계획, WyIT501, V1.0, 1999, Wylie
College IT.
4. 소개
테스트 스위트에 정의된 테스트 케이스는 테스트 계획 [5]에
정의된 테스트 전략에 따라 실행되었습니다. 테스트
결함은 로깅되었으며 현재 소유자에게 중간, 높음 또는
위험 우선순위 결함이 지정되어 수정될 예정입니다.
테스트 계획 [5]에 정의된 유스 케이스 및 테스트 요구사항 적용
관점의 테스트 적용 범위(아래 섹션 5.0 참조)가 95% 완료되었습니다. 로드
시뮬레이터 소프트웨어의 버그로 인해 완전 로드 상태에서의 시스템
조작과 관련된 10개의 테스트 케이스가 완료되지 않았습니다.
코드 적용 범위는 Rational Visual PureCoverage를
사용하여 측정되었으며 이 내용은 섹션 6.0에서 설명합니다.
결함 분석(아래 섹션 7.0 참조) 결과 발견된 결함의
대부분이 높음 또는 위험 심각도로 분류될 중요한 문제점인
것으로 밝혀졌습니다. 다른 중요한 결과는 과정 카탈로그
시스템에 대한 인터페이스를 구성하는 소프트웨어
컴포넌트에 여러 가지 결함이 있다는 것입니다.
5. 테스트 적용 범위
테스트 스위트에 정의된 모든 테스트 케이스가 시도되었지만 로드 시뮬레이터
소프트웨어의 소프트웨어 오류로 인해 10개의 테스트가 완료되지 않았습니다. 또한
실행된 테스트 케이스 중 15개 테스트가 실패했습니다.
테스트 적용 범위 결과는 다음과 같습니다.
테스트 케이스 수행 비율 = 110/120 = 92%
테스트 케이스 성공 비율 = 95/110 = 87%
실패율이 가장 높은 테스트 영역은 다음과 같습니다.
- 과정 카탈로그 시스템에 대한 액세스 관련 성능 테스트
- 과정 카탈로그 시스템에 대한 액세스 관련 로드 테스트
- 클라이언트 소프트웨어 설치
테스트 적용 범위에 대한 세부사항은 Rational RequisitePro
및 테스트 케이스 매트릭스를 사용하여 확인할 수 있습니다.
6. 코드 적용 범위
테스트의 코드 적용 범위를 측정하는 데는 Visual PureCoverage가 사용되었습니다.
LOC 실행 비율 = 94,399 / 102,000 = 93%
테스트 중 약 93%의 코드가 실행되었습니다. 이
적용 범위가 대상의 90%를 초과했습니다.
7. 결함 분석
이 섹션은 Rational ClearQuest를 사용하여 생성된
결함 분석 결과를 요약합니다. 섹션 8은 결함 분석
결과를 처리하기 위한 조치를 권장합니다.
7.1 결함 밀도
결함 밀도에 대한 데이터는 ClearQuest 보고서에서
추출한 데이터를 사용하여 생성되었습니다. 이 문서의
섹션 9에는 다음 내용을 보여주는 차트가 포함됩니다.
- 심각도 레벨별 결함(위험, 고, 중, 저)
- 결함 소스(문제점 또는 결함이 있는 컴포넌트)
- 결함 상태(로깅됨, 배정됨, 수정됨, 테스트됨, 닫힘)
심각도 레벨별 결함 차트는 로깅된 36개의 결함 중
26개가 높음 또는 위험 심각도로 분류됨을 보여줍니다. 이
숫자는 매우 높은 것이며 릴리스를 출시하려면 모든 높음
및 위험 결함을 처리 완료해야 합니다.
결함 소스 차트는 비정상적으로 많은 결함이 과정
카탈로그 시스템 인터페이스를 구성하는 컴포넌트(c-abx,
c-xxx)와 연관되어 있음을 보여줍니다. 또한
클라이언트 소프트웨어의 설치를 제어하는
소프트웨어 컴포넌트에 많은 결함이 있습니다.
결함 상태 차트는 해당 결함이 즉시
지정되어 처리됨을 보여줍니다. 대부분의 결함은 확인을
거쳐 처리가 완료되었습니다.
또한 중요 및 높음 결함에 대한 분석 결과 해당 결함 중 대부분이
과도한 로드하에서 과정 카탈로그 시스템 액세스와 관련된 응답 시간이
느리기 때문에 발생한 것으로 밝혀졌습니다(성능 요구사항을
확인하는 테스트 케이스 중 50%만 통과되었습니다.)
7.2 결함 상태동향
상태동향(예: 특정 기간의 결함 수)은 섹션 9의 다이어그램에 표시됩니다.
이 상태동향은 결함 발생 비율이 아직도 높음을 보여줍니다.
이러한 상태동향이 계속되는 경우 코드에 남아 있는
결함을 찾기 위한 추가 반복이 필요합니다.
7.3 결함 추이분석
추이 분석 차트(섹션 9 참조)는 일부 결함의 경우
처리 완료하는 데 30일 이상이 필요함을 보여줍니다.
8. 제안 조치
권장 조치는 다음과 같습니다.
- 과정 카탈로그 시스템 관련 응답 시간 문제에 시스템
엔지니어링 자원을 계속 할당하십시오. 이는 성능
요구사항을 충족시키지 않는 경우 R1.0 릴리스를
릴리스할 수 없다는 점에서 중요한 문제입니다.
- 마스터 스케줄을 검토하여 구현/구축(Construction) 단계에 네 번째 반복을
추가할 수 있는지 여부를 확인하십시오. 특정 기간의 결함 상태동향은
아직 코드에 많은 결함이 남아 있어 추가 테스트 주기가 권장됨을 나타냅니다.
- 빌드를 다시 제출하기 전에 결함 비율이 높은
컴포넌트(예: c-abx 및 c-xxx)를 검사해야 합니다.
- 위험 및 높음 심각도의 결함이 많은 경우 디자인이
불완전하거나 올바른 검토를 수행하지 않았음을 나타냅니다. R2.0 릴리스에 대한 추가 디자인 검토를 계획하십시오.
- 로드 시뮬레이터 소프트웨어 관련 문제점을
수정하고 연관 테스트 케이스를 재실행하십시오.
- 결함의 추이를 조사하십시오. 처리 완료하는 데 30일
이상이 소요되는 결함이 많은 이유는 무엇입니까?
9. 다이어그램
|