Aufgabe: Anforderungen für Bewertung und Rückverfolgbarkeit definieren
Diese Aufgabe beschreibt die Anforderungen für die Bewertung und Rückverfolgbarkeit sowie die verfolgte Gesamtstrategie.
Disziplinen: Test
Beziehungen
Schritte
Anforderungen für Bewertung und Rückverfolgbarkeit identifizieren
Zweck:  Sich mit den Liefergegenständen für den Softwarebewertungsprozess vertraut machen und die zugeordneten Anforderungen ermitteln. 

Überprüfen Sie den Iterationsplan und identifizieren Sie spezifische Bewertungsanforderungen für die anstehende Arbeit. Fragen Sie Stakeholder, was sie hinsichtlich der Bereiche Bewertung und Rückverfolgbarkeit erwarten.

Berücksichtigen Sie auch die Frage, ob der Test während der Ausführung oder beim Abschluss formal geprüft werden soll. Formale Prüfanforderungen können die Sicherung weiterer Dokumentation und bestimmter Datensätze erfordern, als Beweis dafür, dass genügend Tests durchgeführt wurden.

Einschränkungen prüfen
Zweck:  Die Einschränkungen, die die Fähigkeit (oder Notwendigkeit) zur Implementierung der Anforderungen beeinträchtigen, identifizieren.  

Es ist zwar ganz normal, dass Sie eine unendlich lange Liste mit Wünschen haben, die Sie als Anforderungen für Rückverfolgbarkeits- und Bewertungsstrategien verwenden möchten, dennoch ist es wichtig, dass Sie sich auf die wichtigsten Bedürfnisse konzentrieren, die a) wesentliche Informationen zum Projektteam bieten und b) tatsächlich überwacht und gemessen werden können. Es ist unwahrscheinlich, dass Sie so viele Ressourcen für Ihre Strategie zur Verfügung haben, dass Sie mehr als die wesentlichen Anforderungen erfüllen können.

Unterthemen:

Akzeptable Qualitätsstufe Seitenanfang

Es ist wichtig, die Qualitätsstufe zu identifizieren, die als "gut genug" gelten soll, und entsprechende Bewertungsstrategie zu entwickeln. Seien Sie sich darüber im Klaren, dass die Vorstellung, die die Stakeholder von der Qualität haben, sich während des Projektlebenszyklus mehrmals vollständig ändern kann.

Überprüfen Sie den QS-Plan und den Softwareentwicklungsplan, und sprechen Sie mit den wichtigen Stakeholdern selbst direkt, um festzustellen, was sie als akzeptable Qualitätsstufe ansehen.

Prozess- und Toolunterstützung Seitenanfang

Eine problemlose Rückverfolgbarkeit und Bewertung bei niedriger Detailliertheit wäre wünschenswert, in der Realität ist die Implementierung eines solchen Ansatzes jedoch schwierig und normalerweise unwirtschaftlich. Selbst mit ausgefeilter Toolunterstützung kann es immer noch schwierig und zeitaufwändig sein, Ansätze zur Rückverfolgbarkeit auf niedriger Ebene zu steuern. Ohne Unterstützungstools ist es nahezu unmöglich. Es kann sein, dass der Softwareentwicklungsprozess selbst die Rückverfolgbarkeit einschränkt: Wenn die Rückverfolgbarkeit von Tests zu Motivationsanforderungen gewünscht wird, die Anforderungen selbst aber nicht sorgfältig verwaltet werden, ist es vielleicht unmöglich, diese Rückverfolgbarkeit zu implementieren.

Berücksichtigen Sie die Vorgaben und Einschränkungen des Softwareentwicklungsprozess und der Tools, und wählen Sie dementsprechend einen durchführbaren Rückverfolgbarkeits- und Bewertungsansatz aus.

Mögliche Strategien prüfen
Zweck:  Eine oder mehrere Strategien, die den erforderlichen Bewertungsprozess vereinfachen, identifizieren und umreißen.  

Da Sie jetzt die Bewertungs- und Rückverfolgbarkeitsanforderungen und die Einschränkungen, die durch die gewünschte Qualitätsstufe und die verfügbare Prozess- und Toolunterstützung vorgegeben sind, besser verstehen, müssen Sie prüfen, welche potenziellen Bewertungsstrategien Sie einsetzen könnten. In der Veröffentlichung "Measurement of the Extent of Testing", Cem Kaner, Oktober 2000, werden mögliche Strategien ausführlich behandelt. (Download von Adobe Reader)

Unterthemen:

Analyse der Testabdeckung Seitenanfang

Es gibt viele verschiedene Ansätze zur Testabdeckung, und keiner davon bietet alle Informationen, die notwendig sind, um eine Bewertung des Umfangs und der Vollständigkeit des Tests vorzunehmen. Beachten Sie, dass verschiedene Abdeckungsstrategien mehr oder weniger Aufwand für die Implementierung erfordern. Wenn Sie eine bestimmte Messkategorie auswählen, erreichen Sie normalerweise eine gewisse Tiefe in der Abdeckungsanalyse, so dass es unwirtschaftlich wird, detailliertere Informationen aufzuzeichnen.

Einige Kategorien zur Messung der Testabdeckung sind: Anforderungen, Quellcode, Produktanforderungen und -standards. Es wird empfohlen, dass Sie mehrere Kategorien zur Abdeckung in Ihre Testbewertungsstrategie einbinden. In den meisten Fällen bezieht sich die Testabdeckung auf die Planung und Implementierung bestimmter Tests in der ersten Instanz. Die Metriken der Testabdeckung und deren Analyse sind auch nützlich, wenn sie in Verbindung mit Testergebnissen oder Mängelanalysen untersucht werden.

Analyse der Testergebnisse Seitenanfang

Ein allgemeiner Ansatz zur Analyse von Testergebnissen besteht einfach darin, die Anzahl der positiven bzw. negativen Ergebnisse in Form eines prozentualen Anteils der insgesamt ausgeführten Tests anzugeben. Dieser Ansatz ist jedoch, auch nach Ansicht vieler Praktiker in der Test-Community, allzu simpel und unvollständig.

Stattdessen empfiehlt es sich, Ihre Testergebnisse in Form relativer Trends, die sich im Laufe der Zeit entwickeln, zu analysieren. Berücksichtigen Sie bei jedem Testzyklus die relative Verteilung der Testfehler auf verschiedene Dimensionen, wie z. B. den zu testenden Funktionsbereich, den Typ der zu untersuchenden Qualitätsrisiken, die relative Komplexität der Tests und die Testressourcen, die für die einzelnen Funktionsbereiche eingesetzt werden.

Mängelanalyse Seitenanfang

Die Tests selbst stehen zwar offensichtlich in Bezug zu den Testergebnissen, die Analyse von Mängeldaten bietet jedoch keine nützlichen Informationen zum Fortschritt des Tests bzw. seiner Vollständigkeit oder Gründlichkeit. Ein Fehler, der von einigen Testteams und Projektleitern gemacht wird, ist, die aktuelle Anzahl der Mängel zur Messung des Testfortschritts oder als Kriterium für die Qualität der entwickelten Software zu verwenden. Dieser Ansatz ist jedoch, auch nach Ansicht von Praktikern in der Test-Community, sinnlos.

Stattdessen wird empfohlen, den relativen Trend der Mängel im Laufe der Zeit zu analysieren, um ein Maß für relative Stabilität zu bieten. Nehmen Sie z. B. an, dass der Test relativ konstant bleibt, Sie würden normalerweise erwarten, die Quote für die Erkennung neuer Mängel, gemessen in einem angemessenen Zeitraum im Laufe der Iteration, zu sehen: eine ansteigende Erkennungsquote, die dann zum Ende der Iteration zurückgeht. Sie müssen diese Informationen jedoch in Verbindung mit einer Analyse anderer mängelbezogener Metriken sehen: Mängelbehebungsraten, einschließlich einer Analyse des Behebungsart, Verteilung von Mängeln nach Schweregrad, Verteilung von Mängeln nach Funktionsbereich.

Mit ausgefeilter Toolunterstützung können Sie komplexe Analysen von Mängeldaten relativ einfach durchführen, ohne geeignete Toolunterstützung ist das wesentlich schwieriger.

Mögliche Strategien mit Stakeholdern diskutieren
Zweck:  Nach erster Überprüfung Feedback der Stakeholder einholen und die Strategien nach Bedarf anpassen.  

Präsentieren Sie die möglichen Strategien verschiedenen Stakeholdern. Im Normalfall sollten die folgenden Rollen vertreten sein: Projektleiter, Softwarearchitekt, Entwicklungsmanager, Systemanalytiker, Leiter des Konfigurations- und Änderungsmanagements, Deployment-Manager und Kundenvertreter. Jede dieser Rollen ist hinsichtlich der Qualitätsbewertung Stakeholder.

Sie können je nach Projektkultur eine geeignete Form auswählen, um die möglichen Strategien zu präsentieren. Die Möglichkeiten reichen von einem oder mehreren informellen Treffen bis hin zur formalen Präsentation oder Workshop-Sitzung.

Bewertungsstrategie definieren und vereinbaren
Zweck:  Zustimmung der Stakeholder zu der zu verfolgenden Strategie einholen.  

Nutzen Sie das Feedback aus den Diskussionen, die Sie geführt haben, und verfeinern Sie die Bewertungsstrategie zu einer einzigen Strategie, die die Bedürfnisse aller Stakeholder berücksichtigt.

Präsentieren Sie die Bewertungsstrategie, um eine abschließende Übereinkunft über sie zu erzielen und sie zu bestätigen.

Toolanforderungen definieren
Zweck:  Die Konfigurationsanforderungen für die unterstützenden Tools definieren, die den Bewertungsprozess ermöglichen sollen.  

Wie zuvor schon erwähnt, können Sie mit ausgefeilter Toolunterstützung komplexe Analysen von Mängeldaten relativ einfach durchführen, ohne geeignete Toolunterstützung ist das wesentlich schwieriger.

Sie sollten hinsichtlich der Kategorien Abdeckung, Rückverfolgbarkeit und Mängelanalyse feststellen, welche Toolunterstützung Sie benötigen.

Ergebnisse auswerten und prüfen
Zweck:  Überprüfen, ob die Aufgabe ordnungsgemäß ausgeführt wurde und die resultierenden Arbeitsergebnisse annehmbar sind.  

Wenn Sie Ihre Arbeit beendet haben, kann es vorteilhaft sein zu prüfen, ob diese Arbeit hinreichend nutzbringend oder eine reine Papierverschwendung war. Sie sollten bewerten, ob die Qualität Ihrer Arbeit angemessen ist und ob der Umfang der Arbeit ausreicht, um eine Hilfestellung für die Teammitglieder zu bieten, die sie als Arbeitsvorgabe verwenden sollen. Verwenden Sie nach Möglichkeit die RUP-Prüflisten, um zu überprüfen, ob Qualität und Vollständigkeit "gut genug" sind.

Legen Sie den Personen, die nachgeordnete Aufgaben ausführen müssen und auf Ihre Arbeitsvorgaben angewiesen sind, einen Zwischenstand Ihrer Arbeiten zur Prüfung vor. Wählen Sie dafür einen Zeitpunkt, der eine Einbeziehung von Änderungswünschen oder die Berücksichtigung von Problemstellungen zulässt. Bewerten Sie Ihre Arbeit auch anhand der Arbeitsergebnisse, die für Sie die wichtigsten Vorgaben waren, um sicherzugehen, dass Sie diese präzise und ausreichend dargestellt haben. Vielleicht lassen Sie Ihre Arbeit ja dahingehend vom Autor dieser Arbeitsergebnisse prüfen.

Vergessen Sie nicht, dass RUP ein iterativer Prozess ist und dass sich in vielen Fällen Arbeitsergebnisse über einen längeren Zeitraum entwickeln. Es ist daher in der Regel nicht nötig und manchmal sogar kontraproduktiv, ein Arbeitsergebnis, das für die unmittelbar folgenden Arbeiten nur teilweise oder gar nicht benötigt wird, bereits vollständig und abschließend zu definieren. Es ist sehr wahrscheinlich, dass die umgebende Situation für das Arbeitsergebnis sich noch ändern wird und die bei Erzeugung des Arbeitsergebnisses gültigen Annahmen sich als fehlerhaft erweisen, so dass eine abschließende Gestaltung des Arbeitsergebnisses einen unnötigen Arbeitsaufwand und teures Nacharbeiten bedeuten würde. Sie sollten auch nicht zu viel Zeit auf die Darstellung verwenden, sondern sich eher auf den Inhalt konzentrieren. In Projektumgebungen, bei denen die Präsentation wichtig ist und als Projektliefergegenstand einen wirtschaftlichen Wert hat, könnten Sie für die Darstellungsaufgaben eine administrative Ressource nutzen.



Weitere Informationen