Aufgabe: Tests bewerten und verbessern
Diese Aufgabe konzentriert sich darauf, Änderungen am Test rechtzeitig vorzunehmen, um seine Effektivität zu erhöhen.
Zweck

Der Zweck dieser Aufgabe:

  • Die Produktivität, Effektivität und Vollständigkeit des Tests bewerten
  • Taktische und strategische Anpassungen am Test vornehmen, um die Effektivität zu verbessern.
Beziehungen
Schritte
Arbeitsstatus erfassen
Zweck:  Sich anhand objektiver, aktueller Informationen mit dem allgemeinen Status der Tests im Vergleich zur Planvorgabe vertraut machen.  

Es gibt verschiedene Möglichkeiten, diesen Schritt durchzuführen, der Ansatz ist stark von der Projektkultur abhängig. Erfassen und sortieren Sie, wo möglich, Fortschrittsberichte, die von einzelnen Teammitgliedern oder Gruppen innerhalb der Teams vorbereitet wurden. Das Führen von Stundenlisten für das Projekt ist eine weitere Möglichkeit. Wenn Projektplanungssysteme wie Microsoft Project aktiv genutzt und die Daten laufend aktualisiert werden, ist das ebenfalls eine nützliche Informationsquelle. Metriken zu Objektstatus und Fortschritt können auch von Systemen für das Konfigurations- und Änderungsmanagement abgeleitet werden, falls diese aktiv genutzt werden.

Versuchen Sie bei diesem und den folgenden Schritten, die sich mit der Erfassung von Daten und der Bewertung des Tests befassen, ein ausgeglichenes Bild mit objektiven und subjektiven Metriken zu schaffen. Bedenken Sie, dass objektive Zahlen nur einen Teil des Bildes ausmachen und durch die aktuelle Projektlage gestützt und erläutert werden müssen. Verlassen Sie sich umgekehrt nicht nur auf Hörensagen und subjektive Spekulationen zum Test: Suchen Sie nach objektiven Beweisen, die die jeweiligen Aussagen stützen. Es wird empfohlen, dass Sie Ihre Zieldaten durch Diskussion mit Teamleitern oder einzelnen Teammitgliedern diskutieren, um subjektive Bewertungen zu sammeln und festzustellen, wie viel Vertrauen Sie in die objektiven Daten setzen können.

Metriken zu Produktivität und Effektivität des Tests erfassen
Zweck:  Objektive Daten zur Bewertung des Tests, der vom Testteam durchgeführt wurde, erfassen.  

Stellen Sie fest, wie hoch der Aufwand für die Identifikation, die Definition, das Design, die Implementierung und die Ausführung von Tests war. Achten Sie auf Situationen, in denen der Aufwand für einen Aspekt des Tests sehr hoch war und andere Aspekte vernachlässigt wurden. Suchen Sie auch nach Bereichen, in denen der betriebene Aufwand unproduktiv ist oder gemessen an seinem Umfang nicht genügend Nutzen bringt.

Prüfen Sie auch die Effektivität der Tests. Suchen Sie nach Daten, die Ihre anfänglichen Beobachtungen hinsichtlich der Effektivität stützen. Berücksichtigen Sie Aspekte wie die Fehlererkennungsrate, Zähler für den Schweregrad von Mängeln, Statistiken zu doppelt erfassten Mängeln und Mängel, die sich aus beim Test nicht entdeckten Fehlern ergeben.

Verteilung von Änderungsanfragen, Trends und Altersmessdaten
Zweck:  Objektive Daten zur Bewertung der vom Testteam erfassten Problemstellungen und Mängel sammeln und untersuchen.  

Identifizieren Sie wichtige Trends, die sich in den Daten der Änderungsanfragen abzeichnen. Im Allgemeinen ist es bei dieser Aufgabe weniger wichtig, Zeit für die Analyse der Datenvolumina aufzuwenden, als vielmehr die Aussagen der relativen Datentrends zu identifizieren. Achten Sie auf positive Zeichen, wie eine stabile, kontinuierliche Rate der Mängelbehebung oder eine allmähliche, andauernde Zunahme bzw. Abnahme der Auflösungsrate im Laufe der Zeit. Achten Sie auf steile Lastspitzen und Talsohlen bei der Erkennungsrate, die möglicherweise anzeigen, dass das Entwicklungsteam sich mit geschäftspolitischen, prozessbedingten, umgebungsbedingten oder anderen Problemen auseinandersetzen muss, die seine Produktivität mindern.

Achten Sie auf Trends bei der Mängelbehebung, etwa eine starke Zunahme behobener Mängel. Achten Sie auf Fälle, bei denen Mitarbeiter des Entwicklungsteams Mängelberichte mit dem Vermerk "Nicht reproduzierbar" schließen. Identifizieren Sie die Fälle, in denen dieser Umstand darauf zurückzuführen ist, dass das Testteam keine ausreichende Analyse des Fehlers vorgenommen hat, und quantifizieren Sie das entsprechende Problem. Achten Sie auf Trends beim Schließen von Mängelberichten des Typs "Funktioniert wie vorgesehen". Identifizieren Sie die Fälle, in denen dieser Umstand darauf zurückzuführen ist, dass das Testteam keine ausreichende Analyse vorgenommen hat, und quantifizieren Sie dieses Problem. Prüfen Sie genau, ob in diesen Fällen nicht überarbeitete Entwickler versuchen, ihre Arbeitslast zu verringern, bevor Sie die Richtigkeit solcher Aussagen bestätigen. Sie sollten auch Trends bei der Mängelüberprüfung analysieren, da Mängelkorrekturen in späteren Builds für das Testteam freigegeben werden. Achten Sie auf Mängel, die seit langem auf eine Überprüfung warten. Ist die Anzahl der Mängel, die auf eine Überprüfung warten, so groß, dass sie nicht mehr gehandhabt werden können, sollten Sie ebenfalls nachhaken.

Achten Sie auf weitere Trends, die auf Probleme hindeuten. Prüfen Sie, auf welche Weise Mängel und andere Änderungsanfragen vom Testteam aufgezeichnet oder verwaltet wurden. Bei doppeldeutigen und unzureichenden Informationen zu einer Änderungsanfrage ist es für einen Entwickler schwierig, tätig zu werden. Das Team sollte darauf achten, die Qualität der Informationen, die zu Mängeln aufgezeichnet werden, im Durchschnitt relativ hoch bleibt. Sie können auch die Gelegenheit wahrnehmen, die Klarheit der zugeordneten Änderungsanfragen zu verbessern und dabei Mehrdeutigkeiten in den zugeordneten Änderungsanfragen sowie emotionale Ausdrucksweise und Begründungen zu entfernen. Arbeiten Sie dazu mit den Einzelpersonen, die diese Arbeitsergebnisse erstellt haben, zusammen, um sicherzustellen, dass das Wesen des Problems klar formuliert wird, und ermutigen Sie sie, Wege zu finden, die es erlauben, die Probleme sachlich und präzise zu diskutieren.

Achten Sie unter verschiedenen Aspekten auf Situationen, in denen Mängel ungleichmäßig verteilt sind. Suchen Sie nach Funktionsbereichen der Anwendung oder der Spezifikation, für die nur wenige Mängel gefunden wurden. Das kann ein Hinweis darauf sein, dass in diesem Funktionsbereich unzureichend getestet wurde. Prüfen Sie auch die Verteilung der Arbeitslast auf die einzelnen Mitglieder des Testteams. Möglicherweise gibt es Hinweise darauf, dass einzelne Teammitglieder überarbeitet sind und die Produktivität leidet.

Metriken zu Rückverfolgbarkeit, Abdeckung und Abhängigkeiten sammeln
Zweck:  Objektive Daten zur Bewertung der Rückverfolgbarkeit von Assets sammeln und untersuchen.  

Analysieren Sie den Status der Rückverfolgbarkeitsbeziehungen zwischen den Test-Assets - Testideen, Testfälle, Testscripts, Testsuites und Änderungsanfragen - und den Upstream- und Downstream-Assets, auf die sie sich beziehen. Suchen Sie nach Zeichen, die darauf hinweisen, dass der Test sich auf die richtigen Bereiche konzentriert, und suchen Sie nach nützlichen Motivationen. Suchen Sie auch nach Negativhinweisen, d. h. nach Hinweisen, dass bestimmte Testaspekte fehlen oder nicht mehr von Bedeutung sind. Wenn die Entwicklungsteams an Bereichen arbeiten, die von den aktuellen Tests nicht abgedeckt werden, muss das Anlass zur Sorge geben.

Metriken auswerten und erste Bewertung formulieren
Zweck:  Die Metriken auswerten und eine erste Bewertung der Effektivität des Tests im Vergleich zum Plan formulieren.  

Sortieren Sie alle Informationen, die Sie gesammelt haben, und bewerten Sie sie als Ganzes. Denken Sie daran, dass die Einzeldaten nur jeweils einen Aspekt der Gesamtbewertung abdecken. Sie müssen die Bewertung des Tests auf der Grundlage einer ausgeglichenen und gründlichen Prüfung aller Daten vornehmen.

Dokumentieren Sie Ihre erste Bewertung in einer Form, die es den Stakeholdern ermöglicht, Kommentare und Feedback abzugeben.

Ergebnisse aufzeichnen
Zweck:  Ergebnisse zusammenfassend dokumentieren, um sie in die Berichterstellung des Projektmanagements einzubeziehen und die Analyse späterer Statusbewertungen mit früheren Bewertungen vergleichen zu können.  

Mit dieser Aufgabe werden Statusinformationen erzeugt, die für den Projektleiter und andere Rollen im Managementteam wichtig sind. Diese Rollen verwenden die zusammenfassenden Ergebnisse, um fundierte Entscheidungen zum Projekt zu treffen.

Es wird empfohlen, einige Aspekte der Testbewertung in einer Form aufzuzeichnen, die einen Vergleich späterer Bewertungen mit früheren Bewertungen ermöglicht. So können Sie den relativen Trend bei der Verbesserung von Tests, der im Laufe der Zeit stattfindet, ermitteln.

Bewertung präsentieren und Feedback einholen
Zweck:  Stakeholder einbeziehen und deren Feedback einholen zu der Frage, ob der aktuelle Test ihren Bedürfnissen entspricht.  

Präsentieren Sie Ihre Bewertung, damit Stakeholder sie kommentieren und Feedback dazu abgeben können. Die Form oder die Methode, mit der das bewerkstelligt wird, variiert von Projekt zu Projekt. Das kann eine Serie informeller Gespräche sein, ein Beitrag auf einer Projektwebsite im Intranet oder eine formale Darstellung. Wählen Sie die Form aus, die am besten zu Ihrer Projektkultur passt.

Selbst mit den bestmöglichen Planungs- und Spezifikationsdokumenten gibt es normalerweise Unterschiede zwischen den ursprünglichen Erwartungen und Absichten, die mit diesen Dokumenten verbunden sind, und dem entstehenden Endprodukt. Das gilt sowohl für das Testen und Bewerten von Software als auch für die Softwareentwicklung selbst. Der Nutzen dieses Schritts besteht darin, die Gelegenheit, das Feedback der Stakeholder einzuholen, wahrzunehmen und festzustellen, wo trotz sorgfältiger Planung und Dokumentation Erwartungen nicht erfüllt oder Ziele nicht erreicht werden konnten.

Verbesserungsinitiativen planen und implementieren
Zweck:  Verbesserungswürdige Bereiche identifizieren und erste Strategien zur Realisierung dieser Verbesserungen formulieren.  

Identifizieren Sie Verbesserungsmöglichkeiten basierend auf Ihrer Analyse und dem Feedback, das Sie von verschiedenen Stakeholdern bekommen haben. Suchen Sie nach Möglichkeiten, die Tests effektiver, produktiver und effizienter zu machen. Beispiele: Mitarbeiter erneut zuordnen; Mitarbeiterteams unter dem Gesichtspunkt der Effektivität zusammenstellen oder spezialisierte Auftragnehmer einsetzen; Produktivitätstools einsetzen, um die Effizienz zu erhöhen; alternative Ansätze und Techniken suchen, die bei der Mängelermittlung produktiver sind.

In den meisten Fällen ist es besser, kleine, inkrementelle Verbesserungen an Tests vorzunehmen und das Risiko zu vermeiden, das Projekt mit großen, störenden Änderungen aus der Bahn zu werfen. In manchen Fällen jedoch ist eine größere Änderung gerechtfertigt und nützlich. Formulieren Sie sorgfältig einen geeigneten Verbesserungsansatz und diskutieren Sie Ihre Ideen mit anderen Mitarbeitern aus dem Management, um deren Feedback zu bekommen, bevor Sie das Team auf große Änderungen einschwören.

Verbesserungsinitiativen überwachen und unterstützen
Zweck:  Sicherstellen, dass die notwendigen Verbesserungsinitiativen zufriedenstellend und rechtzeitig realisiert werden.  

Um die Effektivität der Verbesserungen zu gewährleisten, müssen sie gepflegt werden. Identifizieren Sie Möglichkeiten zur Überwachung der Verbesserungsinitiativen, vorzugsweise vor ihrer Realisierung, um deren Effektivität zu bewerten. Überwachen Sie den Fortschritt, der bei der Annahme der Änderungen gemacht wird, selbst oder beauftragen Sie jemanden, dies zu tun.

Bei den meisten Änderungen müssen Widerstände oder Probleme überwunden werden, damit sie erfolgreich sein können. Bereiten Sie sich darauf vor, alle Probleme, die auftreten und dem Erfolg der Initiative im Wege stehen können, schnell anzugehen. Planen Sie genügend Zeit dafür ein. Der Mensch neigt dazu, Änderungen nur ungern durchzuführen. Seien Sie sich dessen bewusst und gehen Sie entsprechend einfühlsam vor.

Ergebnisse bewerten und prüfen
Zweck:  Überprüfen, ob die Aufgabe ordnungsgemäß ausgeführt wurde und die resultierenden Arbeitsergebnisse annehmbar sind.  

Wenn Sie Ihre Arbeit beendet haben, kann es vorteilhaft sein zu prüfen, ob diese Arbeit hinreichend nutzbringend oder eine reine Papierverschwendung war. Sie sollten bewerten, ob die Qualität Ihrer Arbeit angemessen ist und ob der Umfang der Arbeit ausreicht, um eine Hilfestellung für die Teammitglieder zu bieten, die sie als Arbeitsvorgabe verwenden sollen. Verwenden Sie nach Möglichkeit die RUP-Prüflisten, um zu überprüfen, ob Qualität und Umfang "gut genug" sind.

Legen Sie den Personen, die nachgeordnete Aufgaben ausführen müssen und auf Ihre Arbeitsvorgaben angewiesen sind, einen Zwischenstand Ihrer Arbeiten zur Prüfung vor. Wählen Sie dafür einen Zeitpunkt, der eine Einbeziehung von Änderungswünschen oder die Berücksichtigung von Problemstellungen zulässt. Bewerten Sie Ihre Arbeit auch anhand der Arbeitsergebnisse, die für Sie die wichtigsten Vorgaben waren, um sicherzugehen, dass Sie diese präzise und ausreichend dargestellt haben. Vielleicht lassen Sie Ihre Arbeit ja dahingehend vom Autor dieser Arbeitsergebnisse prüfen.

Vergessen Sie nicht, dass RUP ein iterativer Bereitstellungsprozess ist und dass sich in vielen Fällen Arbeitsergebnisse über einen längeren Zeitraum entwickeln. Es ist daher in der Regel nicht nötig und manchmal sogar kontraproduktiv, ein Arbeitsergebnis, das für die unmittelbar folgenden Arbeiten nur teilweise oder gar nicht benötigt wird, bereits vollständig und abschließend zu definieren. Es ist sehr wahrscheinlich, dass die umgebende Situation für das Arbeitsergebnis sich noch ändern wird und die bei Erzeugung des Arbeitsergebnisses gültigen Annahmen sich als fehlerhaft erweisen, so dass eine abschließende Gestaltung des Arbeitsergebnisses einen unnötigen Arbeitsaufwand und teures Nacharbeiten bedeuten würde. Sie sollten auch nicht zu viel Zeit auf die Darstellung verwenden, sondern sich eher auf den Inhalt konzentrieren. In Projektumgebungen, bei denen die Präsentation wichtig ist und als Projektliefergegenstand einen wirtschaftlichen Wert hat, könnten Sie für die Darstellungsaufgaben eine administrative Ressource nutzen.



Eigenschaften
Mehrere Vorkommen
Ereignisgesteuert
Fortlaufend
Optional
Geplant
Wiederholt anwendbar