Toolmentor: Testergebnisse mit Rational Test RealTime analysieren
Dieser Toolmentor beschreibt, wie die Ergebnisse eine Testausführung in Rational Test RealTime analysiert werden.
Tool: Rational Test RealTime
Beziehungen
Zugehörige Elemente
Hauptbeschreibung

Überblick

Dieser Toolmentor beschreibt, wie die Ergebnisse eine Testausführung in Rational Test RealTime analysiert werden. Der Wert früher und häufig ausgeführter Tests ist nicht fassbar, wenn das Ergebnis der Testaktivitäten nicht schnell und einfach interpretiert und nicht darauf reagiert werden kann.

Mit der Verwendung von Technologie mit Einfügen von Quellcode und Quellcodeanalyse ist Rational Test RealTime in der Lage, seine Komponententests und Laufzeitanalysefunktionen direkt auf die Quellcodeebene zu konzentrieren. Es wurde eine Vielzahl von Features hinzugefügt, um sicherzustellen, dass Fehlfunktionen schnell isoliert werden und der zugehörige Quellcode einfach und effizient bearbeitet werden kann:

  • Der Quellcode kann im Texteditor von Test RealTime geöffnet und modifiziert werden.
  • Mit Versionssteuerungsprogrammen (z. B. Rational ClearCase) kann versionsgesteuerter Code ein- und ausgecheckt werden.
  • Es ist ein direkter Zugriff auf Änderungsmanagementprogramme (z. B. ClearQuest) möglich, um Mängel und Verbesserungsvorschläge zu melden.

Diese Features werden zusammen mit den Analyseberichten verwendet, die von den Testtools erzeugt werden. Jede Schlüsselfunktion von Test RealTime - Komponententest, Systemtest, Speicherprofilermittlung, Leistungsprofilermittlung, Code-Coverage-Analyse, Laufzeit-Trace, statische Metrikgenerierung - hat einen eigenen Bericht. Diese Berichte enthalten Informationen, die aus einer Reihe von Protokolldateien, die von Quellcode-Parsern, Quellcodeinstrumentoren, Testscriptgeneratoren, Testscriptcompilern, Ziel-Deployment-Ports und Berichtsgeneratoren erzeugt werden, extrahiert werden. Diese Dateien können automatisch beim Abschluss eines Durchlaufs von Test RealTime oder manuell geöffnet werden.

Jeder Bericht ist so gestaltet, dass er direkt interpretierbar ist und eine schnelle und effiziente Problemdiagnose und -behebung ermöglicht.

Berichtstypen

Die Berichtsanalyse wird für jedes Test-RealTime-Feature beschrieben. Sofern relevant, werden auch Unterschiede bei den Berichten aufgrund der verwendeten Programmiersprache beschrieben:

Komponententest und Systemtest

Wenn Sie diese Berichte auf der Registerkarte "Project Browser" im Fenster "Project" auf der rechten Seite der Benutzerschnittstelle von Test RealTime öffnen möchten, klicken Sie mit der rechten Maustaste auf einen Testknoten und wählen Sie "View Report->Test" aus. Gehen Sie wie folgt vor, um diese Berichte über das Menü von Test RealTime zu öffnen:

  1. Wählen Sie im Menü "File->Browse Reports" aus.
  2. Wählen Sie in der Funktionsleiste die Schaltfläche "Add" aus.
  3. Wählen Sie in der Dropdown-Liste "Files of Type" den Eintrag Report aus.
  4. Wählen Sie die Dateien mit der Erweiterung .xrd aus, die den Berichten entsprechen, die Sie anzeigen möchten.
  5. Klicken Sie auf die Schaltfläche "Open".

Wenn Sie diese Berichte in der Befehlszeile öffnen möchten, geben Sie die jeweilige Datei mit der Erweiterung .xrd einfach als Parameter in der Befehlszeile studio an.

Der Bericht setzt sich aus zwei Hauptabschnitten zusammen, einem Abschnitt mit einer Zusammenfassung und einem Abschnitt mit Details.

  • Summary - Dieser Abschnitt enthält Informationen wie die Positionen der Berichtsdateien, die Zeit der Ausführung sowie Zähler für die bestandenen und gescheiterten Tests.

  • Component Test Details - Dieser Abschnitt enthält für Komponententests Informationen zu den Treibern, Services, Funktionen, Methoden und Prozeduren, die getestet werden. Der Bericht enthält für jeden Eintrag einige oder alle der folgenden Informationen. Dies richtet sich nach Quellensprache und ausgewählten Optionen:
    • Ein Testabschnitt, der einen Überblick enthält und zusammenfasst, ob der Test erfolgreich war oder nicht.
    • Ein Abschnitt mit Variablenwerten, der die gefundenen Werte für die einzelnen Variablen enthält.
    • Wenn eine Code-Coverage-Analyse durchgeführt wurde, ein Abschnitt zur Identifizierung von nicht getestetem Code.
    • Zusätzliche Informationen zur Vertragssicherung (d. h. Asserts) und Prüfabfragen für C++ und Java.

  • System Test Details - Für Systemtests werden die folgenden Unterabschnitte bereitgestellt:
    • Ein Initialisierungsabschnitt, in dem die Schritte zum Öffnen einer Verbindung zu der zu testenden Komponente detailliert beschrieben sind.
    • Mindestens ein Szenarioabschnitt, in dem die tatsächlich ausgeführten Tests detailliert beschrieben werden. Szenarioblöcke können verschachtelt sein.
    • Ein Abschnitt zur Beendigung, in dem die Schritte zum Beenden der Verbindung mit der zu testenden Komponente detailliert beschrieben werden.

Der Report Explorer der Benutzerschnittstelle von Test RealTime kann zur Navigation im Testbericht verwendet werden. Klicken Sie doppelt auf einen Knoten, der für Sie von Interesse ist. Mit der Menüoption "Test Report" und der Funktionsleiste können Sie den Bericht so filtern, dass nur Fehler angezeigt werden. Mehrere Abschnitte des Testberichts sind über Hyperlinks mit dem Testscript verbunden. Klicken Sie einfach mit der rechten Maustaste auf die Abschnitte, bei denen das Maussymbol in Form einer Hand dargestellt wird.

Symbol für Buch Ausführliche Informationen zum Anzeigen von Testberichten finden Sie im Rational Test RealTime User Guide in den Abschnitten des Kapitels "Automated Testing->Component Testing", in denen der Testbericht beschrieben wird.

Symbol für Buch Ausführliche technische Informationen zur Arbeit mit Berichtsdateien finden Sie im Rational Test RealTime Reference Guide in den Abschnitten, in denen die verschiedenen Testberichtgeneratoren beschrieben werden. Lesen Sie insbesondere die Seite "File Types" im Anhang.

Speicherprofilerstellung

Speicherprofilberichte für alle unterstützten Sprachen (C, C++ und Java) werden in XML-basierten Dateien im Ordner "Project" bzw. im Ordner "TDP" gespeichert.

Wenn Sie diese Berichte auf der Registerkarte "Project Browser" im Fenster "Project" auf der rechten Seite der Benutzerschnittstelle von Test RealTime öffnen möchten, klicken Sie mit der rechten Maustaste auf einen Testknoten und wählen Sie "View Report->Memory Profile" aus.

Gehen Sie wie folgt vor, um diese Berichte über das Menü von Test RealTime zu öffnen:

  1. Wählen Sie im Menü "File->Browse Reports" aus.
  2. Wählen Sie in der Funktionsleiste die Schaltfläche "Add" aus.
  3. Wählen Sie in der Dropdown-Liste "Files of Type" den Eintrag Memory Profiling aus.
  4. Wählen Sie die Dateien aus, die Sie anzeigen möchten.
  5. Wiederholen Sie bei Bedarf die Schritte 2 bis 4.
  6. Klicken Sie im Fenster "Report Browser" auf die Schaltfläche "Open".

Wenn Sie diese Berichte in der Befehlszeile öffnen möchten, geben Sie die Dateien, an denen Sie interessiert sind, einfach als Parameter in der Befehlszeile studio an.

Der Bericht setzt sich aus zwei Hauptabschnitten zusammen, einem Abschnitt mit einer Zusammenfassung und einem Abschnitt mit Details.

  • Summary - Ein Histogramm- und textbasierter Berichtsabschnitt, der die Gesamtanzahl der zugeordneten und freigegebenen Blöcke und Bytes sowie die maximale Anzahl zugeordneter Blöcke und Bytes zu einer Zeit angibt.

  • C and C++ Details - In diesem Abschnitt wird jeder Fehler und jede Warnung mit dem zugehörigen Aufruf-Stack aufgelistet. Der Aufruf-Stack wird beginnend mit der zuletzt aufgerufenen Funktion bzw. Methode angezeigt. Alle Funktionen bzw. Methoden im Aufruf-Stack haben einen Hyperlink zum Quellcode.

  • Java Details - Eine Liste mit allen Methoden, denen seit der letzten Momentaufnahme Objekte zugeordnet wurden. In der Basistabelle sind die Anzahl der Objekte und die zugehörigen Bytes, die für jede Methode seit der letzten Methode reserviert wurden, sowie die Gesamtanzahl der Objekte und Bytes aufgelistet, die für alle Methoden und ihre untergeordneten Methoden reserviert wurden.

Der Report Explorer der Benutzerschnittstelle von Test RealTime kann zur Navigation im Testbericht verwendet werden. Klicken Sie doppelt auf einen Knoten, der für Sie von Interesse ist. Mit der Menüoption "Test Report" und der Funktionsleiste können Sie den Bericht so filtern, dass nur Fehler angezeigt werden. Mehrere Abschnitte des Testberichts sind über Hyperlinks mit dem Testscript verbunden. Klicken Sie einfach mit der rechten Maustaste auf die Abschnitte, bei denen das Maussymbol in Form einer Hand dargestellt wird.

Symbol für Buch Ausführliche Informationen zum Anzeigen von Speicherprofilberichten finden Sie im Rational Test RealTime User Guide im Kapitel "Runtime Analysis->Memory Profiling".

Symbol für Buch Ausführliche technische Informationen zur Arbeit mit Berichtsdateien finden Sie im Rational Test RealTime Reference Guide in den Abschnitten, in denen die verschiedenen Testberichtgeneratoren beschrieben werden. Lesen Sie insbesondere die Seite "File Types" im Anhang.

Ermitteln von Engpässen bei der Anwendungsleistung

Leistungsprofilberichte für alle unterstützten Sprachen (C, C++ und Java) werden in XML-basierten Dateien im Ordner "Project" bzw. im Ordner "TDP" gespeichert.

Wenn Sie diese Berichte auf der Registerkarte "Project Browser" im Fenster "Project" auf der rechten Seite der Benutzerschnittstelle von Test RealTime öffnen möchten, klicken Sie mit der rechten Maustaste auf einen Testknoten und wählen Sie "View Report->Memory Profile" aus.

Gehen Sie wie folgt vor, um diese Berichte über das Menü von Test RealTime zu öffnen:

  1. Wählen Sie im Menü "File->Browse Reports" aus.
  2. Wählen Sie in der Funktionsleiste die Schaltfläche "Add" aus.
  3. Wählen Sie in der Dropdown-Liste "Files of Type" den Eintrag Performance Profiling aus.
  4. Wählen Sie die Dateien aus, die Sie anzeigen möchten.
  5. Wiederholen Sie bei Bedarf die Schritte 2 bis 4.
  6. Klicken Sie im Fenster "Report Browser" auf die Schaltfläche "Open".

Wenn Sie diese Berichte in der Befehlszeile öffnen möchten, geben Sie die Dateien, an denen Sie interessiert sind, einfach als Parameter in der Befehlszeile studio an.

Der Bericht ist folgendermaßen aufgebaut: Im oberen Teil jedes Berichts finden Sie ein Tortendiagramm, das die einzelnen Funktionen/Methoden (bis zu 6) zeigt, die mindestens 5 % der Gesamtausführungszeit beanspruchen. Unterhalb des Tortendiagramms befindet sich eine sortierbare Tabelle, in der die einzelnen Funktionen/Methoden und verschiedene zugehörige Statistiken aufgelistet sind. Wenn Sie auf eine Spaltenüberschrift klicken, wird die vollständige Liste nach dem Inhalt dieser Spalte sortiert. Wenn Sie auf einen Funktions- bzw. Methodennamen klicken, wird der entsprechende Quellcode angezeigt. Keiner der angezeigten Werte ist notwendigerweise gut oder schlecht. Lange Ausführungszeiten von Funktionen oder Ausführungszeiten von Zielfunktionen und ihren abhängigen Funktionen deuten lediglich auf potenzielle ineffiziente Algorithmen und damit auf Kandidaten für die Optimierung hin.

Symbol für Buch Ausführliche Informationen zum Anzeigen von Leistungsprofilberichten finden Sie im Rational Test RealTime User Guide im Kapitel "Runtime Analysis->Performance Profiling".

Symbol für Buch Ausführliche technische Informationen zur Arbeit mit Berichtsdateien finden Sie im Rational Test RealTime Reference Guide in den Abschnitten, in denen die verschiedenen Testberichtgeneratoren beschrieben werden. Lesen Sie insbesondere die Seite "File Types" im Anhang.

Code-Coverage-Analyse

Code-Coverage-Analyseberichte für alle unterstützten Sprachen (C, C++, Ada und Java) werden in XML-basierten Dateien im Ordner "Project" bzw. im Ordner "TDP" gespeichert.

Wenn Sie diese Berichte auf der Registerkarte "Project Browser" im Fenster "Project" auf der rechten Seite der Benutzerschnittstelle von Test RealTime öffnen möchten, klicken Sie mit der rechten Maustaste auf einen Testknoten und wählen Sie "View Report->Memory Profile" aus.

Gehen Sie wie folgt vor, um diese Berichte über das Menü von Test RealTime zu öffnen:

  1. Wählen Sie im Menü "File->Browse Reports" aus.
  2. Wählen Sie in der Funktionsleiste die Schaltfläche "Add" aus.
  3. Wählen Sie in der Dropdown-Liste "Files of Type" den Eintrag Code Coverage aus.
  4. Wählen Sie die Dateien aus, die Sie anzeigen möchten.
  5. Wiederholen Sie bei Bedarf die Schritte 2 bis 4.
  6. Klicken Sie im Fenster "Report Browser" auf die Schaltfläche "Open".

Wenn Sie diese Berichte in der Befehlszeile öffnen möchten, geben Sie die Dateien, an denen Sie interessiert sind, einfach als Parameter in der Befehlszeile studio an.

Der Bericht ist in zwei Hauptbereiche unterteilt, Source und Rates:

  • Source - Auf der Registerkarte "Source" werden zwei Ebenen von Informationen zur Codeabdeckung angezeigt:
    • Wenn der Stammordner ausgewählt ist, wird die Gesamtcodeabdeckung in Form eines Balkendiagramms zusammengefasst.
    • Wenn im Berichtsfenster ein anderer Knoten ausgewählt ist, wird auf der Registerkarte "Source" ein farbcodierte Anzeige verwendet, um die abgedeckten Code von nicht abgedecktem Code zu unterscheiden. Auf der Registerkarte "Source" werden Informationen zum ausgewählten Knoten angezeigt.

  • Rates - Auf der Registerkarte "Rates" wird die Codeabdeckung für jede Funktion/Methode/Prozedur in Form von Prozentwerten angezeigt.

Symbol für Buch Ausführliche Informationen zum Anzeigen von Code-Coverage-Analyseberichten finden Sie im Rational Test RealTime User Guide im Kapitel "Runtime Analysis->Code Coverage".

Symbol für Buch Ausführliche technische Informationen zur Arbeit mit Berichtsdateien finden Sie im Rational Test RealTime Reference Guide in den Abschnitten, in denen die verschiedenen Testberichtgeneratoren beschrieben werden. Lesen Sie insbesondere die Seite "File Types" im Anhang.

Laufzeit-Trace

Laufzeit-Trace-Berichte für alle unterstützten Sprachen (C, C++ und Java) werden in XML-basierten Dateien im Ordner "Project" bzw. im Ordner "TDP" gespeichert.

Wenn Sie diese Berichte auf der Registerkarte "Project Browser" im Fenster "Project" auf der rechten Seite der Benutzerschnittstelle von Test RealTime öffnen möchten, klicken Sie mit der rechten Maustaste auf einen Testknoten und wählen Sie "View Report->Memory Profile" aus.

Gehen Sie wie folgt vor, um diese Berichte über das Menü von Test RealTime zu öffnen:

  1. Wählen Sie im Menü "File->Browse Reports" aus.
  2. Wählen Sie in der Funktionsleiste die Schaltfläche "Add" aus.
  3. Wählen Sie in der Dropdown-Liste "Files of Type" den Eintrag Trace Files aus.
  4. Wählen Sie die Dateien aus, die Sie anzeigen möchten.
  5. Wiederholen Sie bei Bedarf die Schritte 2 bis 4.
  6. Klicken Sie im Fenster "Report Browser" auf die Schaltfläche "Open".

Wenn Sie diese Berichte in der Befehlszeile öffnen möchten, geben Sie die Dateien, an denen Sie interessiert sind, einfach als Parameter in der Befehlszeile studio an.

Der Laufzeit-Trace-Bericht ist ein Ablaufdiagramm aller Ereignisse, die während der Ausführung der Anwendung bzw. des Testcodes eingetreten sind. Dieses Ablaufdiagramm verwendet eine Notation aus der Unified Modeling Language und kann damit zu Recht als UML-basiertes Ablaufdiagramm bezeichnet werden. Vertikale Linien sind Lebenslinien. Jede Lebenslinie stellt eine Java-Objektinstanz dar. Die erste, in Form eines Balkens dargestellte Lebenslinie ist die "Welt", d. h. das Betriebssystem. Horizontale Linien verbinden die einzelnen Lebenslinien miteinander. Grüne Linien sind Konstruktoraufrufe, schwarze Linien Methodenaufrufe, rote Linien Rückgabewerte von Methoden, blaue Linien Destruktoraufrufe und orangefarbige Linien Erwartungen. Wenn Sie den Mauszeiger auf einen Methodenaufruf setzen, erscheint der vollständige Text. Jeder Aufruf und jede Rückgabe eines Aufrufs ist mit einer Zeitmarke versehen. Alle vertikalen und horizontalen Linien sind über einen Hyperlink mit dem überwachten Quellcode verbunden. Mit der Menüoption "Runtime Trace->Filters" können Sie Filter erstellen, die den Laufzeit-Trace-Bericht übersichtlicher machen.

Symbol für Buch Ausführliche Informationen zum Anzeigen von Laufzeit-Trace-Berichten finden Sie im Rational Test RealTime User Guide im Kapitel "Runtime Analysis->Runtime Tracing".

Symbol für Buch Ausführliche technische Informationen zur Arbeit mit Berichtsdateien finden Sie im Rational Test RealTime Reference Guide in den Abschnitten, in denen die verschiedenen Testberichtgeneratoren beschrieben werden. Lesen Sie insbesondere die Seite "File Types" im Anhang.

Statische Metriken

Speicherprofilberichte für alle unterstützten Sprachen (C, C++ und Java) werden in XML-basierten Dateien im Ordner "Project" bzw. im Ordner "TDP" gespeichert.

Wenn Sie diese Berichte auf der Registerkarte "Project Browser" im Fenster "Project" auf der rechten Seite der Benutzerschnittstelle von Test RealTime öffnen möchten, klicken Sie mit der rechten Maustaste auf einen Testknoten und wählen Sie "View Report->Memory Profile" aus.

Gehen Sie wie folgt vor, um diese Berichte über das Menü von Test RealTime zu öffnen:

  1. Wählen Sie im Menü "File->Browse Reports" aus.
  2. Wählen Sie in der Funktionsleiste die Schaltfläche "Add" aus.
  3. Wählen Sie in der Dropdown-Liste "Files of Type" den Eintrag Metric aus.
  4. Wählen Sie die Dateien aus, die Sie anzeigen möchten.
  5. Wiederholen Sie bei Bedarf die Schritte 2 bis 4.
  6. Klicken Sie im Fenster "Report Browser" auf die Schaltfläche "Open".

Wenn Sie diese Berichte in der Befehlszeile öffnen möchten, geben Sie die Dateien, an denen Sie interessiert sind, einfach als Parameter in der Befehlszeile studio an.

Der Bericht ist in die zwei Ebenen Dateisicht und Objektsicht unterteilt:

  • Dateisicht - Wenn der Stammordner ausgewählt ist, wird für jede ausgewählte Datei ein Balkendiagramm einer der sieben Halstead-Metriken angezeigt. Die angezeigte Metrik kann über das Menü geändert werden. Wenn ein anderer Knoten ausgewählt ist, werden statische Metriken, die für diesen Knoten spezifisch sind, angezeigt.

  • Objektsicht - Wenn der Stammordner ausgewählt ist, wird ein Graph angezeigt. Dieser Graph vergleicht bestimmte statische Metriken für jede Funktion/Methode, die über das Menü geändert werden können. Wenn ein anderer Knoten ausgewählt ist, werden statische Metriken, die für diesen Knoten spezifisch sind, angezeigt.

Symbol für Buch Ausführliche Informationen zum Anzeigen statischer Metrikberichte finden Sie im Rational Test RealTime User Guide im Kapitel "Runtime Analysis->Static Metrics".

Symbol für Buch Ausführliche technische Informationen zur Arbeit mit Berichtsdateien finden Sie im Rational Test RealTime Reference Guide in den Abschnitten, in denen die verschiedenen Testberichtgeneratoren beschrieben werden. Lesen Sie insbesondere die Seite "File Types" im Anhang.