Guida al tool: Analisi dei risultati dei test utilizzando Rational Test RealTime
Questa guida ai tool descrive come analizzare i risultati dei test eseguiti da Rational Test RealTime.
Strumento: Rational Test RealTime
Relazioni
Elementi correlati
Descrizione principale

Panoramica

Questa guida ai tool descrive come analizzare i risultati dei test eseguiti da Rational Test RealTime. I vantaggi di una verifica anticipata e frequente vengono perduti se i risultati dell'attività di verifica non possono essere interpretati rapidamente ed agevolmente e consentire di prendere gli opportuni provvedimenti.

Utilizzando la tecnologia di inserimento del codice sorgente e l'analisi dello stesso, Rational Test RealTime è in grado di concentrare le proprie funzionalità di verifica componenti e di analisi del runtime direttamente a livello di codice sorgente. A tal fine, sono state aggiunte una serie di funzioni per garantire che l'eventuale errore venga isolato e gestito velocemente e con efficienza nel codice sorgente associato:

  • il codice sorgente può essere aperto e modificato nell'editor di testo di Test RealTime;
  • i programmi di controllo versione, quali, Rational ClearCase, possono essere modificati in modo venga effettuato il check-in/check-out del codice controllato;
  • i programmi di gestione modifiche, quali ClearQuest, sono accessibili direttamente per inoltro difetti e richieste potenziamento.

Queste funzioni sono da utilizzarsi in abbinamento con i report di analisi generati dai tool di verifica. Ciascuna funzione chiave di RealTime - verifica componenti, verifica sistema, creazione di profili di memoria, creazione di profili sulle prestazioni, analisi di copertura del codice, tracciamento del runtime, generazione metrica statica - ha un report dedicato. Detti report contengono informazioni estratte da una serie di file log generati da programmi di analisi del codice sorgente, programmi di monitoraggio degli script di test, generatori di script di test, compilatori di script di test, porte di distribuzione di destinazione e generatori di report. Questi file possono essere aperti automaticamente da Test RealTime a conclusione di un'elaborazione oppure possono essere aperti manualmente.

Ciascun report è concepito per essere interpretato immediatamente e così garantire la diagnosi e la risoluzione rapida ed efficiente del problema.

Tipi di report

L'analisi dei report per ciascuna funzione di Test RealTime verrà esaminata di seguito. Verranno esaminate, inoltre, le opportune differenze dovute al linguaggio di programmazione utilizzato:

Verifica componenti e verifica sistema

Per aprire questi report utilizzando la scheda Project Browser (Browser del progetto) sul lato destro dell'interfaccia utente di Test RealTime, fare clic con il tasto destro del mouse su un nodo test e selezionare View Report->Test (Visualizza Report-Test). Per aprire detti report utilizzando il menu di Test RealTime:

  1. Selezionare la voce di menu File->Browse Reports (File - Sfoglia report).
  2. Nella barra degli strumenti, premere il pulsante Add (Aggiungi).
  3. Nell'elenco a discesa Files of Type (File del tipo), selezionare Report.
  4. Aprire la cartella e selezionare i file .xrd corrispondenti ai report da visualizzare.
  5. Fare clic sul pulsante Open (Apri).

Per aprire i report dalla riga dei comandi, è sufficiente gestire ciascun file .xrd come un parametro per la riga dei comandi studio.

Il report viene organizzato in due sezioni principali, una sezione riepilogativa e una sezione dettagliata.

  • Riepilogo - la sezione riepilogativa contiene informazioni quali la posizione del file del report, la data/ora di esecuzione del test e è un conteggio riepilogativo dei test superati e non superati.

  • Dettagli verifica componenti - questa sezione fornisce informazioni sui driver, i servizi, le funzioni, i metodi e le procedure verificate. Per ogni voce, il report contiene alcune o tutte le seguenti informazioni, in base al linguaggio del sorgente e alle opzioni selezionate:
    • una sezione test che offre una panoramica e un riepilogo dei risultati dei test
    • una sezione dedicata al valore della variabile, che specifica il valore acquisito da ciascuna variabile
    • una sezione dedicata alla copertura del codice, ove ne sia stata selezionata l'analisi
    • altre informazioni inerenti la convalida del contratto (ad es., asserzione) e le query di verifica per C++ e Java

  • Dettagli verifica sistema - per i test di sistema sono fornite le seguenti sottosezioni:
    • una sezione Inizializzazione, che reca il dettaglio dei passaggi necessari per l'apertura di una connessione per un componente sottoposto a verifica;
    • uno o più sezioni Scenario, che recano il dettagli dei test effettivamente eseguiti. I blocchi di scenari possono essere nidificati;
    • una sezione Terminazione, che reca il dettaglio dei passaggi necessari per terminare la connessione per il componente sottoposto a verifica.

La funzione Report Explorer dell'interfaccia utente di Test RealTime può essere utilizza per navigare tra i report sui test (fare doppio clic su uno qualsiasi dei nodi di interesse); la voce del menu Test Report e la barra degli strumenti consente di filtrare il report per visualizzare solo i test non superati. Molteplici sezioni del report sui test riportano collegamenti ipertestuali a script di test; è sufficiente fare clic con il tasto destro del mouse sull'icona che somiglia a una mano.

book icon Per ottenere informazioni dettagliate su come visualizzare i report sui test, consultare il capitolo Automated Testing->Component Testing di Rational Test RealTime User Guide, facendo riferimento in particolare alle sezioni relative ai report sui test.

book icon Per ottenere informazioni tecniche dettagliate su come gestire i file dei report, fare riferimento a Rational Test RealTime Reference Guide, con particolare attenzione alle sezioni che esaminano i vari generatori di report sui test. Nello specifico, consultare la pagina Appendices->File Types.

Creazione di profili di memoria

I report sulla creazione di profili di memoria per tutti i linguaggi - C, C++ e Java - sono memorizzati in file in formato XML all'interno della cartella Project o TDP, in base al linguaggio utilizzato.

Per aprire questi report utilizzando la scheda Project Browser (Browser del progetto) sul lato destro dell'interfaccia utente di Test RealTime, fare fare clic con il tasto destro del mouse su un nodo test e selezionare View Report->Memory Profile (Visualizza Report-Profilo memoria).

Per aprire detti report utilizzando il menu di Test RealTime:

  1. Selezionare la voce di menu File->Browse Reports (File - Sfoglia report).
  2. Nella barra degli strumenti, premere il pulsante Add (Aggiungi).
  3. Nell'elenco a discesa Files of Type (File del tipo), selezionare Memory Profile (Profilo memoria).
  4. Aprire la cartella e selezionare i file da visualizzare.
  5. Ripetere i punti da 2 a 4 come necessario.
  6. Fare clic sul pulsante Open (Apri) nella finestra Report Browser (Browser report).

Per aprire i report dalla riga dei comandi, è sufficiente gestire ciascun file da visualizzare come parametri per la riga dei comandi studio.

Il report viene organizzato in due sezioni principali, una sezione riepilogativa e una sezione dettagliata.

  • Riepilogo - istogramma e sezione con report in formato di testo che propongono il numero totale di blocchi e byte allocati e disponibili, così come il numero massimo di blocchi/byte allocati in un dato momento.

  • Dettagli C e C++ - elenco di errori ed avvisi con relativo stack di chiamata associato. Lo stack di chiamata viene elencato con l'ultima funzione/l'ultimo metodo chiamati menzionati per primi; tutte le funzioni e tutti i metodi nello stack di chiamata sono dotati di collegamento ipertestuale al codice sorgente.

  • Dettagli Java - elenco riportato per ogni metodo dotato di oggetti allocati che risale all'ultima istantanea. La tabella base elenca il numero di oggetti e byte associati allocati dal momento dell'ultima istantanea per ciascun metodo, così come il numero totale di oggetti e byte allocati da ciascun metodo e relativi discendenti (ad es., metodi child del parent).

La funzione Report Explorer dell'interfaccia utente di Test RealTime può essere utilizza per navigare tra i report sui test (fare doppio clic su uno qualsiasi dei nodi di interesse); la voce del menu Test Report e la barra degli strumenti consente di filtrare il report per visualizzare solo i test non superati. Molteplici sezioni del report sui test riportano collegamenti ipertestuali a script di test; è sufficiente fare clic con il tasto destro del mouse sull'icona che somiglia a una mano.

book icon Per ottenere informazioni dettagliate su come visualizzare i report sulla creazione di profili di memoria, consultare il capitolo Runtime Analysis->Memory Profiling di Rational Test RealTime User Guide.

book icon Per ottenere informazioni tecniche dettagliate su come gestire i file dei report, fare riferimento a Rational Test RealTime Reference Guide, con particolare attenzione alle sezioni che esaminano i vari generatori di report sui test. Nello specifico, consultare la pagina Appendices->File Types.

Creazione di profili sulle prestazioni delle applicazioni

I report sulla creazione di profili sulle prestazioni per tutti i linguaggi - C, C++ e Java - sono memorizzati in file in formato XML all'interno della cartella Project o TDP, in base al linguaggio utilizzato.

Per aprire questi report utilizzando la scheda Project Browser (Browser del progetto) sul lato destro dell'interfaccia utente di Test RealTime, fare fare clic con il tasto destro del mouse su un nodo test e selezionare View Report->Memory Profile (Visualizza Report-Profilo memoria).

Per aprire detti report utilizzando il menu di Test RealTime:

  1. Selezionare la voce di menu File->Browse Reports (File - Sfoglia report).
  2. Nella barra degli strumenti, premere il pulsante Add (Aggiungi).
  3. Nell'elenco a discesa Files of Type (File del tipo), selezionare Performance Profiling (Creazione profili prestazioni).
  4. Aprire la cartella e selezionare i file da visualizzare.
  5. Ripetere i punti da 2 a 4 come necessario.
  6. Fare clic sul pulsante Open (Apri) nella finestra Report Browser (Browser report).

Per aprire i report dalla riga dei comandi, è sufficiente gestire ciascun file da visualizzare come parametri per la riga dei comandi studio.

Il report è organizzato come segue: sul margine superiore viene riportato un grafico a torta con il dettaglio di funzione/metodo (fino a sei) che monopolizza il 5 percento o più del tempo di esecuzione totale. A seguire, viene riportata una tabella che è possibile ordinare con un elenco di ciascuna funzione/metodo e una serie di statistiche associate. Un clic del mouse sull'intestazione della colonna ordinerà il contenuto della stessa; un altro clic del mouse su una funzione o su metodo riportato in elenco e si apre il relativo codice sorgente. Nessun valore è necessariamente buono o cattivo - tempi lunghi di esecuzione di funzioni oppure funzioni di destinazione e tempi di esecuzione decrescenti, evidenziano semplicemente l'inefficienza potenziale di certi algoritmi che sarà forse necessario ottimizzare.

book icon Per ottenere informazioni dettagliate su come visualizzare i report sulla creazione di profili sulle prestazioni, consultare il capitolo Runtime Analysis->Performance Profiling di Rational Test RealTime User Guide.

book icon Per ottenere informazioni tecniche dettagliate su come gestire i file dei report, fare riferimento a Rational Test RealTime Reference Guide, con particolare attenzione alle sezioni che esaminano i vari generatori di report sui test. Nello specifico, consultare la pagina Appendices->File Types.

Analisi di copertura del codice

I report sull'analisi di copertura del codice per tutti i linguaggi - C, C++ e Java - sono memorizzati in file in formato XML all'interno della cartella Project o TDP, in base al linguaggio utilizzato.

Per aprire questi report utilizzando la scheda Project Browser (Browser del progetto) sul lato destro dell'interfaccia utente di Test RealTime, fare fare clic con il tasto destro del mouse su un nodo test e selezionare View Report->Memory Profile (Visualizza Report-Profilo memoria).

Per aprire detti report utilizzando il menu di Test RealTime:

  1. Selezionare la voce di menu File->Browse Reports (File - Sfoglia report).
  2. Nella barra degli strumenti, premere il pulsante Add (Aggiungi).
  3. Nell'elenco a discesa Files of Type (File del tipo), selezionare Code Coverage (Copertura del codice).
  4. Aprire la cartella e selezionare i file da visualizzare.
  5. Ripetere i punti da 2 a 4 come necessario.
  6. Fare clic sul pulsante Open (Apri) nella finestra Report Browser (Browser report).

Per aprire i report dalla riga dei comandi, è sufficiente gestire ciascun file da visualizzare come parametri per la riga dei comandi studio.

Il report viene organizzato in due componenti principali, un componente Sorgente e un componente Incidenza.

  • Sorgente - la scheda Source (Sorgente) riporta due livelli di informazioni sulla copertura del codice:
    • Quando si seleziona la cartella Root, la scheda Source (Sorgente) riporta un riepilogo della copertura complessiva del codice in un grafico a barre.
    • Quando si seleziona un qualsiasi altro nodo di Report Window (Finestra report), la scheda Source (Sorgente) differenzia i codici in base a un colore e visualizza quali codici sono dotati o meno di copertura. La scheda Source (Sorgente) visualizza le informazioni relative al nodo selezionato.

  • Incidenza - la scheda Rates (Incidenza) suddivide il livello di copertura per funzione/metodo/procedura in percentuali.

book icon Per ottenere informazioni dettagliate su come visualizzare i report sulla Copertura del codice, consultare il capitolo Runtime Analysis->Code Coverage di Rational Test RealTime User Guide.

book icon Per ottenere informazioni tecniche dettagliate su come gestire i file dei report, fare riferimento a Rational Test RealTime Reference Guide, con particolare attenzione alle sezioni che esaminano i vari generatori di report sui test. Nello specifico, consultare la pagina Appendices->File Types.

Tracciamento del runtime

I report sul tracciamento del runtime per tutti i linguaggi - C, C++ e Java - sono memorizzati in file in formato XML all'interno della cartella Project o TDP, in base al linguaggio utilizzato.

Per aprire questi report utilizzando la scheda Project Browser (Browser del progetto) sul lato destro dell'interfaccia utente di Test RealTime, fare fare clic con il tasto destro del mouse su un nodo test e selezionare View Report->Memory Profile (Visualizza Report-Profilo memoria).

Per aprire detti report utilizzando il menu di Test RealTime:

  1. Selezionare la voce di menu File->Browse Reports (File - Sfoglia report).
  2. Nella barra degli strumenti, premere il pulsante Add (Aggiungi).
  3. Nell'elenco a discesa Files of Type (File del tipo), selezionare Trace Files (Traccia file).
  4. Aprire la cartella e selezionare i file da visualizzare.
  5. Ripetere i punti da 2 a 4 come necessario.
  6. Fare clic sul pulsante Open (Apri) nella finestra Report Browser (Browser report).

Per aprire i report dalla riga dei comandi, è sufficiente gestire ciascun file da visualizzare come parametri per la riga dei comandi studio.

Il report sul tracciamento del runtime è un diagramma sequenza di tutti gli eventi che si sono verificati durante l'esecuzione di un'applicazione o di una verifica codice. Il diagramma sequenza si serve delle notazioni della metodologia Unified Modeling Language, e può pertanto essere definito un diagramma sequenza basato su UML. Le righe verticali rappresentano il ciclo di vita, ciascuno dei quali rappresenta un'istanza dell'oggetto Java. Il primo ciclo di vita, rappresentato da una figura stilizzata, è considerato il "mondo" - ovvero, il sistema operativo. Le linee orizzontali collegano i cicli di vita l'uno all'altro. Le righe verdi sono chiamate di costruttore, le righe nere sono chiamate di metodo, le righe rosse sono ritorno dal metodo, le righe blu sono chiamate del distruttore e le righe arancioni sono eccezioni. Passando il mouse su una chiamata di metodo è possibile visualizzare il testo completo. Un indicatore di data e ora viene assegnato ad ogni chiamata e ritorno da chiamata. Ogni riga verticale e orizzontale ha un collegamento ipertestuale al codice sorgente monitorato. La voce di menu Runtime Trace->Filters (Traccia runtime-Filtri) può essere utilizzata per creare filtri e rendere il report sulla tracciabilità del runtime più facile da gestire.

book icon Per ottenere informazioni dettagliate su come visualizzare i report sulla tracciabilità del runtime, consultare il capitolo Runtime Analysis->Runtime Tracing di Rational Test RealTime User Guide.

book icon Per ottenere informazioni tecniche dettagliate su come gestire i file dei report, fare riferimento a Rational Test RealTime Reference Guide, con particolare attenzione alle sezioni che esaminano i vari generatori di report sui test. Nello specifico, consultare la pagina Appendices->File Types.

Metrica statica

I report sulla creazione di profili di memoria per tutti i linguaggi - C, C++ e Java - sono memorizzati in file in formato XML all'interno della cartella Project o TDP, in base al linguaggio utilizzato.

Per aprire questi report utilizzando la scheda Project Browser (Browser del progetto) sul lato destro dell'interfaccia utente di Test RealTime, fare fare clic con il tasto destro del mouse su un nodo test e selezionare View Report->Memory Profile (Visualizza Report-Profilo memoria).

Per aprire detti report utilizzando il menu di Test RealTime:

  1. Selezionare la voce di menu File->Browse Reports (File - Sfoglia report).
  2. Nella barra degli strumenti, premere il pulsante Add (Aggiungi).
  3. Nell'elenco a discesa Files of Type (File del tipo), selezionare Metric (Valori).
  4. Aprire la cartella e selezionare i file da visualizzare.
  5. Ripetere i punti da 2 a 4 come necessario.
  6. Fare clic sul pulsante Open (Apri) nella finestra Report Browser (Browser report).

Per aprire i report dalla riga dei comandi, è sufficiente gestire ciascun file da visualizzare come parametri per la riga dei comandi studio.

Il report è organizzato in due livelli, la vista File e la vista Oggetto:

  • Vista File - quando si seleziona la cartella Root, viene visualizzato uno dei sette grafici a barre della metrica di Halstead disponibili per ogni file selezionato. Il valore specifico visualizzato può essere modificato utilizzando il menu. Quando si seleziona un altro nodo, viene visualizzata la metrica statica relativa a detto nodo.

  • Vista Oggetto - quando si seleziona la cartella Root, viene visualizzato un grafico, che mette a confronto determinate metriche statiche per ogni funzione/metodo (opzione modificabile da menu). Quando si seleziona un altro nodo, viene visualizzata la metrica statica relativa a detto nodo.

book icon Per ottenere informazioni dettagliate su come visualizzare i report sulla Metrica statica, consultare il capitolo Runtime Analysis->Static Metrics di Rational Test RealTime User Guide.

book icon Per ottenere informazioni tecniche dettagliate su come gestire i file dei report, fare riferimento a Rational Test RealTime Reference Guide, con particolare attenzione alle sezioni che esaminano i vari generatori di report sui test. Nello specifico, consultare la pagina Appendices->File Types.