Ergebnisse / Test-Berichte und Metriken

controls

1. Aktiver Build

Der einzige Bericht, der vom dem Element "Aktiver Build" betroffen ist, ist "Metriken des aktiven Builds".

2. Berichts-Format

Alle Testberichte (mit Ausnahme der Charts) koennen in drei Formate generiert werden:
  • 1.Normal - Bericht wird als webseite dargestellt
  • 2.MS Excel - Bericht wird nach Microsoft Excel exportiert
  • 3.HTML Email - Bericht wird an die Email-Adresse des Benutzers geschickt
  • Berichte

    Es gibt derzeit 10 verschiedene Berichte, deren Ziel und Funktion im Folgenden erklaert werden.

    1) Metriken des aktiven Build

    Dieser Bericht zeigt die ausfuehrlichen Resultate fuer einen bestimmten Build, der mit dem Element "Aktiver Build" ausgewaehlt wird. Dabei beruecksichtigt er dann nur Ausfuehrungen, die gegen den ausgewaehlten Build gemacht wurden. Die folgenden Tabellen werden dargestellt:

    Resultate nach den Top-Level-Testsuites

    Listet die Resultate von jeder Top-Level-Suite auf. Die Gesamtanzahl, Anzahl der erfolgreichen, fehlgeschlagene, blockierten, nicht gelaufenen und der Prozentanteil der fertigen Testfaelle werden aufgelistet. Ein Testfall ist "fertig", wenn er als erfolgreich, fehlgeschlagen oder blockiert markiert ist. Diese Resultate beinhalten dabei alle darunterhaengenden Testsuiten.

    Resultate nach Testsuite

    Listet die Metriken fuer alle Testsuiten in einem Testplan, nicht nur jene der Top-Level-Suiten.

    Resultate nach Stichwoertern

    Listet alle Stichwoerter, welche einem Testfall im aktuellen Testplan zugeordnet sind und die Resultate, die damit zusammenhaengen.

    2) Testplan Überblick

    Diese Seite zeigt nur den aktuellsten Stand eines Testplans nach Testsuite, Besitzer und Stichwort aufgeschluesselt. Der aktuellste Status ist durch den neuesten Build, gegen den Testfaelle ausgefuehrt wurden, bestimmt. Z.B. wenn ein Testfall gegen verschiedene Builds ausgefuehrt wurde, wird nur das letzte Resultat herangezogen.

    Das "Letzte Testresultat" ist Konzept, welches in viele Berichten Verwendung findet, und ist folgendermassen definiert:
  • 1) Die Reihenfolge, in der Builds einem Testplan hinzugefuegt wurden, bestimmt, welcher Build der neueste ist. Die Resultate des neuesten Builds haben dabei Vorrang vor aelteren Builds. Wenn z.B. ein Testfall in Build 1 fehlschlaegt, in Build 2 aber erfolgreich ist, so ist das "Letzte Testresultat" erfolgreich.
  • 2) Wird ein Testfall mehrmals gegen den gleichen Build ausgefuehrt, so gilt die neueste Ausfuehrung. D.h. z.B. wenn innerhalb eines Build ein Tester den Test als erfolgreich markiert und danach ein Tester diesen als fehlgeschlagen markiert, so wird er insgesamt als fehlgeschlagen angezeigt.
  • 3) Testfaelle, welche mit "nicht getestet" markiert sind, werden nicht miteinbezogen. D.h. z.B. wenn in Build 1 ein Test erfolgreich war, in Build 2 dieser aber nicht ausgefuehrt wurde, so ist das letzte Testresultat "erfolgreich".

  • Die folgenden Tabellen werden dargestellt :

    Resultate nach den Top-Level-Testsuites

    Listet die Resultate von jeder Top-Level-Suite auf. Die Gesamtanzahl, Anzahl der erfolgreichen, fehlgeschlagene, blockierten, nicht gelaufenen und der Prozentanteil der fertigen Testfaelle werden aufgelistet. Ein Testfall ist "fertig", wenn er als erfolgreich, fehlgeschlagen oder blockiert markiert ist. Diese Resultate beinhalten dabei alle darunterhaengenden Testsuiten.

    Resultate nach Stichwoertern

    Listet alle Stichwoerter, welche einem Testfall im aktuellen Testplan zugeordnet sind und die Resultate, die damit zusammenhaengen.

    Resultate nach Besitzer

    Listet alle Besitzer auf, die einen ihrer Testfaelle im aktuellen Testplan haben. Testfaelle, die niemanden zugewiesen sind, sind unter der ueberschrift "unassigned" zu finden.

    3.) Der gesamte Build Status

    Listet die Ausfuehrungs-Ergebnisse fuer jeden Build auf. Fuer jeden Build werden dabei die Gesamtanzahl der Testfaelle und jeweils die Anzahl und der prozentuale Anteil der verschiedenen moeglichen Status angezeigt. Wird ein Testfall zweimal ausgefuehrt, wird die letzte Ausfuehrung herangezogen.

    4.) Abfrage Metriken

    Dieser Bericht besteht aus eine Abfrage und einer Ergebnis-Seite, welche die Ergebnisse der Abfrage zeigt.

    Abfrage-Seite:

    Dem Benutzer wird eine Seite mit 4 Elementen angezeigt. Jedes Element hat einen Default-Wert, welches die maximale Anzahl an Testfaellen und Builds bestimmt, auf die die Abfrage ausgefuehrt werden soll. Das Anpassen dieser Element erlaubt es dem Benutzer die Ergebnisse zu filtern und spezifisch Berichte fuer bestimmte Besitzer, Stichwoerter, Suiten und Build-Kombinationen zu erzeugen.

    Stichwort

    0 -> 1 Stichwort kann ausgewaehlt werden. Standardmaessig ist kein Stichwort ausgewaehlt. Wenn kein Stichwort ausgewaehlt wurde, werden alle Testfaelle herangezogen. Stichwoertern werden in der Testfall-Definition oder auf Verwaltungs-Seiten fuer Stichwoerter zugeordnet. Zugewiesene Stichwoerter erstrecken sich ueber alle Testplaene und alle Versionen eines Testfalls. Wenn man an den Ergebnissen fuer ein bestimmtes Stichwort interessiert ist, wuerde man das an diesem Element einstellen.

    Besitzer

    0 -> 1 Besitzer koennen ausgewaehlt werden. Standardmaessig ist kein Besitzer ausgwaehlt. Wenn kein Besitzer ausgewaehlt wurde, werden alle Testfaelle herangezogen. Zurzeit gibt es keine Funktionalitaet um nach "nicht zugewiesenen" Testfaellen zu suchen. Der Besitzer wird ueber die Seiten "Testfaelle an Benutzer zuweisen" zugewiesen und dies geschieht fuer jeden Testplan. Wenn man an den Ergebnissen fuer einen bestimmten Tester interessiert ist, wuerde man das an diesem Element einstellen.

    Top-Level-Suite

    0 -> n Top-Level-Suiten koennen ausgewaehlt werden. Standardmaessig sind alle ausgewaehlt. Nur die ausgewaehlten Suiten werden in der Abfrage beruecksichtigt. Wenn man an den Ergebnissen fuer eine bestimmte Suite interessiert ist, wuerde man das an diesem Element einstellen.

    Builds

    1 -> n Builds koennen ausgewaehlt werden. Standardmaessig sind alle Builds ausgewaehlt. Nur die Ausfuehrungen, die gegen die ausgewaehlten Builds, gemacht wurden, werden bei den Metriken beruecksichtigt. Wenn man z.B. sehen will, wie viele Testfaelle in den letzten 3 Builds ausgefuehrt wurden, wuerde man das an diesem Element einstellen. Die Auswahl von Stichworten, Besitzern und Top-Level-Suiten bestimmen die Anzahl der Testfaelle vom Testplan die dazu benutzt werden, die Metriken pro Suite und pro Testplan zu erstellen. D.h. z.B. wenn man als Besitzer "Greg" auswaehlt, als Stichwort "Priority 1" und alle verfuegbaren Testsuiten, dann werden nur die Prio 1 Testfaelle, die Greg zugewiesen wurden, beruecksichtigt. Die Gesamtanzahl der Testfaelle auf dem Bericht wird von diesen 3 Elementen beeinflusst. Die Auswahl der Builds beeinflusst, ob ein Testfall als erfolgreich, fehlgeschlagen, blockiert oder nicht getestet gezaehlt wird. Siehe dazu auch weiter oben die Ausfuehrungen ueber das "Letzte Testresultat".

    Durch Klicken des "Anfrage abschicken"-Buttons wird die Abfrage ausgefuehrt und das Ergebnis angezeigt.

    Abfrage-Bericht:

    Die Seite mit dem Bericht sieht folgendermassen aus:
  • 1. Die Parameter, die fuer den Bericht benutzt wurden
  • 2. Gesamtanzahlen fuer den Testplan
  • 3. Pro Suite eine Gesamtanzahl der Ausfuehrungen nach Status sortiert. Wurde ein Testfall mehrmals auf verschiedenen Builds ausgefuehrt, werden alle Ausfuehrungen, die gegen die ausgewaehlten Builds durchgefuehrt wurden, angezeigt. Die Zusammenfassung fuer die Suite allerdings beinhaltet nur das "Letzte Testresultat" fuer die ausgewaehlten Builds.
  • 5-7.) Fehlgeschlagene/Blockierte/Nicht durchgeführte Testfaelle

    Diese Berichte zeigen alle derzeit blockierten, fehlgeschlagenen oder nicht getesteten Testfaelle. Die Logik "Letztes Testresultat (sh. weiter oben) wird auch hier angewandt, um zu bestimmen als was der Testfall gezaehlt wird. Die Berichte ueber blockierte oder fehlgeschlagene Testfaelle zeigen dabei auch die verbundenen Bugs, wenn man ein Bug Tracking System verwendet wird.

    8.) Testreport

    Zeigt den Status von allen Testfaellen fuer alle Builds. Wurde ein Testfall mehrmals gegen den gleichen Build ausgewuehrt, wird das aktuellste Ergebnis gezaehlt. In diesem Bericht wird ein Testfall, der nicht gegen einen bestimmten Build gelaufen ist, mit einem "?" gekennzeichnet. Es wird empfohlen, diesen Bericht nach Excel zu exportieren, wenn die Datenmenge sehr gross ist, um ein leichteres Browsen zu ermoeglichen.

    9.) Grafiken

    Fuer diesen Bericht wird ein Flash Plugin benoetigt. Er verwendet Flash Technologie (von http://www.maani.us), um die Ergbnisse in einem graphischen Format anzuzeigen. Die Logik des "Letzten Testresultats" wird auf alle 4 Charts angewant. Die Graphen sind animiert, um den dem Benutzer bei der Visualisierung der Metriken des aktuellen Testplans zu unterstuetzen.

    Folgende 4 Charts gibt es:

    1.Tortendiagramm fuer alle erfolgreichen/fehlgeschlagenen/blockierten/nicht getesteten Testfaelle

    2.Balkendiagramm fuer die Resultate gruppiert nach Stichwort

    3.Balkendiagramm fuer die Resultate gruppiert nach Besitzern

    4.Balkendiagramm fuer die Resultate gruppiert nach Top-Level-Suiten

    Die Balken in den Balkendiagrammen sind farbig markiert, damit der Benutzer die grobe Anzahl der Testfaelle je nach Status sehen kann.

    10.) Gesamtanzahl Fehler fuer jeden Testfall

    Dieser Bericht zeigt alle Testfaelle mit all seinen Bugs innerhalb des gesamten Projekts. Dieser Bericht ist nur verfuegbar, wenn ein Bug Tracking System angeschlossen ist.