Flaky-Test-Rechner
Berechnen Sie die Flaky-Test-Rate und die geschaetzte verschwendete CI/CD-Zeit pro Monat aus Testlaufstatistiken. Quantifizieren Sie die Kosten instabiler Tests in Ihrer Pipeline.
So verwenden Sie den Flaky-Test-Rechner
- Geben Sie die Gesamtzahl der CI-Testlaeufe im Messzeitraum ein.
- Geben Sie die Anzahl der instabilen (nicht deterministischen) Laeufe ein.
- Geben Sie die Gesamtgroesse der Test-Suite ein.
- Klicken Sie auf Berechnen, um die Flake-Rate und die verschwendete CI-Zeit anzuzeigen.
Anwendungsfälle
- •Quantifizierung der Geschaeftskosten instabiler Tests.
- •Aufbau eines Arguments fuer Sprints zur Behebung instabiler Tests.
- •Festlegen von Flake-Rate-SLAs fuer CI/CD-Pipelines.
- •Verfolgung von Verbesserungen bei der Behebung instabiler Tests.
Formel
Flake-Rate = instabile Laeufe / Gesamtlaeufe x 100%. CI-Einfluss = instabile Laeufe x Suite-Groesse x 5 min Durchschnitt / 60 / 30 Stunden/Monat.
Häufig gestellte Fragen
Was ist ein instabiler Test?
Ein instabiler Test besteht und schlaegt nicht deterministisch fehl, ohne dass sich der Code aendert, und fuehrt zu unzuverlaessigen CI/CD-Pipeline-Ergebnissen.
Welche Flake-Rate ist akzeptabel?
Eine Flake-Rate unter 1% ist im Allgemeinen akzeptabel. Ueber 5% beeintraechtigt die Entwicklerproduktivitaet erheblich.
Wie behebe ich instabile Tests?
Identifizieren und beheben Sie Timing-Probleme, fuegen Sie geeignete Wartezeiten hinzu, isolieren Sie den Testzustand, verwenden Sie deterministische Testdaten und beheben Sie asynchrone Probleme.