Calculateur de Tests Instables
Calculez le taux de tests instables et le temps CI/CD perdu par mois a partir des statistiques d'execution. Quantifiez le cout des tests instables dans votre pipeline.
Comment utiliser le calculateur de tests instables
- Saisissez le nombre total d'executions de tests CI sur votre periode de mesure.
- Saisissez le nombre d'executions instables (non deterministes).
- Saisissez la taille totale de la suite de tests.
- Cliquez sur Calculer pour voir le taux d'instabilite et le temps CI perdu.
Cas d'utilisation
- •Quantifier le cout metier des tests instables.
- •Construire un argumentaire pour des sprints de correction des tests instables.
- •Definir des SLA de taux d'instabilite pour les pipelines CI/CD.
- •Suivre les ameliorations au fur et a mesure que les tests instables sont corriges.
Formule
Taux d'instabilite = executions instables / executions totales x 100%. Impact CI = executions instables x taille de la suite x 5 min moyenne / 60 / 30 heures/mois.
Questions fréquemment posées
Qu'est-ce qu'un test instable ?
Un test instable reussit et echoue de maniere non deterministe sans modification du code, provoquant des resultats peu fiables dans le pipeline CI/CD.
Quel taux d'instabilite est acceptable ?
Un taux d'instabilite inferieur a 1% est generalement acceptable. Au-dela de 5%, l'impact sur la productivite des developpeurs est significatif.
Comment corriger les tests instables ?
Identifiez et corrigez les problemes de timing, ajoutez des attentes appropriees, isolez l'etat des tests, utilisez des donnees de test deterministes et corrigez les problemes asynchrones.