不安定テスト計算ツール
テスト実行統計から不安定テストのflake rateおよびCI/CDで毎月無駄になる時間を計算します。パイプラインにおける不安定テストのコストを数値化できます。
不安定テスト計算ツールの使い方
- 測定期間中のCI総テスト実行数を入力してください。
- 不安定（非決定論的）な実行数を入力してください。
- テストスイートの総サイズを入力してください。
- 計算するをクリックすると、flake rateとCIで無駄になった時間が表示されます。
使用例
- •不安定テストのビジネスコストを数値化すること。
- •不安定テストの改善スプリントを提案するための根拠を構築すること。
- •CI/CDパイプラインのflake rate SLAを設定すること。
- •不安定テストが修正されるにつれて改善状況を追跡すること。
計算式
Flake rate = 不安定実行数 / 総実行数 × 100%。CIへの影響 = 不安定実行数 × スイートサイズ × 平均5 min / 60 / 30 hours/month。
よくある質問
不安定テストとは何ですか？
不安定テストとは、コードを変更していないにもかかわらず、合格と失敗が非決定論的に繰り返されるテストのことで、CI/CDパイプラインの結果に信頼性をもたらします。
許容できるflake rateはどのくらいですか？
一般的に、flake rateが1%未満であれば許容範囲とされています。5%を超えると、開発者の生産性に大きな影響を与えます。
不安定テストを修正するにはどうすればよいですか？
タイミングの問題を特定して修正し、適切な待機処理を追加し、テスト状態を分離し、決定論的なテストデータを使用し、非同期の問題を修正してください。