不稳定测试计算器
根据测试运行统计数据计算不稳定测试率和每月估算的 CI/CD 时间浪费。量化不稳定测试对流水线的成本影响。
如何使用不稳定测试计算器
- 输入测量周期内 CI 测试的总运行次数。
- 输入不稳定（非确定性）运行的次数。
- 输入测试套件的总规模。
- 点击计算，查看 flake rate 和浪费的 CI 时间。
使用场景
- •量化不稳定测试的业务成本。
- •为不稳定测试专项整治冲刺提供依据。
- •为 CI/CD 流水线设定 flake rate SLA。
- •跟踪不稳定测试修复后的改进情况。
公式
Flake rate = 不稳定运行次数 / 总运行次数 × 100%。CI 影响 = 不稳定运行次数 × 套件大小 × 5 min 平均时长 / 60 / 30 hours/month。
常见问题
什么是不稳定测试？
不稳定测试是指在代码未发生变化的情况下，以非确定性方式时而通过、时而失败的测试，会导致 CI/CD 流水线结果不可靠。
多少 flake rate 是可接受的？
flake rate 低于 1% 通常可以接受。高于 5% 会显著影响开发人员的工作效率。
如何修复不稳定测试？
识别并修复时序问题、添加适当的等待、隔离测试状态、使用确定性测试数据，并修复异步问题。