さよなら Flaky Test！Devinと共に実現する、CI安定化への道 - Timee Product Team Blog

タイミーでは、Flaky Test がデプロイの妨げになることで開発効率が悪化していました この問題を解決するため、AI エージェント「Devin」を活用し、Flaky Test の検出から修正プルリクエストの作成までを完全に自動化しました 結果、CIは安定し、開発者は本来の業務に集中できるようになったことで、開発体験が向上しました こんにちは！タイミーでバックエンドエンジニアとして働いている 福井 (bary822) です。 皆さんは Flaky Test に悩まされた経験はないでしょうか? タイミーでも、Flaky Test によって CI の信頼性が低下し、開発者の貴重な時間を奪ってしまうという課題を抱えていました。 ある期間においては master ブランチにおけるテスト実行の 4.5% が Flaky Test によって失敗しており、20+回/日 の頻度でデプロイされていることを

[ihirokyx]

Flaky testをDevinに修正させるプロンプト例

[knok]

直列で実行すると発生しないのに並列で実行すると発生するようなケースはないか…

[nakag0711]

flaky testって要はテストコードのバグのことなの？

[iga_k]

flakyテストをDevinで自動修正