世界中のITエンジニアが悩まされている原因不明でテストが失敗する「フレイキーテスト」問題。対策の最新動向をJenkins作者の川口氏が解説（後編）。DevOps Days Tokyo 2022

世界中のITエンジニアが悩まされている原因不明でテストが失敗する「フレイキーテスト」問題。対策の最新動向をJenkins作者の川口氏が解説（後編）。DevOps Days Tokyo 2022 世界中のITエンジニアが悩まされている問題の1つに、テストが原因不明で失敗する、いわゆる「フレイキーテスト」があります。 フレイキーテストは、リトライすると成功することもあるし、失敗する原因を調べようとしてもなかなか分かりません。GoogleやFacebookやGitHub、Spotifyといった先進的な企業でさえもフレイキーテストには悩まされています。 このフレイキーテストにどう立ち向かうべきなのか、Jenkinsの作者として知られる川口耕介氏がその最新動向を伝えるセッション「Flaky test対策の最新動向」を、4月21日、22日の2日間行われたイベント「DevOps Days Tokyo 2

[ardarim]

レイヤによるな、という印象。フロントエンド寄りだとこんな感じなのかもしれない。組み込み系だともっとシビアな解決が求められる印象（個人的経験による）。あとはPMBOK的なリスク判断。

[H_He_Li_Be]

よくわからなかった。元のコードに問題があるのかテストに問題があるのか普通はわからないので、時間変更で成功したからOK、リトライで成功したからOKというわけにはいかないと思うけど。

[chintaro3]

組み込み系では失敗の原因になる差分が最初にどこで生じたかを徹底的に調べていくのが基本戦略になるんだけど、他人が作ったソフトに依存しまくる世界では事実上無理な話もあるよなぁ。

[mohri]

「人間の直感をちゃんと数学的に、大げさな数学を持ち出してモデル化するのは、いかにもFacebookっぽい」←GAFAとかひとくくりにされがちだけど技術的アプローチに特徴あるのおもしろい

[hiroomi]

“縦方向にまとめて失敗しているテストは多分フレイキーによる失敗じゃないなと。一方でポツポツ失敗しているテストはフレイキーっぽい”

[wordi]

コンパイル言語なら失敗時のコアダンプから原因探るとか出来そうだけども

[n_231]

宇宙線のせいやな

[a-kuma3]

大半の有象無象はスレッドアンセーフなコードを書いてるだけだったりするので、メジャーな単語になって欲しくなかったりする。夜間バッチなのに本当の時刻で動かすテストしてないとかよくある

[NetPenguin]

リトライはやろうとして手つかずだったので、プラグインの情報ありがたい。 自動での分類よいな。

[obaratch]

「レジメイト」はたぶん legitimate のことかな。

[k1LoW]

“ビルドして、その結果を後で再利用して任意のテスト走らせられる環境になっていると、それを使ってフレイキーネスの計測をはじめとしたいろんなことが可能になりそうだなっていうことが、感じられました。”

[tasshi820]

DevOpsDaysのやつだ。フレイキーさが実際にどのぐらいのビルド・エンジニアに影響あるのか測るの大事だよなー。

[uunfo]

10分×10回は1時間では済まないが

[cl-gaku]

わかりみが強い。コストパフォーマンスが低すぎてなかなか調査・修正できない。

[mizdra]

無茶苦茶良い。どれも正にその通りだなと思いながら読んでいた。

[otchy210]

けっこう感覚でやっちゃってるな…。とりあえずリトライ、頻度が多すぎると "感じたら" 詳細を調査、みたいな。モックを頑張って外部依存を減らす、タイムアウトを長めに取る、あたりは普段から意識して損は無い。

[murashit]

心理的な話も考慮されててけっこうおもしろい

[kamei_rio]

リトライする、失敗してもマージはする、計測して切り分ける、確率で評価する、取り組むべきかをインパクトで評価する、などなど。偶然が絡むので難しい取り組みの話

[pongeponge]

『開発チームがフレイキーネスによる痛みを直接感じないとフレイキーネスを直してくれないだろうと考えるのですが』テスト失敗すると開発チームに電流が流れる装置の導入が検討されるんですね

[diffie]

オレたちは10分×10回で1時間だ。10倍だぞ10倍

[gcyn]

『そのコードが悪かった／一方でコードは悪くなくて、ランダムに〜失敗／どっちでもなければテストは成功するけれど、人間には失敗したときのこの2つは区別できなくて／でも隠れた変数が2つありますよ、みたいな』

[karia]

“開発者がそのフレイキーネスによって起こるテストの失敗の痛みを直接感じれば、それがモチベーションになってフレイキーネスを修正するのではないかと、こういう考え方をしてる人が結構います”