[Developers Summit 2023] ソフトウェアテスト新時代の幕開け: 機械学習とデータサイエンスで実現するテスト運用の高度化

Developers Summit 2023 の公募セッションで発表した資料です。https://event.shoeisha.jp/devsumi/20230209/session/4142/

[t-wada]

自動テストは当たり前になり、課題がシフトした。大量のテストをどう運用するかという観点で、自動テスト自体を機械学習とデータサイエンスの対象として、実行の最適化等に取り組む時代になった。素晴らしい資料。

[nihonbuson]

P38のPTS導入例の話が非常に良かった。mainブランチで全てのテストを実行してセーフティネットを保ちつつ、PRブランチで実行するテストをPTSを用いて一部のテストを選定して時間短縮をするというのは納得感が高い。

[Kesin]

ビッグテックがFlakyテストを対処するために各社独自に色々やっていたことがここ最近発表されだしたのでそろそろ商用サービス、あるいはOSSで良いプロダクトが出てきそうな予感がある

[dabits]

DevOpsまわりですら事業サービスと変わらないくらい機械学習などを使って、デリバリサイクルを早くする試み。最適化されているところではこれくらい進んでいるんだなぁ。

[shingo-sasaki-0529]

AI に自動テスト全部おまかせとまではいかないけど、確かにコードの変更が影響するテストを最小限洗い出してくれるぐらいはしてほしい

[knok]

テストの自動生成がまだなさげなんだよなあ。補完と違ってみるべきコンテキストがずっと広いから難しそう。絞るにしてもデータセット作るコスト高そう

[kfly8]

DP、SRE、QAのメトリクスのスコープの図がわかりやすい。説明のために簡略化してるところもあるかもだけど。

[masaki925_8107]

[CI/CD]

[fuji_haruka]

Flakiness scoreおもしろそう

[ryoma_robo]

テストの数が多すぎて問題になるフェーズまでいってないないプロジェクトの方が多そう。テスト生成する方のが気になるな。