画面仕様書への静的検査器を実装したらたくさんの欠陥を発見できた話 - DeNA Testing Blog

SWET第二グループのKuniwakです。本記事では画面仕様（後述）の仕様書に対する静的検査器を開発した事例について紹介します。 伝えたいこと 画面表示と画面遷移を記述する仕様書は機械可読にできる 仕様書が機械可読であれば仕様の静的検査ができる 静的検査によって自身の担当範囲の15%の画面から計40件弱の欠陥を発見した 機械可読な仕様書にはさらなる応用が見込める おさらい：仕様とは 仕様の定義はいくつかあります。 ここでは仕様とは実装の正しい振る舞いを定める基準とします。 ある実装が正しいと判定されることを、実装が仕様を満たしたといいます。 誰による判定でも実装が仕様を満たしたかどうかの判定結果は一致すべきです。 さて実装の欠陥と同様に、仕様にも欠陥が生じえます。 本来正しいと意図した実装の振る舞いを誤っていると判断したり、その逆に誤っていると意図した実装を正しいと判断する仕様には欠陥があ

[devorgachem]

Lintオタクがとうとう仕様書に踏み込んだ話を書きました。機械可読な仕様書は圧倒的正義！

[Kesin]

形式手法の専用言語と比べればかなり人間に書きやすい仕様書から検査できるところまで実現されたのか。すごい

[ardarim]

「機械可読に保つハードルが高いとわかりました。」まあそうだろうなと思いつつ読んでた。プログラマーでも面倒そう。「形式的な」バグ対策にはなりそうだが、意味解釈が挟まる仕様バグは対象外だよね

[inamem9999]

人によるレビューには限界があるのでこういう仕組みの誕生は広く望まれていることと思うが、今回の結果は夢への第一歩という感じ

[cinq_na]

機械可読な仕様書をかくと、仕様書がコードっぽくなってしまう。んでコードはエディタが支援してくれるけど、仕様書には支援がないので生産性が低下する。仕様書の生産性を重視すると、暗黙の了解が増えて品質が…

[marshi]

どうやって保守してるのかが一番気になって読んでたが、ですよね。やはり仕様書管理はそこがむずい。

[arajin]

“このようにUI要素表を組むことで、Confluence Wikiマークアップを解析すれば画面遷移仕様を読み取れるようになります。 また状態遷移図は画像ではなくPlantUMLマクロで描画することによって機械可読にしています。”

[kiririmode]

機械に対して解釈容易な仕様・設計については静的解析・チェックが可能。それらはプラガブルで実装する。 機械と人間双方に解釈容易・保守容易である必要。

[orangehalf]

面白い取り組み。参考にしたい

[automatican]

画面フローの仕様書は結構見返すことが多いので読もう

[onionskin]

AIってやつで何とかならんのか

[ls-ltr]

これ逆の発想で、今のコードから画面使用書を起こして。追加開発の時にブランチごとに追加すれば使用書要らなくなる説？(仕様書の意味よ)

[ene0kcal]

興味深い。似た？ような構造でステートマシンの設計・実装を生成AIで楽に制作できるのではないかと思っている。もし本当に楽に制作できるなら、定義・宣言型の設計手法が隆盛る可能性が高いと思ってます。

[sgo2]

余程寿命が短い(高頻度で更新する)プロダクトでもない限り、書く回数・人数 ≦ 参照する回数・人数 となるはずなので人や機械に読み易くなるなら書くコストを惜しむべきじゃない。(読まれないならどうでもいい)

[uehaj]

「また機械可読な仕様の検索や解釈をLLM向けに支援するMCPサーバーを考えられます。 これは実装や検証項目、テストの自動生成や、それらのプロセスの支援の役に立つ」LLMによる仮想実行ウォークスルーも鍵だ

[kirakking]

そうか今のMarkdown全盛期ならば仕様書から半自動でformal verification出来るんだ。

[nida3001]

Figmaから静的検査まで持っていけると夢は広がるよなあ。それこそLLMで形式仕様に変換できればいいけど。

[dominion525]

とてもよい。

[DecoyMaker]

mermaid記法で状態遷移図書いてAIにレビューさせるのがコスパ良さそう

[FreeCatWork]

すごい！たくさんみつけたんだね！偉い！にゃ

[T-norf]

“今回の事例ではGo言語で6000行弱の静的検査器を実装しました” のね。ここは、LLMの出番だと思うけど試せてない。検査器も、仕様を書くのも、仕様を元にコード書くのもね。

[Falky]

やっぱ結局はドキュメントの書き方と保守なんだよなあ、というよくある結論を打破できないの悔しいなー。なんとかしたいよね…

[gambol]

画面はいろんな情報が詰まりすぎているので総点検がしづらく機械的なチェックが出来たらヒトにも嬉しいんだろうけどうちでは無理だろうなぁーという気持ち…

[kalmalogy]

うおー仕様書の標準化だ。必要なことはわかるけど超難しいんだよ

[strawberryhunter]

定義ファイルから自動生成してテストしなくて済むようにする方が近道だぞ。

[yarumato]

“画面内の状態を点とし、イベントを辺とした、ラベル付き有向グラフ。この状態遷移グラフの仕様書を機械可読にするため、配置図とUI要素表の組を書く。機械可読であれば仕様の静的検査が可、欠陥を発見可能”

[otihateten3510]

学術方面でやりそうなアプローチだな

[onesplat]

具体的にどんな欠陥が検出されたのかわからないので何とも言えない。きっとどうでもよいものばかりだったのではないかという気がする。

[cl-gaku]

”そのため残念ながら今回実装した静的検査器は継続的な運用には至れませんでした。 ”　ここまでやっても難しいんだな

[cript]

ビジュアルの話を無理矢理言語化してる感強すぎて何言ってるかわからん感。

[havanap]

仕様記述言語を書くのがとにかくハードルが高いという問題がLLMとかでなんとかなりそうという気はしている