Ericssonの『ユニットテストカバレッジの神話』を読んでみる - ソフトウェアの品質を学びまくる

今年の4月に『Mythical Unit Test Coverage』（ユニットテストカバレッジの神話）という論文が出ました。ソースコードの品質指標として言及されることの多いコードカバレッジについて、先行研究を整理したうえで、商用の大規模ソフトウェアにおける追加検証をしたものです。IEEEのサイトでも全文公開されています。 Mythical Unit Test Coverage - IEEE Journals & Magazine 長い論文ではないのですが、わたしには論理展開のわかりづらい部分があったので、整理してみました。 アブストのアブスト 「リリース前にどれだけのテストをすべきか」というのはずっと問題。 テストの十分性の指針として、Ericssonで長年使ってきたユニットテストのカバレッジのクライテリアを検証した。 結果として、ユニットテストカバレッジは、欠陥のないソフトウェアを作る

[xlc]

ここでいう「欠陥数」とは何を指しているのだろうか？欠陥は製造で作り込まれるので、試験とは本来関連がないはず。未発見の欠陥数ならカバレッジにより差が出るのでは？我々は未発見の欠陥をなくしたいのだが。

[uehaj]

「実際、サイズと欠陥数には強い相関がある。サイズをコントロールする必要がある。 変更頻度についても同様。多くの変更があるファイルは集中的に開発されているということで、欠陥をはらむ可能性も高くなる。」

[YasuyukiMiura]

ユニットテストカバレッジとバグに相関は無いらしい。感覚的には分かるものの、この指標を使えば良いよっていうのが見つかり、定着しない限りは、テストカバレッジを指標にしていかざるを得ないんだろうな。