2018年にはヘルプデスクにAIを導入することが普及し、大企業では複数のベンダーのソリューションを比較検討して導入を決定することも珍しくなくなりました。 その中で一つの指標として用いられるのが回答精度の比較です。AIを導入するにあたって、「正確に答えること」が期待されるのですから、検討項目に入ってしかるべきものでしょう。精度の測り方にはいくつかのアプローチがありますが、効果の低い方法で精度を計測しても意味がありませんし、その後の導入効果に影響が出てしまいます。 そこで、こちらでは機械学習による質問応答システムを例に取りながら、弊社の推奨する正解率の比較検証方法の一例の概略をお話したいと思います。 弊社の推奨する検証の手法は単純で、以下の2つとなります。 対象サービスとなるべく同じ性質やドメインのデータで学習を行い、比較をする 検証の質問は学習データに含まれる質問とは異なるものを用いる まず