エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
音声対話システムの評価方法 - Qiita
音声対話システムは個々のシステムの評価とシステム全体の評価があり、的確に評価をするのが難しい。 そ... 音声対話システムは個々のシステムの評価とシステム全体の評価があり、的確に評価をするのが難しい。 そこで下記の資料を参考に音声対話システムの評価法をまとめた。 システム個々の評価 音声認識、言語理解は答えを用意して評価 音声認識部:文認識率、単語認識率 言語理解部:意味理解率、意味スロット認識率 システム全体の評価 1:対話ログなどを用いた客観的な評価 メリット:大規模にタスク達成率、平均ターン数によってシステムの状態や効率を評価可能 デメリット:タスクの達成率の定義が難しい。 2:ユーザーアンケートによる主観評価 メリット:ユーザーの満足度を直接図れるので、タスク達成率、平均ターン数では捉えきれない要因を探れる デメリット:大規模に行うことが難しい。 その他の評価の試み シミュレーションによる評価方法 ユーザーの振る舞いを模擬するシミュレーションを作成、シミュレーターと対話システムのログを