安野たかひろ事務所 技術チームの角野です。前回の投稿ではAIあんのにおける返答生成技術の詳細に触れましたが、今回は返答生成に用いるデータの整備に焦点を当てて解説します。 なぜデータの整備が必要なのか？AIあんのでは政策に関する質問に対してLLMで返答の生成を行っていますが、元のLLMには安野の政策に関する知識が含まれておらず、そのままでは政策に関する質問には回答できません。 そこで、前回の記事でも解説しましたが、AIあんのではLLMに入力するプロンプト中に政策に関する知識を注入することで、政策に関する質問に回答できるようにしています。当然知識がない質問に対しては回答できないため、ユーザーの質問に対して正確に回答するには政策に関する知識をデータとして整備することが重要となります。 返答生成に利用しているデータAIあんのでは、次の2種類のデータを返答生成時に利用しています。 今回の記事では、私

安野たかひろ事務所 技術チームで活動している角野です。普段は機械学習や自然言語処理関連の仕事をしています。 安野とは大学時代の学科の同級生で、彼が創業したBEDORE（現・PKSHA Communication）で一緒に働いていた縁もあり、技術面で今回の選挙活動をサポートしています。 私はAIあんのの開発を担当しており、特に次の3点の開発に携わっています。 返答生成ロジックの開発 返答生成に用いるデータの整備 音声合成 今回の記事では、1点目の返答生成ロジックについて解説します。システムの全体像については伊藤の記事でも解説されていますが、返答生成部分の技術により焦点を当てた記事となります。 返答生成フローについて返答生成は次の4つのパートで構成されています。 知識検索 知識のフィルタリング・リランキング 返答生成 ハルシネーションチェック 返答生成フローの全体像返答生成フローの設計思想全体