AI Agentに社内知識をオンボーディングする：SkillsとEvalの設計

こんにちは、松尾研究所 データサイエンスチームのマネージャーの浮田です。 最近のAI Agentは、一般的な調査や実装であればかなり高い水準でこなせるようになってきました。一方で、実際の社内業務に必要な社内固有の知識は持っておらず、非常に優秀だが、まだオンボーディングを受けていない新入社員に近い状態です。 例えば、 プロジェクト開始時に、誰がどのアカウントや権限を用意するのか 経費はどのシステムから申請し、誰の承認を得るのか といった、会社固有の知識をAgentは知りません[1]。 そこで今回、社内Notionに整備してある新入社員向けのオンボーディング文書をもとに、AI Agent向けのSkillsを作りました。そして、 社内知識を与えない 必要なときにNotionを都度検索させる 社内知識をSkillsとして与える という3つの方法を比較し、Agentがどの程度社内業務をこなせるように

[kiririmode]

Agentの能力を制約しているのは情報の欠如だけでなく、断片化した文書から毎回その場で業務ルールを再構成させていること

[misshiki]

Codexに社内知識をSkills化して与えると正答率96.0％。Notion検索は87.3％、知識なしは33.0％。SkillsはNotion検索比で応答36％短縮、入力トークン78％削減。

[Eiichiro]

Skillsでまとめたほうが回答精度は高い。ただし、それでも完璧にはならないので、クリティカルな業務には向かない可能性も高い。

[snaka72]

Skill設計とその評価

[coziro]

“す。また、評価方法として、固定入力に回答するStatic / Offline評価と、ユーザーや環境と相互作用”

[gadget-lab]

後で読みたい。AI Agentに社内知識をオンボーディングする：SkillsとEvalの設計