AIエージェントに組み込んだAgent SkillsをSkillOpsで評価する - Qiita

スキルトリガー AIエージェントが適切なスキルを適切な順番で読み込んだかを評価します。スキルはどのようなときに読み込むべきかをSKILL.mdのフロントマターに記載します。これが不明確であると、適切な場面でスキルが読み込まれない、別のスキルが読み込まれるなど問題が発生します。 この評価軸によって、スキルのフロントマターが適切か、AIエージェントが類似したスキルやツールを持ちすぎていないかを判断できます。 評価方法としては、期待するスキルのリストを事前定義し、それとAIエージェントの動作履歴を比較します。今回は、期待するスキルが、期待した順序で、抜け漏れなく読み込まれていればPASSとします。前後や途中に余分なスキルは挟まっても許容します。余分なスキル読み込みを許容するかは、AIエージェントの有する機能次第でもあります。今後この辺りは検討したいです。 図の例では、期待と動作は、 スキルαを読