LLMに全部読ませない。スクリプト同梱スキルでトークンを減らす設計 - Algomatic Tech Blog

こんにちは。AlgomaticでソフトウェアエンジニアをしているGo（@53able）です。 AIに大きなCSVや長いログを読ませようとして、送信量の上限や費用に困ることがあります。質問に関係のない行まで送れば入力は増えます。一方、先頭から一定量だけを送ると、判断に必要な行を落としかねません。 そこで、LLM（大規模言語モデル。ChatGPTなどの文章生成AIの中核）へ丸ごと送る前に、手元のPCやLLMの外で動くスクリプトでデータを整理します。LLMへ渡すのは、件数、代表例、元データの位置、必要な原文を追加取得する方法です。 困りごと この方法で改善を狙えるか 送るデータ量や入力トークンが多い 改善を狙える。ただし回答品質との比較が必要 短時間に送るリクエスト回数が多い 直接は解決しない この方法は、情報を減らしても回答品質を守れた場合だけ節約策として採用します。本稿で参照する研究は、短い