LLMで長い出力を扱うときに、知っておくとちょっと楽になること - LayerX エンジニアブログ

こんにちは。AI・LLM事業部 LLMグループ エンジニアのkoseiです。 AI・LLM事業部ではエンタープライズのお客様向けの文書処理業務を効率化するプロダクト「Ai Workforce」を開発・提供しています。 詳細は以下のリンクをご参考ください。 getaiworkforce.com 直近も大手リース会社のお客さまにご導入いただきました。「Ai Workforce」が実際どのように利用されているのか、ご興味のある方は是非ご覧ください。 getaiworkforce.com さて、LLMを用いたアプリケーションを開発していると、LLMの出力が長いタスクって意外と遭遇しますよね。 長文の要約、大量のデータへのタグ付け・分類、文書に対する巨大な構造化JSONの生成など。 こうしたケースでは、出力のトークン数が自然と増えがちですが、長くなると結構困ることがあります。 出力が途中で切れてしま