【完全版】文字数制限のないChatGPTを実装するためのアルゴリズムまとめ【Python / LangChain / RAG】

はじめまして、ますみです！ 株式会社Galirage（ガリレージ）という「生成AIに特化して、システム開発・アドバイザリー支援・研修支援をしているIT企業」で、代表をしております^^ この記事では、「文字数制限のないChatGPTを実装するためのアルゴリズム」を解説します！ ChatGPTやLangChainやについてまだ詳しくない方は、こちらを先にご覧ください◎ 1. 背景 まず背景として、ChatGPTのウェブサービスでは、長文の文章を送信すると、エラーになってしまいます。 たとえば、次のように「次の文章を要約してください」という指示のもと、長文を入力すると、エラーになります。 現在（2023年5月）、GPT-3.5が扱えるテキストの長さは、最大4097トークンで、日本語1文字が2トークンと仮定した場合、約8000文字が限界の文字数になります。 GPT-4では、約2倍と約8倍のトークン