チャンキングする理由をわかりやすく（LLM) - Qiita

LLMのチャットボットアプリを作っているが、チャンキングについてネットで調べてもあまり意味がわからなかったので、自分なりにわかりやすくまとめてみました。 長文を処理する際に LLM がテキストを分割する理由 処理能力の限界 コンテキストの保存 処理能力の限界 LLM には、一度に処理できるテキスト量に制限があります。この制限は、モデルのアーキテクチャや利用可能なコンピューティングリソースなどの要因に基づいています。テキストを小さなチャンクに分割することで、LLM は情報をより効率的に処理することができます。 例） 処理能力の限界: LLM を人間の作業メモリに例えると分かりやすいでしょう。一度に大量の情報を与えられたら、人はすべてを記憶するのが難しくなります。同様に、LLM に大量のテキストを一度に与えると、処理能力を超えてしまう可能性があります。テキストをチャンクに分割することで、LLM