コンテキスト・ウィンドウとは？ | IBM

大規模言語モデル（LLM）のコンテキスト・ウィンドウ（または「コンテキスト長」）は、モデルが一度に考慮または「記憶」できるトークン単位のテキスト量です。コンテキスト・ウィンドウを大きくすると、 AI モデルはより長いインプットを処理し、各アウトプットに大量の情報を組み込むことができます。 LLMのコンテキスト・ウィンドウは、そのワーキング・メモリと同等と考えることができます。これは、以前のやり取りの詳細を忘れずに実行できる会話の長さを決定します。また、一度に処理できるドキュメントまたはコード・サンプルの最大サイズも決定します。プロンプト、会話、ドキュメント、またはコード・ベースが人工知能モデルのコンテキスト・ウィンドウを超える場合、モデルを続行するには、短縮するか要約する必要があります。 一般的に言えば、LLM のコンテキスト・ウィンドウ・サイズを大きくすると、精度が向上し、ハルシネーショ