【Dify】チャンク？何それ美味しいの？

Difyを触っていた時にナレッジを食わそうと思い、データをぶち込んだところ「チャンク設定」という単語を見つけたので、気になって調べてみました。 日本語記事も見つけたのですが、実装メインの記事が多かったので 「チャンクとは？」を理解することを目標に調べてみました。 以下参考記事です 登場する用語説明。 sequence（シーケンス）:一連のトークン（文字、単語、またはサブワード単位）のこと。入力と出力シーケンスがある。 fine-tuning（ファインチューニング）：：事前に学習されたLLMを、特定のタスクやドメインに適応させるために、より小規模でタスク特化型のデータセットを用いてさらに訓練するプロセス。 チャンクとは チャンクとは大容量のドキュメントを小さなドキュメントに分けて、より管理しやすくするための施策です。 チャンクの基本的な発想は大量のデータをより小さく、管理しやすいように分割し