適切なチャンクサイズを評価する方法（LlamaIndexのブログをやってみた） - Qiita

答えのない問い、それがチャンクサイズ。 LlamaIndexのブログに、評価によって適切なチャンクサイズを検討する方法があったので、試しました。 ブログ公開から半年以上経過しており、Duplicatedになっているライブラリーがあったので最新化して実行しました。 環境 Python: 3.11.9 llama-index-core: 0.10.55 llama-index-llms-bedrock: 0.1.12 llama-index-embeddings-bedrock: 0.2.1 spacy: 3.7.5 RAGの対象ドキュメントはAWS Well-Architected FrameworkのPDFとしました。 手順 まず、必要なライブラリーをインポートします。 import time from llama_index.core import SimpleDirectoryRead