はてなブックマーク

UnstructuredURLLoaderでホームページの内容を読みこみ、textsplitterで適切なサイズにテキストを分割します。 その後、OpenAIEmbeddingsを使用して、埋め込みを作成します。 その埋め込みをEmbeddingsFilterを用いてフィルタリングします。 (EmbeddingsFilter Making an extra LLM call over each retrieved document is expensive and slow. The EmbeddingsFilter provides a cheaper and faster option by embedding the documents and query and only returning those documents which have sufficiently simil