マトリョーシカ・レトリーバーとは？次元削減で検索が早くなる！OpenAIのAPIに次元削減という機能がつきました。 dimensionsというキーに次元数を指定すると、その次元に削減ができます。 openai.embeddings.create({ model: 'text-embedding-3-large', input: 'The cat chases the mouse', dimensions: 1024, # 1024まで次元削減する }) ちなみにdimensionsを指定しないとフルサイズで埋め込みが作成されます。 このオプションについてLangChainが記事を出していたので解説します。 埋め込みとは文章、画像、動画などの類似度を得ることができるベクトル表現です。 物の位置を知るためにX,Y,Z軸の3軸で表現しますが、これは3次元のベクトル表現です。 埋め込みベクトルはこれが数千とか数万になります。 [-0.023972103,
20250226 NLP colloquium: "SoftMatcha: 10億単語規模コーパス検索のための柔らかくも高速なパターンマッチャー"
