LLMのテキスト埋め込みはどのように扱うべきか、レコメンド視点で考えてみた - ENGINEERING BLOG ドコモ開発者ブログ

本記事は、ドコモアドベントカレンダー2023の18日目の記事になります。 こんにちは。NTTドコモサービスイノベーション部1年目社員の髙橋克です。 入社してから、主にレコメンデーションシステムの技術開発に携わらせていただいてます。 本記事では、OpenAI、Googleの提供しているLLMのテキスト埋め込みモデルを使い、レコメンドを行う際の商品情報の特徴量化の方法について検討し、主観評価してみました。 始めに 自然言語処理（NLP）分野において、テキストデータの理解は重要な課題の一つです。初期段階ではキーワードベースのアプローチが主流でしたが、技術の進歩により、「Word2Vec」のような方法が登場し、これによって単語間の意味的な関係を定量化し、テキスト理解を深めることができるようになりました。さらに、「fastText」は単語の内部構造を考慮に入れ、より詳細な理解を可能にしましたが、文脈