[技術日誌]LLMの単語ベクトルは本当に偏っているのか？ & なんj論文レビュー｜hirasu1231

LLMのある噂を検証する知人のエンジニアからある噂を聞きました。 「LLMの単語ベクトルは偏っていて、全く関係ない文章が高い類似度を算出されることがある」 上記の噂が本当なのか、1つのLLMだけですが、検証してみました。 環境構築Google Colabratryを使用してるので、環境構築は不要です。 LLMベースのモデル(重い)下記のLLMベースモデルが人気だったが、無料版のColabではRAMをすべて消費してしまうので別の軽いモデルを使用する。 BGE-Multilingual-Gemma2はLLMベースの多言語埋め込みモデルです。google/gemma-2-9bをベースに様々な言語とタスクで学習されています。BGE-Multilingual-Gemma2は主に以下のような進歩を示しています： ・多様なトレーニングデータ： このモデルの学習データは、英語、中国語、日本語、韓国語、フラ