化学の専門知識を学んだＬＬＭ開発、東工大が見出したこと ニュースイッチ by 日刊工業新聞社

東京工業大学の畠山歓助教と早川晃鏡教授らは、化学の専門知識を学んだ大規模言語モデル（ＬＬＭ）を開発した。６万５０００報の論文データセットを構築した。学習データでは、論文の要約よりもイントロダクションが性能向上に役立った。論文の結論の学習は、性能面でネガティブに働いた。小さなＬＬＭにとっては結論の内容が専門的過ぎた可能性がある。専門知識を備えたＬＬＭを構築するための知見になる。 米メタが公開しているＬＬＭ「Ｌｌａｍａ２」に化学論文を追加学習させた。モデルのパラメーター数は７０億―７００億。低ランク適応（ＬｏＲＡ）という手法で計算コストを抑えた。研究室で始めやすい構成になる。 モデルの性能は論文を元に作成した問題で評価した。模範解答とＬＬＭの回答の類似度を計る。すると異分野の論文を学習させるほど性能が落ちた。利用したい専門領域に絞ってデータ量を確保する必要がある。 論文は要約とイントロ、結論を

[ookitasaburou]

“論文の結論の学習は、性能面でネガティブに働いた。小さなＬＬＭにとっては結論の内容が専門的過ぎた可能性がある。専門知識を備えたＬＬＭを構築するための知見になる。”

[misshiki]

“化学の専門知識を学んだ大規模言語モデル（ＬＬＭ）”