これからLLM開発を始める方へ 〜軽量な特化モデル開発の課題とコスト〜 - Stockmark Tech Blog

ストックマーク株式会社にて技術広報とウェブエンジニアを勤めている安藤です。 当社は生成AIをフルスクラッチで開発している企業ということもあり、LLMの開発についてのご質問をいただく機会が増えてきました。 そこで今回、LLMの新規開発・性能研究なども行っている当社のリサーチチーム 広田さんにストックマークに寄せられるよくある質問についての一つである、比較的軽量な特化モデルの開発についてインタビューしました。本記事では対談形式でその内容についてお届けします。 よろしくお願いします はい、よろしくお願いします 広田 航 (Wataru Hirota) ストックマーク リサーチチーム ユニットリーダー ストックマーク株式会社にて自然言語処理の研究開発に従事。 2020年大阪大学情報科学研究科修了、修士 (情報科学)。 その後米国に渡り、Megagon Labs で会話エンジンと Entity Ma

[tyrog]

“思うんですけど、ファインチューニングというのは基本的に新しい知識を覚えさせるというのはめちゃくちゃ難しいです。ですが、文章のスタイルをあわせたりとか本当に限定的な用途を精度を高めたいとか、そういうの

[misshiki]

“基盤モデルはそのままに、知識を外部から取り入れるRAG（検索拡張生成）がほとんどの場合は良い選択肢になるのではないか”