CyberAgent社の日本語LLM OpenCALMの対話モデル用途のfinetune検証 - ACES エンジニアブログ

こんにちは、ACESでアルゴリズムエンジニアとして働いている檜口です。最近はChatGPTを始めとする言語モデルの研究開発やプロダクト改善に取り組んでいます。 昨年末のChatGPTのリリース以降、大規模言語モデル（large language model, LLM）の社会実装が急速に進んできています。弊社でも商談解析AIツールACES MeetにLLMを組み込むなど、LLMの活用を広げています。こちらに関してはLLMを活用したAIまとめ機能リリースの裏側について過去記事を書いてありますのでご興味ある方はぜひご覧ください。 tech.acesinc.co.jp LLMはOpenAIのChatGPTが最も有名ですが、最近はオープンソースでモデルを開発する流れも活発になっています。特に、英語で学習したオープンソースモデルはMeta社のリリースしたLlamaを始めとして非常に強力なものがリリース

[rax_2]

日本語LLMも面白くなってきたな、と思うが、買えて3060の民には言語生成は辛み。Finetuneいいなぁ～

[misshiki]

“今までリリースされた日本語モデルと比べてダントツに回答のクオリティが高くて感動するレベルです。特に、コンテキストを利用しないで回答させた場合のクオリティはかなり信頼できるものが出てくると感じました”

[kazuph1986]

すばら。

[KoshianX]

Wikipedia とまったく同じこと出したりしちゃうのか。まあそれにしてもずいぶん自然な言葉がつらつら出てくるもんだなあ。これが GPU 1個で動いちゃうのすごいな

[casm]

「なんかwikipediaにありそうな文章だな……と思ってwikipediaを見たら完全に同じでした。」

[yarumato]

“今回CyberAgent社から公開された最大の日本語LLMである open-calm-7b のLoRA finetuneを試してみました。今までの日本語モデルからは考えられないほど回答の質が良い”

[rti7743]

gptの検閲でポルノ書けないから、世界中のアノンというかナードがなんとかして自分のお気に入りのポルノを書かせようと努力しているが、LLMの動作要件のVRAMが高くて苦労してるらしい。もう少し技術革新がほしい所

[hasiduki]

大規模言語モデルの汎化性能の評価って面接しないとわかんないの？？？？？？

[knok]

純粋に日本語コーパスだけだと翻訳はダメそうかなあ。自分でもやってみるか

[shunkeen]

“CyberAgent社がリリースした open-calm-7b モデルのfinetuneを行いました。今までリリースされた日本語モデルと比べてダントツに回答のクオリティが高くて感動するレベルです。”／検証するのも、記事書くのも爆速ですごい。

[Windymelt]

面白い

[kazgeo]

明治期の西洋文物の大量翻訳を思わせる。