百花繚乱の大規模言語モデル その現状まとめ【2023年4月末版】

昨年末から急激に話題を呼んだChatGPT、その内部的なバージョンアップであるGPT-3.5とGPT-4はいずれもMicrosoftから強力な支援を受けた米OpenAIという企業が独占的に提供する大規模言語モデル（LLM）だ。 それに呼応するかのように、Meta社からはLLaMA（ラマ）がリリースされ、LLaMAをChatGPTとの1万3千回の会話データで微調整したAlpaca（アルパカ）、AlpacaをShareGPT（GPTとの会話を有志がオープンにしたもの）のデータで微調整したVicuna（ビクーニャ）といった派生モデルが次々と登場した。 しかし、LLaMAはMeta社の意向により「アカデミック用途限定」という縛りがある。またGPTの出力にはOpenAIの利用規定で「GPTの出力結果を元にGPTに対抗できる強力なAIを作ってはいけない」という制約があるため、AlpacaもVicuna

[plank]

書いたの清水亮さんかなーと思ったら清水亮さんだった。

[T-norf]

専門家がなかなか見解を出せない中で、凖専門家として独自見解を織り交ぜての情報はありがたい面もあり、ただ同じく専門家ではないけど情報追っかけてる身として違和感を感じる点も多いのよね。他の皆さんはどう？

[exciteB]

ウーバーイーツおじさんの記事は毎回核心をついていてわかりやすい

[katchin]

　百花繚乱の大規模言語モデル　その現状まとめ【2023年4月末版】

[misshiki]

“現在は「不自由な大規模言語モデルと自由な大規模言語モデルの小競り合い」が起きている状態だ。あまりにも多くの技術やデータセット、モデルが登場するので表にまとめ”

[timetrain]

そのレベルで矛盾のない小説が書かれたことがほとんどない、という点でも人類の限界に到達してるのか。／清水亮さん、この状況を楽しんでるんだろうなあとほっこりした

[kei_1010]

俺もtransformerを使ってる限りは人間より賢くならないと思う。でもあと100年ぐらい経てばさすがに超えてくるとも思う。単に俺が生きてる間には無理そうに思えるだけ。俺の子の世代はギリ、シンギュラリティ行けるだろう

[tekitou-manga]

ほー。3P目が興味深い

[nobodyplace]

確かにこれはもうええわいって言いたくなるな

[eagleyama]

賞味期限短そう

[pascal256]

まさに戦国時代。いや、諸子百家？

[qpci32siekqd]

記事にはないが中国も各社モデル出してきたり、学習インフラ投資したりと早い…。NVIDIA輸入制限かかってるはずなのに

[mutinomuti]

百なの？(´･_･`)百なら数えれるから全部リスト化してよ。読んでないけど。まさか、1、2、3いっぱいみたいな人じゃないよね？

[shunkeen]

“不自由な大規模言語モデルと自由な大規模言語モデルの小競り合い”／一般大衆は不自由なオペレーティングシステムから使いやすい不自由な大規模言語モデルを使うんじゃなかろうか。