GPT-3.5世代のオープンな言語モデルを調べてみた - Qiita

GPT-3.5世代のオープンな言語モデルを調べてみました。 本稿では以下の特徴をもって「GPT-3.5世代」の言語モデルと定義しました。 ChatGPT等（text-davinci-003、gpt-3.5-turbo）の登場した2022年11月以降に登場 GPT-3と同様にテキスト生成ができる言語モデル GPT-3（text-davinci-003等）を主なベンチマークにしたり、学習に利用したりしている 「オープンな言語モデル」としていますが、本稿では以下いずれかを満たしていればオープンな言語モデルとします。一般的なオープンソース・ソフトウェアの定義等とは少し異なります。 学習済モデルが公開されている 学習データと学習用ソースコードが公開されており、学習済モデルの再現が可能である GPT-3.5世代のオープンな言語モデルの特徴 本稿で紹介するGPT-3.5世代のモデルには、以下のような特徴

[knok]

日本の言語資源は売りものが大半だからな… https://www.gsk.or.jp/ The PileやCC等に含まれている日本語部分に期待するしかない

[shunkeen]

“ライセンス的に商用利用可能である物は少ない 　日本語に対応しているものは少ない”／コンソーシアムを立ち上げて、日本語のデータを大量に持ってる企業を集めて、日本語特化・商用利用可のモデルを作らんのか？

[misshiki]

GPT-3.5世代のオープンな言語モデルの特徴と系譜。