百花繚乱の大規模言語モデル その現状まとめ【2023年4月末版】
昨年末から急激に話題を呼んだChatGPT、その内部的なバージョンアップであるGPT-3.5とGPT-4はいずれもMicrosoftから強力な支援を受けた米OpenAIという企業が独占的に提供する大規模言語モデル（LLM）だ。 それに呼応するかのように、Meta社からはLLaMA（ラマ）がリリースされ、LLaMAをChatGPTとの1万3千回の会話データで微調整したAlpaca（アルパカ）、AlpacaをShareGPT（GPTとの会話を有志がオープンにしたもの）のデータで微調整したVicuna（ビクーニャ）といった派生モデルが次々と登場した。 しかし、LLaMAはMeta社の意向により「アカデミック用途限定」という縛りがある。またGPTの出力にはOpenAIの利用規定で「GPTの出力結果を元にGPTに対抗できる強力なAIを作ってはいけない」という制約があるため、AlpacaもVicuna
上海モーターショーで「日本車のガラパゴス化」が鮮明に…！ この残酷な現実をトヨタはどう受け止めるのか（近藤 大介） @gendai_biz
「EVにあらずんば自動車にあらず」 半導体、パソコン、携帯電話……と世界市場で敗れ去ってきた日本企業だが、いま「最後の牙城」とも言える自動車の分野でも、激震に見舞われている。 4月18日から27日まで上海で開かれている第20回上海モーターショー（上海国際汽車工業展覧会）は、そんな危機感をひしひしと感じさせるイベントとなっている。 3年に及んだコロナ禍を経て、4年ぶりに開催された上海モーターショーは、13のパビリオンに分かれ、中国内外から1000社以上が参加。計150台以上の「世界初の新車」がお目見えしている。しかも、それらのほとんどがEV（電気自動車）。まさに「EVにあらずんば自動車にあらず」と言ったモーターショーなのだ。 同時に、「世界の自動車勢力図」が激変していることも思い知らせた。これまで中国開催のモーターショーで「主役」の座を占めてきた日本勢とドイツ勢が沈滞。代わって脚光を浴びてい
GPTの仕組みをちゃんと勉強したい本 - きしだのHatena
やっぱGPTを仕組みから勉強したい、という本をいくつか見つけたのでまとめておきます。 まず理論的な概要。 機械学習からニューラルネットワーク、CNNでの画像処理、トランスフォーマーでの自然言語処理、音声認識・合成、そしてそれらを組み合わせたマルチモーダルと章が進むので、理論的な概観を得るのにいいと思います。 最初は数式が多いのだけど、Σをfor文だと思いつつ、定義が説明文中に埋まってるPerlよりたちが悪い記号主体言語だと思えば読めるけどめんどくさいので飛ばしても問題ないと思います。 深層学習からマルチモーダル情報処理へ (AI/データサイエンスライブラリ“基礎から応用へ” 3) 作者:中山 英樹,二反田 篤史,田村 晃裕,井上 中順,牛久 祥孝サイエンス社Amazon で、もういきなり作る。 トークナイザーから全部つくっていきます。TensorFlowでBERTをつくってGPT2をつくる
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
稼働を止められない工場のライン中核に存在するWindowsXPでしか動かずメーカー倒産してインストールメディアも紛失したアプリってどうすりゃいいの恐怖