速報：話題の 1ビットLLMとは何か？｜寺田英雄（㈱オープンストリームCTO）
2024-02-27にarXiv公開され，昨日（2024-02-28）あたりから日本のAI・LLM界隈でも大きな話題になっている、マイクロソフトの研究チームが発表した 1ビットLLMであるが、これは、かつてB-DCGAN(https://link.springer.com/chapter/10.1007/978-3-030-36708-4_5; arXiv:https://arxiv.org/abs/1803.10930 )という「１ビットGANのFPGA実装」を研究していた私としては非常に興味をそそられる内容なので、論文を読んでみた。今回は速報として、その内容のポイントを概説したい。 論文情報 Ma, S. et al. (2024) ‘The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits’, arXiv [c
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
話題爆発中のAI「ChatGPT」の仕組みにせまる！ - Qiita
オミータです。ツイッターで人工知能のことや他媒体の記事など を紹介しています。 @omiita_atiimoもご覧ください！ 話題爆発中のAI「ChatGPT」の仕組みにせまる！ 注意：ChatGPTはまだ論文が出ていないため、細かい箇所は不明です。本記事では公式から出た記事およびInstructGPTの論文をもとにChatGPTの仕組みを探っていきます 本記事の流れ: 忙しい方へ ChatGPTとは GPT-3 InstructGPT ChatGPT まとめと所感 参考 0. 忙しい方へ ChatGPTは、InstructGPTをベースとしたモデルだよ InstructGPTは、「人間の好みに合った文を出力するように微調整したGPT-3」だよ InstructGPTの学習では、以下の3つが重要だよ GPT-3の教師ありファインチューニング Reward Modelの学習 RLHF（＝Re
AIで数学の新たな定理発見 英DeepMindと数学者がNatureに共同論文
新たな数学の定理の発見や、未証明の予想の解決にAIが役立つ──そんな研究結果を、囲碁AI「AlphaGo」などで知られる英DeepMindが発表した。順列に関する新しい定理を発見した他、ひもの結び目を数学的に研究する「結び目理論」についても、異なる数学の分野をつなぐ、予想していなかった関係性を見つけたという。 DeepMindは、豪シドニー大学と英オックスフォード大学の数学者とともに数学研究を支援するための機械学習フレームワークを構築。これまでも数学者は、研究対象を調べるためにコンピュータを使い、さまざまなパターンを生成することで発見に役立ててきたが、そのパターンの意義は数学者自身が考察してきた。しかし、研究対象によっては何千もの次元があることから、人間による考察も限界があった。 今回開発したアルゴリズムは、こうしたパターンを検索する他、教師あり学習を基にその意味を理解しようと試みるという
「敬語をちょっと直すだけでほぼ完璧な翻訳」Google翻訳以上？DeepL翻訳がスゴいという話
精神科医K @dwdaai DeepL翻訳ガチでやばい こら時代が変わるわ グーグル翻訳でもなんとか意味は取れるがDeepL翻訳は敬語をちょっと直すだけでほぼ完璧な翻訳 twitter.com/jaguring1/stat… 2020-03-20 19:31:09 小猫遊りょう（たかにゃし・りょう） @jaguring1 試しに、いま僕が読み返している、グーグルのAI開発を率いている大天才Jeff Deanの論文（2019年11月13日）の概要を、DeepL翻訳（1枚目）とグーグル翻訳（2枚目）に入れてみた。 Jeff Deanの論文 arxiv.org/abs/1911.05289 DeepL翻訳 deepl.com/translator グーグル翻訳 translate.google.com/?hl=ja pic.twitter.com/9o5VJkfm11 2020-03-20 18
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AI 激動の年！2022年の人工知能10大トレンドと必読論文
