1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。 この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジかよ。 https://arxiv.org/pdf/2402.17764.pdf ということで早速試してみることにした。 オフィシャルの実装は公開されていないが、そもそも1ビット(と言っていいのかわからない,-1,0,1の三状態を持つからだ。 論文著者はlog2(3)で1.58ビットという主張をしている)量子化のアルゴリズム自体の研究の歴史は古いので、BitNetによるTransformerの野良実装
No.143 安易な1ビット思考が日本を蝕む - 京都大学大学院 経済学研究科 再生可能エネルギー経済学講座
2019年9月5日 京都大学大学院経済学研究科 特任教授 安田 陽 記号論理学の世界 今回はいつも普段から言ってることをちょっと趣向を変えて書くことにします。はじめに数学の話をしましょう。記号論理学や数理論理学の分野では、存在量化子 existential quantifier という記号があり、∃と表記されます（アルファベットのEを反転したものです）。また、全称量化子 universal quantifier と呼ばれる記号もあり、これは∀と表記されます（アルファベットのAを逆さにしたものです）。 前者は「ある?」もしくは「少なくとも一つ存在する」ということを表す記号であり、∃xは「ある（少なくとも一つの）xについて」ということを意味します。また後者は「すべての」を表す記号であり、∀xは「すべてのxについて」という意味を表します。 ここで、任意の対象xに対して任意の属性Pが与えられた際に
2024-02-27にarXiv公開され，昨日（2024-02-28）あたりから日本のAI・LLM界隈でも大きな話題になっている、マイクロソフトの研究チームが発表した 1ビットLLMであるが、これは、かつてB-DCGAN(https://link.springer.com/chapter/10.1007/978-3-030-36708-4_5; arXiv:https://arxiv.org/abs/1803.10930 )という「１ビットGANのFPGA実装」を研究していた私としては非常に興味をそそられる内容なので、論文を読んでみた。今回は速報として、その内容のポイントを概説したい。 論文情報 Ma, S. et al. (2024) ‘The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits’, arXiv [c
北守 on Twitter: "当時はヘタリアは許されていたみたいな意見があるけど、私はヘタリアこそ日本のオタクコンテンツが歴史修正主義方面へと決壊する剣が峰だと「当時から」主張していたし、事実ヘタリアの成功がストパンガルパン艦これといった世界史1ビット脳コンテ… https://t.co/QlWMUgdqtP"
当時はヘタリアは許されていたみたいな意見があるけど、私はヘタリアこそ日本のオタクコンテンツが歴史修正主義方面へと決壊する剣が峰だと「当時から」主張していたし、事実ヘタリアの成功がストパンガルパン艦これといった世界史1ビット脳コンテ… https://t.co/QlWMUgdqtP
ではそもそも“1bit”とは何が1bitなのか、どうして1bitになるとGPUが不要になるのか。LLMでGPUが不要になるとどんな世界が訪れるのか。オーダーメイドによるAIソリューション「カスタムAI」の開発・提供を行うLaboro.AIの椎橋徹夫CEOに聞いた。 プロフィール：椎橋徹夫 米国州立テキサス大学理学部卒業後、ボストンコンサルティンググループに参画。消費財や流通など多数のプロジェクトに参画した後、社内のデジタル部門の立ち上げに従事。その後、東大発AI系のスタートアップ企業に創業4人目のメンバーとして参画。AI事業部の立ち上げをリード。東京大学工学系研究科松尾豊研究室にて「産学連携の取り組み」「データサイエンス領域の教育」「企業連携の仕組みづくり」に従事。同時に東大発AIスタートアップの創業に参画。2016年にLaboro.AIを創業し、代表取締役CEOに就任。 ──まず、1bi
人工知能（AI）技術、具体的には物体認識などをするCNN（Convolutional Neural Network）の大幅な省電力化が進んでいる。米Apple（アップル）はCNNの超省電力化技術を開発したベンチャー企業の米Xnor.aiを2020年1月に買収。近い将来、iPhoneやiPadなどに搭載するという観測も出てきた（図1）。米Intel（インテル）も半導体の学会で同様な技術を実装した専用チップを発表。国内ではLeapMindが実装モデルの知的財産（IP）を「Efficiera」として2020年6月にリリースするなど、CNNの超省エネルギー化技術の開発や製品化の競争が一気に加速してきた。利用者にとってもこれまで遠い存在だったCNNによる物体認識技術が一気に身近になる可能性が出てきた。 Appleは2020年1月に、BNNの実装モデルと開発環境を開発したXnor.aiを買収した（a）
エルサルバドル、「毎日1ビットコイン」購入へ 大統領
エルサルバドルの首都サンサルバドルで、壁に描かれた反ビットコイン運動のシンボル（2022年11月17日撮影）。(c)Marvin RECINOS / AFP 【11月18日 AFP】世界で初めてビットコインを法定通貨に採用した中米エルサルバドルのナジブ・ブケレ（Nayib Bukele）大統領は17日、政府が毎日1ビットコイン（BTC）ずつ購入していく方針を明らかにした。 ブケレ氏はツイッター（Twitter）に「あすから毎日、1ビットコインを購入していく」と投稿。ビットコインの法定通貨化は国民の批判にさらされているが、ブケレ氏はさらに積極的に推進する構えだ。 ビットコイン相場は17日時点で1BTC＝約1万6500ドル（1ドル=約140円）。エルサルバドルが法定通貨に採用した2021年9月の4万5000ドル、その2か月後に付けた史上最高値の約6万8000ドルから大幅に下落している。 中米大
わかりやすくメトカーフの法則 ビットコインが２０２８年に１ビットコインが１億円になる理由 金からビットコインへの資産移行も原因か - 初心者の投資家マガジン
ゴールドからビットコインへ資産移動か メトカーフの法則では２０２８年に１億円突破 ３歳児までビットコインをガチホする時代へ ゴールドからビットコインへ資産移動か McGlone氏は指摘の根拠を示すため、3つの指標を上記のグラフで表した。まず左軸を基準にする白線が、ゴールドの上場投資信託（ETF）の保有量。長期に渡って概ね右肩上がりで増加していたが、2020年10月ごろを境に減少に転じている。 Digital #Gold Pushing Aside the Old Guard - Gold will always have a place in jewelry and coin collections, but most indicators point to an accelerating pace of #Bitcoin replacing the metal as a store of
1ビットサンプリングでも高精度の計測ができる理由 - Kameno external storage
もうすぐ衆議院議員選挙の投票日ですね。有権者が投じる1票には1名の候補者（小選挙区）と1つの政党または候補者（比例代表）しか書けません。情報量としては小さいですが、多数の有効票の統計をとることで、得票率という有効桁数が数桁もある高精度な情報が得られます。小選挙区で当選するのは1名だけですが、得票率という統計量は有権者の意志を示す数値ですので、たとえ落選候補者に投じた一票であっても無意味ではありません。総選挙の票は世論調査とは比較にならないほどたくさんのサンプル数があるので、例えば原発にYes/Noという切り口, 増税or財政再建という切り口, TPP参加の是非など、争点になっている問題について因子分析することで、民意を具体的かつ説得力をもって示すことができます。 なお、せっかくの1票を棄権したり白票を投じたのでは、得票率に影響を与えません。仮にA, B, Cの3名の候補者がいてそれぞれ得票
ビットコイン価格が18万2000ドルを超えれば、BTCの生みの親であるサトシ・ナカモトが世界で最も裕福な人物になるようだ。 2021年3月現在、純資産が最も多いのは、Amazon創業者のジェフ・ベゾス氏で1816億ドル。次にテスラCEOのイーロン・マスク氏が1637億ドルで続いている。 サトシのビットコイン保有量は？ サトシ・ナカモトは2008年10月にビットコインのホワイトペーパーを公開した。翌年の2009年1月3日に最初のブロックである「ジェネシス・ブロック」がマイニングされ、ビットコインが誕生した。 正確な数値は分かっていないが、2009年1月から7月にかけて、サトシ・ナカモトは100万BTC以上をマイニングしたとされている。現在のビットコイン価格に照らし合わせると、100万BTCはおよそ540億ドルだ。 これから、ビットコイン価格が18万2000ドルになれば、現在のベゾス氏の資産額
仮想通貨を預かり利息を支払う仮想通貨レンディングを営むシグノス（東京都港区）は、利息分を日本円で銀行口座に払い込むサービスを3月16日から開始した。仮想通貨レンディングは、通常預けた仮想通貨かビットコインで利息を支払うサービスが普通。日本円を銀行口座に振り込むサービスは他に例がない。 仮想通貨レンディングは貸仮想通貨とも呼ばれる。顧客から預かった仮想通貨を、海外大手機関投資家など仮想通貨を借り受けたい事業者に貸し出して、利息を受取る仕組み。シグノスでは預かった仮想通貨に対して、年率3％以上の利息を付けている。ビットコイン価格が600万円のとき、1ビットコインを預けると毎月1万5000万円が口座に入金される計算になる。 現時点では、サービスを提供するのは預け入れ5000万円相当額以上の顧客。4月中には少額のレンディングでも対応する。 海外では投機対象としてではなく、資産として仮想通貨を捉える
仮想通貨が再び話題になってきましたね！1ビットコインが514万円！ - マネー報道 MoneyReport
2017年の仮想通貨 確定申告の作業の合間に、久々に投資ネタを書いてみようかと。 仮想通貨 皆さん覚えていますか？ 以前、大いに話題になったのは2017年頃ですね。 私も2017年頃によく仮想通貨の記事を書いていました。 moneyreport.hatenablog.com ビットコイン(Bitcoin)相場が熱い！この3週間で1.5倍、ここ1年間では7.8倍に急騰！ - マネー報道 MoneyReport ビットコインとは？ 仮想通貨ビットコインが生まれたのは2009年。 サトシ・ナカモトと名乗る人物が投稿した論文に基づき運用が開始されました。 ビットコインシステムはピア・トゥー・ピア型のネットワークにより運営され、トランザクション（取引）は仲介者なしでユーザー間で直接取引されます。 このトランザクションと呼ばれる取引履歴は、ネットワークに参加しているノードによって検証され、ブロックチェ
生成AI（人工知能）を含む最新のAI研究動向を知るため、世界中の研究者やエンジニアが参照しているのが、米コーネル大学が運営する論文速報サイト「arXiv（アーカイブ）」である。米OpenAI（オープンAI）や米Google（グーグル）などAI開発を主導するIT企業の多くが、研究成果をarXivに競って投稿している。 arXivは査読前の論文を掲載するプレプリントサーバーのため、信頼性は査読付きの学術誌に劣るが、速報性では随一である。成果を検証できるプログラムコードやデータを同時掲載しているケースもあり、arXiv論文の掲載を契機に実装やサービス化が加速する例も少なくない。 今回はそんなarXivの投稿論文から、SNSのX（旧Twitter）で最も多く言及されたAI分野の注目論文を紹介する。調査には米Meltwater（メルトウォーター）のSNS分析ツールを利用した。調査期間は2024年2月
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
驚異の1ビットLLMを試す。果たして本当に学習できるのか?｜shi3z
速報：話題の 1ビットLLMとは何か？｜寺田英雄（㈱オープンストリームCTO）
生成AIでGPUがいらなくなる？ 業界を揺るがす「1ビットLLM」とは何か、識者に聞いた
Apple注目の1ビット深層学習、超省電力で「スマホに常時AI」
渋谷駅周辺の大規模再開発、いつ・どこが・どう変わるのか＜1＞ 「ビットバレー」再来を目指す渋谷、駅前の大型ビル群建設でオフィスビル不足を解消
サトシ・ナカモトが世界一の資産家になるには、1ビットコインは何ドル必要か？
1ビットコイン預けると毎月1.5万円銀行入金 シグノスが円支払い仮想通貨レンディング
世界が注目したAI論文をSNSで抽出、日本で話題沸騰の「1ビットLLM」