1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙
やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙 2023.03.16 Updated by Ryo Shimizu on March 16, 2023, 08:00 am JST 3月14日の早朝、GPT-4が公開され、筆者は早速試した。 その後、開けて3月15日の早朝、APIも部分的に解放され、筆者はそれも試した。 その上で、先週書いた記事の内容についての確信が深まった。 やはり、GPT-4は期待を超えてはこなかった。 GPT-4は、ChatGPT Plusに入会すると誰でもすぐに使うことができる。APIだけは招待制だが、それも筆者と同じくらいのタイミングでアンロックされた方も少なくないのではないか。 100倍規模のパラメータがあっても、アプローチには限界があるのである。 また、ChatGPTが注目を集めたことで、これまで下火になっていた他の大規模言語モデル(
「映像も物理も、微分可能になるとすごいことが起きる」ということの意味を文系にもわかるように説明しようと試みる
「映像も物理も、微分可能になるとすごいことが起きる」ということの意味を文系にもわかるように説明しようと試みる 2021.07.26 Updated by Ryo Shimizu on July 26, 2021, 07:12 am JST 最近のプログラミングの新しい波は微分可能プログラミング(differentiable programming)である。 微分可能プログラミングとは、簡単に言うと・・・と思ったが、簡単に言うのは結構難しい。 まず「微分」という言葉があまり簡単ではない印象がある。 まずは微分と積分の関係性を説明しておこう。文系の読者に向けた記事であるので、非常にざっくりと説明してみよう(そのかわり、元々数学が得意な読者にとっては直感的ではない説明になるかもしれない)。 まず、瓶からコップにジュースを移すような状況を想定してみる。 瓶からコップが一杯になるまで60秒で注ぐとし
高密度GPUクラスタとGPUクラウドのトレードオフ
高密度GPUクラスタとGPUクラウドのトレードオフ 2017.12.14 Updated by Ryo Shimizu on December 14, 2017, 05:00 am JST 昨日、一昨日の二日間にわたって開催されたNVIDIAのGPU Technology Conferenceで気になるデバイスが発表されていました。 上に掲載した写真のように、びっしりと敷き詰められた組み込み用GPU搭載SoC、通称Jetson TX-2を24個並べたクラスターボードです。 Jetson TX-2のGPUコア数は256しかないので、これを24倍しても6144コアであり、これは普通のGeForce TITAN Xのたかだか二倍程度でしかありません。 ところが、メモリで比較すると、TX-2は一基あたり8GB搭載しているので、192GBという途方もない容量になります。NVIDIAからの説明では、こ
NVIDIAが規約変更によりGeForceのデータセンター利用を制限。大学などの研究活動にも大ブレーキ
NVIDIAが規約変更によりGeForceのデータセンター利用を制限。大学などの研究活動にも大ブレーキ First Order rising 2017.12.19 Updated by Ryo Shimizu on December 19, 2017, 16:08 pm JST 深層学習分野で、NVIDIAの名を知らない者は潜りと言われても仕方がないでしょう。かつて日本の新聞社で、NVIDIAを「謎の半導体メーカー」と呼んで赤っ恥をかいた人がいますが、NVIDIAなくして深層学習の研究はままならないことは間違いありません。 というのも、深層学習に不可欠な積和演算機能に優れた半導体とAPIを提供しているのが、事実上世界にNVIDIA一社しかないからです。 Intelやその他のメーカーも頑張って入るのですが、NVIDIAが持つ多数の知的財産権の前に、後塵を拝しています。 それはそれで、NVID
アメリカのノマドの不都合な真実 - WirelessWire News（ワイヤレスワイヤーニュース）
このブログでも以前フリーランサー（個人事業主）について紹介しています。日本では最近フリーランサーが「ノマドワーカー」という風に呼ばれたりして、注目を浴びています。従来のフリーランサーの様に「雇われずに働く」という他に、フリーランサーであっても、誰かに雇われてる会社員であっても、モバイル機器やネットを活用して「場所にとらわれずに自由に働く」といういう意味もあります。 フリーランサーという働き方は、大昔からあるわけですが、技術や通信サービス、デバイスの発達により、「場所にとらわれずに自由に働く」という働き方が、以前よりも簡単になって来たのは新しい感じですね。 しかしながら、フリーランサーのおかれている立場というのは簡単な物ではありません。私が３月9日に出版したノマドと社畜という本の中では、イギリスの実態を紹介しています。 イギリスと同じくノマド先進国であるアメリカは日本よりも早く労働が自由化さ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
