1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
先鋭化する大富豪の白人男性たち、警告する女性たち
先鋭化する大富豪の白人男性たち、警告する女性たち 2023.09.11 Updated by yomoyomo on September 11, 2023, 21:53 pm JST 「テックブロ（tech bro）」という言葉があります。IT業界で働く男性を指しますが、ケンブリッジ英英辞典によると、社交性に欠けるのに自身の能力を過信する米国の若い男性という含意もあるようです。 最近、この言葉が出てくる文章で気になったものがあるので、それらの紹介から始めたいと思います。 一つはダナ・ボイドの「メタバースは未だシカトさせていただきます」です。これはメタバースがテーマの新刊を送ってきた友人に対し、メタバースには一貫して興味がないと宣言する文章なのですが、彼女の拒否反応には理由があります。彼女は初期のバーチャルリアリティー（VR）の体験者であり、2014年にはVR体験の性差にフォーカスした「Oc
ChatGPT開発に必要なGPUは3万基、日本の国策AI基盤は1千基。目前に迫る日本のAI敗戦
ChatGPT開発に必要なGPUは3万基、日本の国策AI基盤は1千基。目前に迫る日本のAI敗戦 2023.08.19 Updated by Ryo Shimizu on August 19, 2023, 16:47 pm JST そろそろ業界の最深部でしか知られてなかった事実がニュースになって来始めているのでここで本当の問題を明らかにしておきたい。 AI開発に必須なのは、計算資源である。そしてこれは現在のところ、事実上NVIDIAが一社独占している。 NVIDIA以外の半導体がいくら「AIに特化しています」と能書きを垂れていてもごくわずかな例外を除いてはほとんど全部が誇大広告である。 たとえばApple Silliconは、「ニューラルエンジン」と称するモジュールを内蔵しているが、これを使ってAIの学習をすると、なんとCPUよりも遅い。信じられないかもしれないが、これが残酷な事実なのである
AIもうええわい
AIもうええわい 2023.04.16 Updated by Ryo Shimizu on April 16, 2023, 03:24 am JST むかし、僕がいた業界は「ドッグイヤー」と呼ばれていた。 犬のように歳をとるのがはやいという意味だが、ドッグイヤーの感覚に慣れた僕にとっても、最近のAI関係のニュースの多さ、進歩の速さは異常だし疲れてきた。 この連載も、「一ヶ月くらい書いてないのでは」と思って確認すると、今月の頭に書いていた。まだ二週間しか経ってない。 何か書こうと思って、とりあえず何かタイトルを適当に打ち込もうとすると、「AIもういいわい」というフレーズが浮かんだ。 こんなこと誰かが先に言ってそうだなと思って検索すると、あんまり見つからなかったから、いまのうちに書いておくことにする。 最近のAI業界の進歩を映画業界に例えると、毎週スターウォーズが公開されているような状況である
深層学習の今のところの限界「何ができて、何ができないか？」
深層学習の今のところの限界「何ができて、何ができないか？」 2018.01.08 Updated by Ryo Shimizu on January 8, 2018, 08:29 am JST あけましておめでとうございます。 先日、MIT Technology Reviewにこのような記事が掲載されていました。 深層学習の過大評価は危険、ウーバーAI研究所の前所長が指摘 この論文を発表したのはニューヨーク大学の心理学者のゲイリー・マーカス教授。心理学者ということで、我々情報工学の立場とはまた違う立場で深層学習にできることとできないことを分離しています。 筆者はこのニュースを見て最初は反発したのですが、原文を読んでみると現状のディープラーニングの課題についてよくまとまっているのではないかと思いましたので紹介します。原文はこちら ■ディープラーニングの限界 マーカス教授によると、ディープラー
[MWC2016]5GやLTEの拡張技術が着実に進化、IoTが1つの柱に――MWCななめ読み「5G、IoT編」
[MWC2016]5GやLTEの拡張技術が着実に進化、IoTが1つの柱に――MWCななめ読み「5G、IoT編」 2016.03.14 Updated by Naohisa Iwamoto on March 14, 2016, 10:25 am JST 通信業界の最大の国際展示会「Mobile World Congress 2016」（MWC2016）が、2016年2月22日～25日にかけてスペイン・バルセロナで開催された。204カ国から約10万1000人（2015年は200カ国、約9万3000人）という記録的な来場者を集めたMWC2016の展示会から、前回の「端末編」に続き「5G、IoT編」のトピックを紹介する。 現実に近づく「5G」 2015年の3GPPで標準化作業が正式に始まった「5G」。もちろんまだ標準化作業そのものはスタートラインに着いたところだが、MWC2016では機器ベンダーや
![[MWC2016]5GやLTEの拡張技術が着実に進化、IoTが1つの柱に――MWCななめ読み「5G、IoT編」](https://cdn-ak-scissors.b.st-hatena.com/image/square/a071218f434f38e7344a6a95c24612e4c475364b/height=288;version=1;width=512/https%3A%2F%2Fwirelesswire.jp%2Fwp-content%2Fuploads%2F2016%2F03%2F20160314_mwc001.jpg)
Pokémon GO がモバイルネットワークに与えるインパクト
Pokémon GO がモバイルネットワークに与えるインパクト 2016.07.22 Updated by Asako Itagaki on July 22, 2016, 20:41 pm JST Pokémon GOがネットワークにどのような影響を与えるか、プロセラネットワークスのCam Cullen氏（グローバル・マーケティング担当VP）が同社のブログで簡単な分析を試みている。 紹介されているのはヨーロッパのとあるモバイルキャリアの事例で、約200万の加入者がいる。約3時間の平均では、ネットワークに接続されているユーザーの約7%がPokémon GOをプレイしていたという。リリースされたばかりのアプリケーションがこれほど急速に利用者を増やすことはきわめて稀だとしている。 加入者数に対するトラフィックの量はそれほど多くなく、遅延も52ms（4G）/153ms（3G）と悪くない。今のところ
Githubに主戦場を移した世界のIT人材獲得競争
Githubに主戦場を移した世界のIT人材獲得競争 The software, be open or die 2016.01.08 Updated by Ryo Shimizu on January 8, 2016, 07:00 am JST 今後、おそらくもはや疑いようもないことは、数少ない例外を覗いては、ソフトウェアはオープンソースでなければ生き残れないということです。特にプロが使うものほどそうです。 2015年はそれが決定的になった年でした。 昨年はPFI(Preferred Infrastructure)社のChainerや、GoogleのTensorFlow、Facebookのtorch7といったディープラーニング(深層学習)向けのフレームワークがオープンソースになりました。 筆者らが開発したディープラーニング用のGUI環境、DEEPstation(https://github.
イギリスがEU離脱した理由
イギリスがEU離脱した理由 Why UK left EU 2016.06.24 Updated by Mayumi Tanimoto on June 24, 2016, 13:38 pm JST イギリスのEU離脱を問う国民投票の結果、イギリスがEUを離脱することになりました。TwitterやメルマガでイギリスのEU離脱については書いてきましたが、残留予測の人が多かったにも関わらず、なぜイギリス有権者が離脱を選択したのかを疑問に思う方も多いでしょう。離脱の理由は、ヨーロッパを理解する上で、テック業界の方にも重要な事だと思いますので、以下まとめました そもそもEUってなによ？ ところでなぜイギリスが離脱したかを理解するには、そもそもEUとは何かを理解する必要があります。 EUというのは欧州連合（European Union）のことです。地域統合体と呼ばれる組織で、主権（自分で自分の国のことを
ドワンゴと角川の経営統合はなぜ実現したか - WirelessWire News（ワイヤレスワイヤーニュース）
先日、ドワンゴと角川の経営統合のニュースが、かなり大きく取り扱われました。 私自身はドワンゴにも角川にも縁があるため、もともといずれこうなるだろうとは思っていましたが、川上会長がグループの会長になり、佐藤辰男さんが社長という、逆転人事にも見える厚遇には少し驚きました。 この動き自体は世間は大きく驚いたのかもしれませんが、私の立場からみると、歴史的にこの二つの会社はいわばもともと兄弟、または親戚のようなものでした。 川上さんもプログラマー経験のある経営者ですから、連載の主旨とはやや離れますが、なぜこの二つの会社の経営統合が実現に至ったか、当事者を身近に知る人間の目で振り返ってみたいと思います。 なお、以下、本来は敬称を付けて呼ぶべき間柄の方々もまじっておりますが、敬称は省略させていただきます。 もともと、角川書店は、1945年に国文学者の角川源義(げんよし)により創業されました。 その後
誰もが知ってるけど敢えて言わない確実に身につくプログラミング学習法
誰もが知ってるけど敢えて言わない確実に身につくプログラミング学習法 The kings road to be a programming ninja 2016.04.27 Updated by Ryo Shimizu on April 27, 2016, 08:34 am JST 学問に王道なしと言いますが、プログラミングを上達するために最も効果的であるにも関わらず、いまや誰もその有効性を指摘しなくなってしまった方法がひとつだけあります。 それは「写経(しゃきょう)」です。 写経・・・文字通り、教科書に書いてあるプログラムリストをそのまま書き写すことです。 「そんなバカな。そんなことで上達が早まったら苦労しない」 と思うかもしれません。 しかし、実際には写経ほど効果的な学習法はないのです。 例を示しましょう。 たとえば、プログラミングの授業で、サンプルプログラムの半完成品がファイルで配られ
ディープラーニングを小学生でも使えるようにしてみる
ディープラーニングを小学生でも使えるようにしてみる Trial to make easy to use deep learned neural network 2015.06.30 Updated by Ryo Shimizu on June 30, 2015, 06:59 am JST この一ヶ月で、ディープラーニングが急激に使いやすくなってきています。 Google傘下のディープラーニング研究グループDeep Mindでインターンをしているスタンフォード大学の学生はこんな台詞をツイートしています。 「ディープラーニングに関して、新しくクールな論文が発表される速度は、それを読める速度より速い」 それこそ毎日のようにディープラーニングに関する何らかの新しい話題が出てきます。 それくらい、ディープラーニングは盛り上がっているのです。 「人工知能は人間を超えるか」を記した東京大学の松尾豊先生に
プログラマーだけがやっている効率的な仕事のやり方
プログラマーだけがやっている効率的な仕事のやり方 Only Programmers knows the way to optimize working 2015.08.26 Updated by Ryo Shimizu on August 26, 2015, 17:10 pm JST 先日上梓した拙書「最速の仕事術はプログラマーが知っている」がありがたいことに大変評判なようで、発売4日後に増刷が決まるなど売れ行きが好調のようです。 もともとこんな刺激的なタイトルの本を書いていいのか、という悩みもあったのですが、編集の方の強い熱意と最初のミーティングの段階で完璧に近いところまで揃えられた目次と企画書を見て、「これは時間を割いてでも書いてみたい」と思い、引き受けることにしました。 実際に世に出ても、「やっぱりこれは書きすぎなんじゃないか」「刺激が強すぎるんじゃないか」と危惧していたのですが、A
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
