1ビットLLMの衝撃! 70Bで8.9倍高速　全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース

なぜ、微積分は役に立つのか 2023.11.27 Updated by Atsushi SHIBATA on November 27, 2023, 14:58 pm JST 今回紹介する書籍：『はじめての物理数学』永野 裕之（SBクリエイティブ、2017） 朝起きてから寝るまで、我々は何種類もの「数」を見ます。 私自身、朝起きるとネットやニュースで降水確率、予想気温のように気象にかかわる数、為替、海外の株式市場の指数など、いろいろな種類の数をチェックします。しばらく前なら、コロナウイルスの感染者数や増加傾向を表す指数を毎日のように確認していました。 自分を取り巻く環境を知るために、私たちはいろいろな「数」を確認します。そして数を手がかりにして、行動を決めます。現代を生きる私たちにとって「数」は、世界を知るための「目」としての役割を持っています。 現代人が日常的に見るこの種の数は、たいてい計

ChatGPT開発に必要なGPUは3万基、日本の国策AI基盤は1千基。目前に迫る日本のAI敗戦 2023.08.19 Updated by Ryo Shimizu on August 19, 2023, 16:47 pm JST そろそろ業界の最深部でしか知られてなかった事実がニュースになって来始めているのでここで本当の問題を明らかにしておきたい。 AI開発に必須なのは、計算資源である。そしてこれは現在のところ、事実上NVIDIAが一社独占している。 NVIDIA以外の半導体がいくら「AIに特化しています」と能書きを垂れていてもごくわずかな例外を除いてはほとんど全部が誇大広告である。 たとえばApple Silliconは、「ニューラルエンジン」と称するモジュールを内蔵しているが、これを使ってAIの学習をすると、なんとCPUよりも遅い。信じられないかもしれないが、これが残酷な事実なのである

牛の背に乗るネズミになれ! ソフトウェア思考のススメ 2020.01.04 Updated by Ryo Shimizu on January 4, 2020, 14:06 pm JST 昨年一年間をかけて、僕は日本の大企業群を研究した。 大企業の中心で働く様々な人にインタビューし、彼らの会社が技術をどう捉え、ビジネスをどう捉えているかを知った。 どうしてこれほど海外のネット企業勢の蹂躙を許しているのだろうか、という疑問に答えるためだ。 そしてわかったのは、根本的に日本のビジネスシーンでは「ソフトウェア」が理解されていないということだった。 プログラミングではない。ソフトウェアである。 アメリカのネット企業のトップも全員がプログラマーというわけではない。 しかし、彼らはソフトウェア的発想、ソフトウェア的思考法というものをごく当たり前のように身に着けている。 これを僕は「ソフトウェア思考」と

なぜ、すべての大学、すべての学部でAI教育を行うべきなのか 2019.06.22 Updated by Ryo Shimizu on June 22, 2019, 18:21 pm JST 日本国政府の統合イノベーション戦略推進会議は令和元年6月11日に毎年25万人の「データサイエンス・AIを理解し、各専門分野で応用できる人材を育成」を養成するという方針を発表した(https://www.kantei.go.jp/jp/singi/tougou-innovation/) これは、AI技術者を25万人養成するという意味ではない。 あくまでも、「データサイエンス・AIを理解し、各専門分野で応用できる人材を育成」であり、つまりAIとは異なる専門分野を持っている人物の要請を指す。いわゆる技術者の養成としては、「データサイエンス・AIを駆使してイノベーションを創出し、世界で活躍できるレベルの人材の発

NVIDIA、過去に国立研究機関へのGeForce導入妨害の疑い Amazing, every word of what you just said was wrong. 2017.12.20 Updated by Ryo Shimizu on December 20, 2017, 06:24 am JST 昨日の記事に対し、NVIDIAからヒステリックといえるほどの対応が起きました。不思議です。明らかに意図的に動いているのに、公表されている事実を指摘しただけなのにこの反応は不可解ですね。 NVIDIA側からは、「個別に面談して誤解を晴らしたい」という連絡を頂きましたが、そもそもなぜ個別に面談する必要があるのでしょうか。筆者のもとにはNVIDIAからGeForceの供給を止められている、という代理店の話も聞こえてきます。水面下でコトを落ち着かせたいということなのでしょうか。 また、海外には

AIネイティブの子供たち 2017.10.31 Updated by Ryo Shimizu on October 31, 2017, 15:05 pm JST Facebookで某漫画家さんが「うちの6歳の娘が、Google Homeを使って引き算の宿題をしている!」と嘆いておられて、むしろ筆者は「すごい！ これぞAIネイティブ」と思ったのでした。 さすがに今時、電子辞書ではありがたみがないから紙の辞書を使え、なんていう時代錯誤なことをいう人はいないでしょうが、筆者が小学生の頃は宿題に電卓を使うなどもってのほか、というのが常識でした。今でもそうかもしれません。しかし、引き算の簡単な概念さえ理解してしまえば、電卓を使わずに暗算できるようになるよりも、電卓を人よりも上手く速く使えるようになるほうが、その後の人生は楽になるはずです。 筆者はすでに引き算とか面倒臭いので毎回電卓を起動してしまいま

海外のデータサイエンティストはいくら稼いでいるのか？ How much do Data Scientists earn? 2017.08.27 Updated by Mayumi Tanimoto on August 27, 2017, 17:53 pm JST データサイエンティストが相変わらず話題ではありますが、ところで日本にいる方で、今後転職しようかと思っている方や、現在職場でデータサイエンティスト的な仕事をアサインされている方の興味として、海外のデータサイエンティストはどのぐらい稼いでいるか？というのもあるのではないでしょうか。海外転職はしないとしても、ちょっと興味ありますよね。 一般的にデータサイエンティストは高スキルの職業なので、海外では報酬も割高です。 2013年のオライリーの調査によれば、アメリカの場合データサイエンティストの初任給は1000万円を超え、年収中間値は1300

周回遅れのAppleはどう復権するか 2017.06.08 Updated by Ryo Shimizu on June 8, 2017, 08:55 am JST AppleのWWDC2017のキーノートスピーチが終了して、いよいよAppleには伸びしろが少ない、と感じた人は業界の中にも少なくないのではないでしょうか。 筆者はもう10年以上Macを使っていますし、スマートフォンも全てiPhoneです。もちろん途中でAndroidを併用したりもしていたのですが、やはりiPhoneに戻ってきてしまうという程度には「信者」です。 しかし今回のWWDCはここ数年停滞していると言われていたAppleのいよいよ終わりの始まりを感じさせるものでした。 この状況は2005年頃のAppleに似ています。iPodが好調で、iMacもそこそこ売れていた頃のAppleです。 この頃はどこかでスティーブ・ジョブズ

日本のITがダメな本当の理由 The real reason that Japanese IT is a poor performer 2017.01.27 Updated by Mayumi Tanimoto on January 27, 2017, 08:08 am JST 10年前、iPhoneが登場した頃はまだまだ日本は大丈夫という空気感があった気がしますが、今や日本製の携帯電話は壊滅状態に近く欧州西側や東側の携帯屋や北米で日本性デバイスを見かけることはほぼ皆無です。 欧州のカンファレンスでもメディアでも、IoTでもBig Dataでも日本企業の事例が「先進事例」として取り上げられることはほぼゼロです。 若い子はソニーや東芝の家電が店舗に並んでいた時代のことは知りません。日本のSIerやメーカーに就職したいという理系の学生はいません。 なぜこんなになってしまったのか。 以下は昨年末

AIエンジニアになる方法 How to change job to AI engineer. 2017.02.26 Updated by Ryo Shimizu on February 26, 2017, 15:03 pm JST AIに関することで、多くの研究者にとって不都合な真実が、まだ世間には理解されていません。 それは、AI研究者の大半は深層学習を専門にして「いない」ということです。 深層学習はAI研究の中では、機械学習という分野の、ニューラルネットワークという分野の、さらに一分野に過ぎません。 比率で言えば、95:5くらいの確率で、これまで「AIの専門家」と言われてきた人は深層学習の専門家「ではない」確率が高いわけです。 この些細な事実がなぜ「不都合」なのかというと、こうしてなにもかも一緒くたにされた結果、これまでほとんど成果の上げることができてなかった旧来のAI研究者に大量の予

第二世代人工知能の亡霊がもたらす"AIの冬" AI Winter is coming!! 2016.11.21 Updated by Ryo Shimizu on November 21, 2016, 15:49 pm JST 日立が公開した「汎用人工知能」のプロモーションビデオが日本のAI業界で悪い意味での注目を集めています。 このビデオでは、日立は自社で開発したAI技術「H(エイチ)」を、「汎用人工知能」と自称しています。 しかし、「汎用人工知能」は、通常、AGI(Artificial General Intelligence)の訳とされ、人工知能研究のメインストリームでは、GoogleやFacebookなどを含めて「まだ世界の誰も開発に成功していない」ものとされています。 ビデオに登場する株式会社日立製作所、研究開発グループ技師長の矢野和夫氏によれば、このH(エイチ)は、「(カスタマ