1ビットLLMの衝撃! 70Bで8.9倍高速　全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース

頭の中に数学の地図を作ろう Make a mathematical map in your head 2023.07.03 Updated by Atsushi SHIBATA on July 3, 2023, 10:16 am JST 今回紹介する書籍：『数学と文化』赤 攝也（ちくま学芸文庫、2020） 抽象化の重要性 小学生の長男の勉強を見てやっていると、算数の教材に「□×4－3－5＝8」のような問題が出てきます。「穴あき算」「虫食い算」と呼ばれる計算です。この種の課題は、大人が見ると四角をｘ（エックス）に見立てた方程式に見えるので、数を移項して「ｘ＝」の式にすることで答えを出そうとします。 この「移項をすると符号が反転する」というのを、小学生くらいの子供に教えるのはとても大変なのですが、子供に理解してもらうには、計算を手順に分解して教えます。「最後に5を引いて8になったのだから、その

なぜ、微積分は役に立つのか 2023.11.27 Updated by Atsushi SHIBATA on November 27, 2023, 14:58 pm JST 今回紹介する書籍：『はじめての物理数学』永野 裕之（SBクリエイティブ、2017） 朝起きてから寝るまで、我々は何種類もの「数」を見ます。 私自身、朝起きるとネットやニュースで降水確率、予想気温のように気象にかかわる数、為替、海外の株式市場の指数など、いろいろな種類の数をチェックします。しばらく前なら、コロナウイルスの感染者数や増加傾向を表す指数を毎日のように確認していました。 自分を取り巻く環境を知るために、私たちはいろいろな「数」を確認します。そして数を手がかりにして、行動を決めます。現代を生きる私たちにとって「数」は、世界を知るための「目」としての役割を持っています。 現代人が日常的に見るこの種の数は、たいてい計

AIの設計そのものを自動化する時代の到来 2020.10.28 Updated by Ryo Shimizu on October 28, 2020, 06:20 am JST 誤解を恐れずに言えば、ニューラルネットワークのプログラミングは、とても簡単です。 実は以前、知人の会社がAIを理解するために会社で代数幾何学の勉強会を始めたと言ったとき、それは極めてナンセンスだと指摘したことがあります。 なぜなら、ニューラルネットワークを設計するのに代数幾何学の知識などいらないからです。 たしかにニューラルネットワークを数学的に表現しようとすれば、代数幾何学を使う場合があります。ところが、それは本当にごくごく一部に過ぎません。本筋は代数幾何学で表現することではなく、「どう使うか」という別のところにあるのです。人工知能をやろうとする時にはまず代数幾何学を勉強しよう、というのは、まったく木を見て森を見

AIと「会話」しながらプログラミングが実現!弁護士やカウンセラーもAIへ 2020.06.13 Updated by Ryo Shimizu on June 13, 2020, 15:03 pm JST Facebookなどが支援するOpenAIが、OpenAI APIのβテストを発表し、waiting listへの登録が可能になった。 これに伴って、OpenAIの提供するAPIの利用イメージも公開されたが、これがちょっと衝撃的な内容なので非常に興奮した。 OpenAIといえば、あまりに精巧な文章が生成できるために危険を感じて公開を差し止めたという言語AIであるGPT-2が有名だが、今回公開されたOpenAI APIはこれをさらに改良したGPT-3に基づくモデルということになる。 そこで実現される機能は様々だが、ほとんどの人々の想像を遥かに上回る可能性を示してくれた。 たとえば、Wikip

【これは】世界のメイカーズが注目するM5Stack本社に行ってきた!【勝てない】 2019.08.19 Updated by Ryo Shimizu on August 19, 2019, 07:00 am JST ブログを書いている役得というのがあればまさにこのことだろうか。 スイッチサイエンス高須さんの紹介で、今世界で最も注目を集めているIoTプロトタイピング端末、M5Stack社の本社を訪問する僥倖に浴した。 とはいえ、IoT界隈に疎い方々には「M5Stack」と聞いてもなんのことだかわからないかもしれない。「M5Stack」は「エムファイブ・スタック」と読み、中国製の、CPUとWi-FiとBluetoothを内蔵した安価なワンチップSoC(System on Chip)である「ESP32(イーエスピーさんじゅうに)」をコアとした5cm×5cmの正方形のマイコンで、タッチスクリーンと

プログラマーはなぜ手書きするのか Programmers keep a handwritten journal 2016.05.25 Updated by Ryo Shimizu on May 25, 2016, 08:33 am JST 情報化社会と言われて久しいのですが、パーソナルコンピュータが生まれてから40年が経過しても、未だに最も普及している情報処理手段は紙と手書きです。 そのなかでも非常に興味深いのは、コンピュータという最も高度な情報処理装置を使いこなすプログラマーほど、手書きを必要としているという点です。 この写真は弊社のとあるプログラマーの作業風景ですが、キーボードの下に紙のノートを挟んで使っています。 さらに、彼の左側には、ホワイトボードが設置され、そこにも何かを書いています。 なぜ情報処理の達人であり、普通の人の何倍ものスピードでキーボードを打ち、自らのイメージする論理

子供たちはどのようにプログラミングに夢中になるか Kids make a brighter day by programming 2016.03.28 Updated by Ryo Shimizu on March 28, 2016, 08:44 am JST 来月より、UEIのプログラミング教育の実験授業を拡大したプロジェクトがスタートします。 土曜日に開催した説明会にお越しいただいたのは主に都内在住の親子15組ほどと、親御さんだけ見学に来た方を含めて総勢40名ほどでした。 我々はなぜこのプロジェクトを始めようと思ったのか。 それは、今現在、プログラミング教育を単なる商売の道具として、低い志で運営されているケースが散見されているという危機感からです。 あるとき、古い友人から「子供をプログラミング教室に通わせたいのだが、この学校に通わせるならどのコースがいいだろうか」と相談を受けました。

ディープラーニングを小学生でも使えるようにしてみる Trial to make easy to use deep learned neural network 2015.06.30 Updated by Ryo Shimizu on June 30, 2015, 06:59 am JST この一ヶ月で、ディープラーニングが急激に使いやすくなってきています。 Google傘下のディープラーニング研究グループDeep Mindでインターンをしているスタンフォード大学の学生はこんな台詞をツイートしています。 「ディープラーニングに関して、新しくクールな論文が発表される速度は、それを読める速度より速い」 それこそ毎日のようにディープラーニングに関する何らかの新しい話題が出てきます。 それくらい、ディープラーニングは盛り上がっているのです。 「人工知能は人間を超えるか」を記した東京大学の松尾豊先生に