1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
頭の中に数学の地図を作ろう
頭の中に数学の地図を作ろう Make a mathematical map in your head 2023.07.03 Updated by Atsushi SHIBATA on July 3, 2023, 10:16 am JST 今回紹介する書籍：『数学と文化』赤 攝也（ちくま学芸文庫、2020） 抽象化の重要性 小学生の長男の勉強を見てやっていると、算数の教材に「□×4－3－5＝8」のような問題が出てきます。「穴あき算」「虫食い算」と呼ばれる計算です。この種の課題は、大人が見ると四角をｘ（エックス）に見立てた方程式に見えるので、数を移項して「ｘ＝」の式にすることで答えを出そうとします。 この「移項をすると符号が反転する」というのを、小学生くらいの子供に教えるのはとても大変なのですが、子供に理解してもらうには、計算を手順に分解して教えます。「最後に5を引いて8になったのだから、その
なぜ、微積分は役に立つのか
なぜ、微積分は役に立つのか 2023.11.27 Updated by Atsushi SHIBATA on November 27, 2023, 14:58 pm JST 今回紹介する書籍：『はじめての物理数学』永野 裕之（SBクリエイティブ、2017） 朝起きてから寝るまで、我々は何種類もの「数」を見ます。 私自身、朝起きるとネットやニュースで降水確率、予想気温のように気象にかかわる数、為替、海外の株式市場の指数など、いろいろな種類の数をチェックします。しばらく前なら、コロナウイルスの感染者数や増加傾向を表す指数を毎日のように確認していました。 自分を取り巻く環境を知るために、私たちはいろいろな「数」を確認します。そして数を手がかりにして、行動を決めます。現代を生きる私たちにとって「数」は、世界を知るための「目」としての役割を持っています。 現代人が日常的に見るこの種の数は、たいてい計
「映像も物理も、微分可能になるとすごいことが起きる」ということの意味を文系にもわかるように説明しようと試みる
「映像も物理も、微分可能になるとすごいことが起きる」ということの意味を文系にもわかるように説明しようと試みる 2021.07.26 Updated by Ryo Shimizu on July 26, 2021, 07:12 am JST 最近のプログラミングの新しい波は微分可能プログラミング(differentiable programming)である。 微分可能プログラミングとは、簡単に言うと・・・と思ったが、簡単に言うのは結構難しい。 まず「微分」という言葉があまり簡単ではない印象がある。 まずは微分と積分の関係性を説明しておこう。文系の読者に向けた記事であるので、非常にざっくりと説明してみよう(そのかわり、元々数学が得意な読者にとっては直感的ではない説明になるかもしれない)。 まず、瓶からコップにジュースを移すような状況を想定してみる。 瓶からコップが一杯になるまで60秒で注ぐとし
AlphaZeroの仕組みと可能性
AlphaZeroの仕組みと可能性 2018.02.07 Updated by Ryo Shimizu on February 7, 2018, 08:32 am JST AlphaZeroクローンはあちこちにあるが、どうも将棋とかオセロとか三目並べとか、ありきたりな題材しかない。 AlphaZeroの原理はモンテカルロ探索木なので、原理上は完全情報ゼロ和ゲーム、すなわち盤面の組合せが有限であるものは全て攻略できることになる。 出典:wikipedia Monte Carlo Search Tree しかし囲碁、オセロ、三目並べ、将棋、チェスが攻略できるだけでもそれなりにウレシイが、世の中にある問題の大半は完全情報ではない。現実の問題をAlphaZeroに入力する際には、不完全情報ゲームでも勝てる見込みがないといけない。 ところがいくら探しても僕の見える範囲では不完全情報ゲームを攻略したと
ブロックチェーンによって出現するかもしれない超国家公共サービス
ブロックチェーンによって出現するかもしれない超国家公共サービス Blockchain and new world order 2017.03.15 Updated by Ryo Shimizu on March 15, 2017, 19:33 pm JST AIを含む新技術が登場した場合を想定した、著作権や特許権などの知的財産権について検討する、内閣府の新たな情報財検討委員としての仕事に一区切り付きました。任期は一年なので厳密にはまだ委員としての仕事は終わっていませんが、大企業や大学の先生方が並ぶ中、吹けば飛ぶような零細企業の人間として国家的な視点でものごとを考えるいい機会を頂いたと思います。 この、「新たな情報財検討委員会」の中心的な話題はAIとデータでした。特にAIは深層学習を前提としたAIについての話がメインで、この部分に関しては多少は理解にお役に立てたのではないかと思います。 また
ポケモンGO禁止令で考える日本企業に優秀者が来ない理由
ポケモンGO禁止令で考える日本企業に優秀者が来ない理由 Pokemon Go ban: Why tech guys do not want to join Japanese companies 2016.08.30 Updated by Mayumi Tanimoto on August 30, 2016, 11:49 am JST ポケモンGO熱が若干落ち着いてきましたが、認知が広まってきたので、様々なニュースを耳にする様になりました。ところで一部の日本企業や大学ではポケモンGoが禁止されていますが、それを追っていると、日本の組織のリスク管理やITガバナンスに対する施策のズレまくった感覚がわかり興味深いです。 例えば名古屋市の住友理工は、全世界の従業員約2万4000人にポケモンGO禁止令を出しており、就業中だけではなく、休息時間、通退時間にも適用しています。それが就業中の事故防止や機密漏
Githubに主戦場を移した世界のIT人材獲得競争
Githubに主戦場を移した世界のIT人材獲得競争 The software, be open or die 2016.01.08 Updated by Ryo Shimizu on January 8, 2016, 07:00 am JST 今後、おそらくもはや疑いようもないことは、数少ない例外を覗いては、ソフトウェアはオープンソースでなければ生き残れないということです。特にプロが使うものほどそうです。 2015年はそれが決定的になった年でした。 昨年はPFI(Preferred Infrastructure)社のChainerや、GoogleのTensorFlow、Facebookのtorch7といったディープラーニング(深層学習)向けのフレームワークがオープンソースになりました。 筆者らが開発したディープラーニング用のGUI環境、DEEPstation(https://github.
バズワードとその内実──2015年の振り返りと2016年の展望（後編）
バズワードとその内実──2015年の振り返りと2016年の展望（後編） 2016.01.05 Updated by yomoyomo on January 5, 2016, 12:00 pm JST （前編から続く） それではフレッド・ウィルソンの2015年回顧と2016年予測ですが、まず「2015年に起こったこと」というブログエントリの冒頭、2014年の回顧エントリにおける「インターネットのソーシャルメディア段階は終わった」という宣言を再び引き合いに出し、この1、2年のある時点で、消費者向けインターネット／ソーシャル／モバイルのゴールドラッシュは終わっていたと断じています。 その理由としてウィルソンは、アメリカにおける人気モバイルアプリのランキング表を挙げます。そのランキングの上位12位までのアプリの10個が Facebook か Google か Apple のものであるという大手プラ
20年後：インターネットの自由という夢の死
20年後：インターネットの自由という夢の死 After Twenty Years: The Dream of Internet Freedom is Dying 2015.09.14 Updated by yomoyomo on September 14, 2015, 18:01 pm JST 今でもあのときの記憶がよみがえっては俺を苛む 呪いのように俺を苛む 夢が現実にならなかったら、それは嘘になるのか それとももっとひどいものなのか その想いが俺を川に向かわせる 川が干上がっているのは分かっているのに その想いが今夜も俺を川に向かわせる （ブルース・スプリングスティーン「ザ・リバー」） 前回の文章は、インターネットが一般的になっての20年をソーシャルメディアとネットコミュニティという切り口でワタシなりに総括した仕事についてのものでした。前回の文章は最初に朝日新聞デジタルの20周年記念特
思想としてのインターネットとネット原住民のたそがれ
思想としてのインターネットとネット原住民のたそがれ Twilight of the digital natives and thoughts on the future Internet 2015.07.14 Updated by yomoyomo on July 14, 2015, 13:41 pm JST 少し前に、人気ポッドキャストの Rebuild で、伊藤直也さんが川上量生氏の『鈴木さんにも分かるネットの未来』を紹介しているくだりが面白かったので、長くなりますが文字起こししてみます。 例えば電子書籍の話も、僕らはすぐそうやって、Kindle になってねーから、ふざけんなって思うじゃないですか。テクノロジーの進化を止めやがって、みたいな。だけど、この本に書かれているのは、そうやって電子書籍が広まっていくのはいいんだけど、そうなると書籍ビジネスって基本的に今の構造のままだとシュリンク
プログラムは思った通りには動かない。書いたとおりに動くのだ
プログラムは思った通りには動かない。書いたとおりに動くのだ Any code doesn't run as you thought, run as it wrote 2015.06.17 Updated by Ryo Shimizu on June 17, 2015, 10:13 am JST
IoTを巡る壮大な懐疑論
IoTを巡る壮大な懐疑論 The Epic Skepticism of the Internet of Things 2015.06.10 Updated by yomoyomo on June 10, 2015, 18:17 pm JST WirelessWire News が「The Technology and Ecosystem of the IoT」を新たなキャッチフレーズにサイトリニューアルして少し経ちました。この IoT（Internet of Things、モノのインターネット）については、ワタシも過去に本連載で取り上げています。 Here, There and Internet Everywhere IoTとメイカーとロボットとウェアラブルの交点となるオライリーのSolidカンファレンス ……なのですが、どうもこの話題で文章を書いても反応が鈍く、当方の力不足を痛感します。
経営者がプログラマーである強み
経営者がプログラマーである強み CEO should be a programmer 2015.05.30 Updated by Ryo Shimizu on May 30, 2015, 10:50 am JST 最近、つくづく自分がプログラマーで良かったな、と思うことがよくありました。 経営者をしていると、自分がプログラマーであることがとても異質に感じられる時があります。 もちろん私自身は、もう製品にするためのプログラミングをすることはありません。 私が製品のプログラムを直接いじることになれば、それは私自身がプロジェクトのボトルネックになってしまうからです。 しかし、だからといってプログラミングを全くしないというわけではなく、私自身は会社の方針を決定するために常に簡単なプログラミングをしています。 意思決定のためにプログラミングをすることが必要なのです。 この業界は新しいことが次々に起き
ついに目覚めた巨人 Microsoftの逆襲 - WirelessWire News
ついに目覚めた巨人 Microsoftの逆襲 The Empire Strikes Back 2015.05.07 Updated by Ryo Shimizu on May 7, 2015, 10:36 am JST 連休中にサンフランシスコで開催されたMicrosoftのイベント「Build 2015」から戻ってまいりました。 今回のBuildで強く感じたのは、「ついにマイクロソフトが逆襲を開始した」ということです。 これまでMicrosoftはパッとしない時代が続きました。 これまでのMicrosoftは愚鈍な牛のように見えました。 誰が求めているかいまいちわからないZUNEやWindows8という製品を発表し、Microsoftの生命線とも言えるOSのアップグレード需要を冷え込ませました。Windows8も、8.1も、誰も求めていない製品だったのです。 にも関わらず、昨年は過去最高
日本でプログラマが少ない理由は正当な対価を支払わないからである
日本でプログラマが少ない理由は正当な対価を支払わないからである 2015.03.03 Updated by Mayumi Tanimoto on March 3, 2015, 16:06 pm JST 「日本史なんかより、プログラミングを教えるべき」三木谷浩史氏と夏野剛氏が日本の技術者不足を嘆く この対談がテクノロジー界隈の怒りを買って大炎上しております。三木谷氏と夏野氏曰く、日本史なんか教えなくていいからプログラミングを教えろ、日本でプログラマが足りない理由は工学系とかプログラム系を学ぶ学生が少ないから、だそうであります。つまり、それらを学ばない若い人が悪い、ということの様です。 しかし日本と欧州や北米の現場をみて来た自分からすると、お前ら一体何言ってんだということを申し上げたい。 日本で通信系やIT系の技術者が増えない理由は、ずばり、それら業界がエンジニアを大事にしないからでしょう。
ゼロから市場をつくる 実践型マーケティング
ゼロから市場をつくる 実践型マーケティング Market it 2015.04.16 Updated by Ryo Shimizu on April 16, 2015, 20:08 pm JST 今日は朝からMMD研究所主宰のセミナー「ゼロから市場をつくる 実践型マーケティング」を実施してきました。 平日の朝だというのに50名近い参加者があり、わずか1時間と15分という短い時間でしたが、私が考えるマーケティングというものについて実体験を交えながら解説させていただきました。 普段、経済学部で教えているのですがマーケティングに関して誤解したままの学生が散見されるため、一度きちんとした形で私なりのマーケティング理論についてまとめておきたいと思っていたところだったので今回のお話を頂いた時は渡りに船でした。 私が「マーケティングと言う言葉が誤解されている」と感じるのは、学生達は「マーケティングを仕事
サラリーマンプログラマに向かない人の生きる道
サラリーマンプログラマに向かない人の生きる道 2015.03.31 Updated by Ryo Shimizu on March 31, 2015, 14:44 pm JST 元日立で現VA Linuxの社員プログラマーらしき人が日立を辞めた後の転職を猛烈に後悔していることが話題になりました。 「年功序列などで働きづらい」として転職した元日立社員、転職後「日立のほうが良かった」と後悔して話題に/Slashdot この騒動を受けた本人のブログエントリを拝見しましたが、個人的にはあまり同情できません。 騒動の内容と今後について 上記のエントリを読んでいただければ私の言いたいことはだいたい伝わると思います。 残念ながら、世の中には、どれだけそれが好きでも、また、それに関する才能があったとしても、会社員には向いていないタイプの人が居るのです。たぶん今回の騒動の主となる人は会社員としてプログラマを
ショートカットキーはマウスより遅い - WirelessWire News
CTRL+Xでカット、CTRL+Vでペースト。 ショートカットキーの使い方を覚えると、パソコンの達人になったような気分になりますよね。 しかし、実際にはショートカットキーを使用すると、マウスでメニューから「編集」「ペースト」を選ぶよりも平均2秒も遅いのです。 「そんなバカな」 と思いますよね。 しかし、これはTogことブルース・トグナッツィーニがAppleでMacintoshの開発を担当した際に行った膨大な実験の結果、解ったことなのだそうです。 これはTogのWebページでも詳しく紹介されています。 しかし2秒とはとても信じられません。 むしろ逆のようにさえ感じます。 しかしTogの主張によれば、我々ユーザはショートカットキーを選ぶのに2秒かかっているものの、ショートカットにたどり着くまでの時間を喪失している、つまりプチ記憶喪失状態になっているというのです。 こんな不思議な話が、慶應
日本でプログラマが少ない理由は正当な対価を支払わないからである - WirelessWire News（ワイヤレスワイヤーニュース）
「日本史なんかより、プログラミングを教えるべき」三木谷浩史氏と夏野剛氏が日本の技術者不足を嘆く この対談がテクノロジー界隈の怒りを買って大炎上しております。三木谷氏と夏野氏曰く、日本史なんか教えなくていいからプログラミングを教えろ、日本でプログラマが足りない理由は工学系とかプログラム系を学ぶ学生が少ないから、だそうであります。つまり、それらを学ばない若い人が悪い、ということの様です。 しかし日本と欧州や北米の現場をみて来た自分からすると、お前ら一体何言ってんだということを申し上げたい。 日本で通信系やIT系の技術者が増えない理由は、ずばり、それら業界がエンジニアを大事にしないからでしょう。 このブログでも再三書いていますが、欧州だと、弱小ベンダーだって日本の様なデスマーチとは無縁です。就労環境の良さは比較になりません。インフォメーションアーキテクトなら年収２千万を軽く越える人だっています。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
