AIにとって微分可能性が必須条件でなくなりつつある意味 2024.07.04 Updated by Ryo Shimizu on July 4, 2024, 12:26 pm JST かなり長い間、本欄でも「AI(人工知能)」と書くときに、注釈として「AI(人工ニューラルネットワーク)」と書く必要があった。 というのも、AIという言葉が指す意味は範囲がとても広く、解釈次第ではただの電卓や辞書、IMEまでもがAIと呼べてしまうからだ。 だから、「AI」という言葉を多用する人を見た時、それは「新しいインチキ(Atarashii Inchiki)」であると考えた方が良いというジョークを言ったものである。 ここ5年で、事態は一気に変化した。今やニューラルネットワークでないものを「AI」と呼ぶのは憚られる。まあそれでもニューラルネット以前の古いシステムをいまだに「AI」と呼ぶようなIT(インチキ)企

ティム・オライリーとシリコンバレーの贖罪 2024.07.10 Updated by yomoyomo on July 10, 2024, 11:00 am JST きっかけは、『ブログ 世界を変える個人メディア』や『あなたがメディア！　ソーシャル新時代の情報術』の著書で知られるジャーナリストのダン・ギルモアが、16年務めた教職を辞すという「引退」について書いているのを4月に読んだことでした。 調べてみると、彼は1951年生まれの73歳らしいのですが、ふと、自分が20年以上前からその言説を参考にしてきたベテランたちの何人かも70歳前後なのに気付きました。それは例えば、ブログやポッドキャストの発展に大きく関わったデイヴ・ワイナーや、やはりベテランブロガーにして『グーグル的思考』、『パブリック 開かれたネットの価値を最大化せよ』、『デジタル・ジャーナリズムは稼げるか』の著書で知られるジェフ・ジ

1ビットLLMの衝撃! 70Bで8.9倍高速　全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース

なぜ、微積分は役に立つのか 2023.11.27 Updated by Atsushi SHIBATA on November 27, 2023, 14:58 pm JST 今回紹介する書籍：『はじめての物理数学』永野 裕之（SBクリエイティブ、2017） 朝起きてから寝るまで、我々は何種類もの「数」を見ます。 私自身、朝起きるとネットやニュースで降水確率、予想気温のように気象にかかわる数、為替、海外の株式市場の指数など、いろいろな種類の数をチェックします。しばらく前なら、コロナウイルスの感染者数や増加傾向を表す指数を毎日のように確認していました。 自分を取り巻く環境を知るために、私たちはいろいろな「数」を確認します。そして数を手がかりにして、行動を決めます。現代を生きる私たちにとって「数」は、世界を知るための「目」としての役割を持っています。 現代人が日常的に見るこの種の数は、たいてい計

頭の中に数学の地図を作ろう Make a mathematical map in your head 2023.07.03 Updated by Atsushi SHIBATA on July 3, 2023, 10:16 am JST 今回紹介する書籍：『数学と文化』赤 攝也（ちくま学芸文庫、2020） 抽象化の重要性 小学生の長男の勉強を見てやっていると、算数の教材に「□×4－3－5＝8」のような問題が出てきます。「穴あき算」「虫食い算」と呼ばれる計算です。この種の課題は、大人が見ると四角をｘ（エックス）に見立てた方程式に見えるので、数を移項して「ｘ＝」の式にすることで答えを出そうとします。 この「移項をすると符号が反転する」というのを、小学生くらいの子供に教えるのはとても大変なのですが、子供に理解してもらうには、計算を手順に分解して教えます。「最後に5を引いて8になったのだから、その

人間のために書く原稿に対してモチベーションが上がらなくなってきた 2023.05.17 Updated by Ryo Shimizu on May 17, 2023, 09:06 am JST 売文・・・つまり、文章を書いて売る仕事を生業としてから、ちょうど30年になる。 昔は原稿料も良くて、高校生の頃には月収が親父の手取りを超えていた。 まあ世の中そんなに甘くはなく、そんな時代はほんの一瞬で、学生時代は原稿料でギリギリ食い繋いでいたが、つまらないことでライターの先輩の機嫌を損ねて干されたり、学園祭の準備に打ち込みすぎて働き忘れたりして、引っ越し屋のアルバイトをしたりしながらそれでもなんとか細々とでも売文は続けてきた。 文を書いて原稿料をもらう。それで生活するというのは、なかなか難しい。 僕も本業が別にあったから売文を続けてこれた部分もある。 昨年、突然会社をやめることになったときは、売文

AIもうええわい 2023.04.16 Updated by Ryo Shimizu on April 16, 2023, 03:24 am JST むかし、僕がいた業界は「ドッグイヤー」と呼ばれていた。 犬のように歳をとるのがはやいという意味だが、ドッグイヤーの感覚に慣れた僕にとっても、最近のAI関係のニュースの多さ、進歩の速さは異常だし疲れてきた。 この連載も、「一ヶ月くらい書いてないのでは」と思って確認すると、今月の頭に書いていた。まだ二週間しか経ってない。 何か書こうと思って、とりあえず何かタイトルを適当に打ち込もうとすると、「AIもういいわい」というフレーズが浮かんだ。 こんなこと誰かが先に言ってそうだなと思って検索すると、あんまり見つからなかったから、いまのうちに書いておくことにする。 最近のAI業界の進歩を映画業界に例えると、毎週スターウォーズが公開されているような状況である

やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙 2023.03.16 Updated by Ryo Shimizu on March 16, 2023, 08:00 am JST 3月14日の早朝、GPT-4が公開され、筆者は早速試した。 その後、開けて3月15日の早朝、APIも部分的に解放され、筆者はそれも試した。 その上で、先週書いた記事の内容についての確信が深まった。 やはり、GPT-4は期待を超えてはこなかった。 GPT-4は、ChatGPT Plusに入会すると誰でもすぐに使うことができる。APIだけは招待制だが、それも筆者と同じくらいのタイミングでアンロックされた方も少なくないのではないか。 100倍規模のパラメータがあっても、アプローチには限界があるのである。 また、ChatGPTが注目を集めたことで、これまで下火になっていた他の大規模言語モデル(

ある「パソコンの大先生」の死 2022.07.28 Updated by yomoyomo on July 28, 2022, 20:35 pm JST 「これはなんだね？」 「南京錠です」と彼女は答えた。 「なんだって！」彼は激昂してそう叫ぶと、分かりきったことを訊ねた。「で、鍵はどこにあるんだ？」 （ガブリエル・ガルシア＝マルケス「愛の彼方の変わることなき死」） 6月のはじめに公開された前回から時間が空いてしまいました。前回の文章のテーマはWeb3でしたが、少し前にはそのWeb3を書名に掲げる書籍の内容が酷いと話題になり、ついには回収という事態となってしまいました。 が、今回のワタシの文章は、Web3やらメタバースやら、いまどきな話題とまったく関係のない、もっとスケールの小さい、個人的な、早い話がとてもしょぼい話題になります。一種の恥さらしとすら言って良いでしょう。 話は今月半ば、自室

AI時代のOODAループと戦略 2020.07.27 Updated by Ryo Shimizu on July 27, 2020, 07:14 am JST いまはなくなってしまった個人ブログで、戦略と兵站について説明したことがあった。 幸いにも、いくつかの企業や大学で授業に取り上げていただいたらしい。 その時の話は今はもう古くなってしまったので、AIがDXの中心になる時代に、新しい戦略論について考えてみたい。 まず、企業と戦略についておさらいしておこう。 企業において、戦略、戦術という言葉が使われることがある。滅多に使われないが、作戦という言葉もあり、より重要な兵站(へいたん)と言う言葉がある。 ところが、これらの言葉は輸入されたもので、もともとは戦略(Strategy)、戦術(Tactics)、作戦(Operation)、兵站(Logistics)という、それぞれ全く共通点のない言

コンピュータを理解するためのたった一つのこと、そして情報学 2019.10.28 Updated by Ryo Shimizu on October 28, 2019, 09:38 am JST toioの田中章愛さんが、8421キーボードという面白いものを作っていた(写真使用は田中さん本人の承諾を得ています)。 4つのボタンにそれぞれ、8と4と2と1が割り当てられた「だけ」のキーボードだ。 Arduinoを使うと自作のキーボードがこんなにかんたんに作れるのかということにも驚かされたし、なによりアイデアが良いと思った。 実際のところ、コンピュータとはなにか、ということを理解するためにこれほど素晴らしい教材があるだろうか。 教材としてはもちろん、アートとしても素晴らしい。 「コンピュータってなんだか分かりますか?」と今の時代に聞けば、バカにしているのか、と怒られそうだが、実際にはコンピュータ

プログラミングの魅力とは「推理する楽しみ」である 2019.04.01 Updated by Ryo Shimizu on April 1, 2019, 08:04 am JST 実のところ、筆者は「プログラミング教育」という言葉がどうもしっくりこない。「プログラミングを教えるべきだ」「プログラミングを学ぶべきだ」という言葉はわかる。しかしそれが「教育」という単語と直接結びつけてしまうと、どうもプログラミングを押し付けているような感じがして退屈なニュアンスになってしまうのだ。 実際のところ、プログラミングというのは楽しいものである。あらゆる学問は楽しいものだが、プログラミングが格別に楽しいのは、実はプログラミングの大部分は、小説のジャンルで言えば「推理モノ」であるからだ。 推理小説といえば不動の人気を誇る文学ジャンルである。もちろんこれをベースとした漫画作品、映像作品は枚挙に暇がない。みん

最強のプログラミング勉強法が写経である理由 2018.06.28 Updated by Ryo Shimizu on June 28, 2018, 08:39 am JST プログラミングを学ぶ最も良い方法は写経である。 写経とは、紙に打ち出されたソースコードをキーボードから入力する行為だ。 一見、ものすごく無駄に見える。 ネットからダウンロードすればすぐに済むものをなぜわざわざ手で入力し直すのか。 でも、考えてみて欲しい。 なぜ小学校では漢字の書き取りテストがあるのか。 漢字ドリルとは、同じ文字を何度も書いて反復するのである。 ひらがなだってカタカナだってそうだ。 書いてみなければ、身につかない。 もしも、漢字を一度も書くことなしに漢字を読めるようになったとして、それにどれほどの意味があるだろうか。 英語もそうだ。 アルファベットを書くところから全ては始まる。 ちなみに僕は、ドイツ語のア

深層学習の今のところの限界「何ができて、何ができないか？」 2018.01.08 Updated by Ryo Shimizu on January 8, 2018, 08:29 am JST あけましておめでとうございます。 先日、MIT Technology Reviewにこのような記事が掲載されていました。 深層学習の過大評価は危険、ウーバーAI研究所の前所長が指摘 この論文を発表したのはニューヨーク大学の心理学者のゲイリー・マーカス教授。心理学者ということで、我々情報工学の立場とはまた違う立場で深層学習にできることとできないことを分離しています。 筆者はこのニュースを見て最初は反発したのですが、原文を読んでみると現状のディープラーニングの課題についてよくまとまっているのではないかと思いましたので紹介します。原文はこちら ■ディープラーニングの限界 マーカス教授によると、ディープラー

AIエンジニアになる方法 How to change job to AI engineer. 2017.02.26 Updated by Ryo Shimizu on February 26, 2017, 15:03 pm JST AIに関することで、多くの研究者にとって不都合な真実が、まだ世間には理解されていません。 それは、AI研究者の大半は深層学習を専門にして「いない」ということです。 深層学習はAI研究の中では、機械学習という分野の、ニューラルネットワークという分野の、さらに一分野に過ぎません。 比率で言えば、95:5くらいの確率で、これまで「AIの専門家」と言われてきた人は深層学習の専門家「ではない」確率が高いわけです。 この些細な事実がなぜ「不都合」なのかというと、こうしてなにもかも一緒くたにされた結果、これまでほとんど成果の上げることができてなかった旧来のAI研究者に大量の予

第二世代人工知能の亡霊がもたらす"AIの冬" AI Winter is coming!! 2016.11.21 Updated by Ryo Shimizu on November 21, 2016, 15:49 pm JST 日立が公開した「汎用人工知能」のプロモーションビデオが日本のAI業界で悪い意味での注目を集めています。 このビデオでは、日立は自社で開発したAI技術「H(エイチ)」を、「汎用人工知能」と自称しています。 しかし、「汎用人工知能」は、通常、AGI(Artificial General Intelligence)の訳とされ、人工知能研究のメインストリームでは、GoogleやFacebookなどを含めて「まだ世界の誰も開発に成功していない」ものとされています。 ビデオに登場する株式会社日立製作所、研究開発グループ技師長の矢野和夫氏によれば、このH(エイチ)は、「(カスタマ

もうすぐ絶滅するという開かれたウェブについて This is Not the End of the Open Web 2016.08.22 Updated by yomoyomo on August 22, 2016, 10:31 am JST すっかり旧聞に属しますが、Internet Archive が主催し、これからのウェブのあり方を議論するイベント Decentralized Web Summit が6月に開かれました。 このサミットには "Locking the Web Open" というサブタイトルが付いていますが、逆に言えば、主催者には現在のウェブはオープンではないという認識があるわけです。それにいたる流れを少し辿りたいと思います。 そもそも Open Web（オープンウェブ、開かれたウェブ）という言葉が特に言及されるようになったのは、2010年だったと記憶します。その背景の

ポケモンGo「ストーリーがないから楽しめない」のは想像力が弱まっているのでは Imagine no stories,I wonder if you can 2016.07.27 Updated by Ryo Shimizu on July 27, 2016, 22:30 pm JST 早くもポケモンGoに飽きたという声をちらほら聞くようになりました。 まあ飽きるのは勝手なので、勝手に飽きればいいと思うんですけど、それを聞いて筆者が思ったのは、「大丈夫かな?感性や想像力があまりにもなくなってない?」ということです。もっと簡単にいえば「老いぼれたなあ、ご同輩」という感想を抱いてしまいました。 曰く「ストーリーがないから」「中長期的な目標がないから」飽きた、ということなんですが、年をとると想像力がなくなっていって、どちらかというと作り手の都合ばかり考えてしまうのではないかなと思います。 今の40

イギリスがEU離脱した理由 Why UK left EU 2016.06.24 Updated by Mayumi Tanimoto on June 24, 2016, 13:38 pm JST イギリスのEU離脱を問う国民投票の結果、イギリスがEUを離脱することになりました。TwitterやメルマガでイギリスのEU離脱については書いてきましたが、残留予測の人が多かったにも関わらず、なぜイギリス有権者が離脱を選択したのかを疑問に思う方も多いでしょう。離脱の理由は、ヨーロッパを理解する上で、テック業界の方にも重要な事だと思いますので、以下まとめました そもそもEUってなによ？ ところでなぜイギリスが離脱したかを理解するには、そもそもEUとは何かを理解する必要があります。 EUというのは欧州連合（European Union）のことです。地域統合体と呼ばれる組織で、主権（自分で自分の国のことを

プログラマーが使う思考の七つ道具 Programmers using 7 gadgets for thinking 2016.05.31 Updated by Ryo Shimizu on May 31, 2016, 06:48 am JST 「最速の仕事術はプログラマーが知っている」が売れたせいか、最近も「実践としてのプログラミング講座 (中公新書ラクレ)」なんてのを上梓したりもしているし、これまでプログラミングと縁がなかったいろんな媒体から「プログラマーならではの仕事の効率化を教えてほしい」と取材を受けることが多くなりました。 ・・・が、そもそもそういう話があるとすれば本に書いているので、いまさらあたらしいネタがポコポコあるはずもなく、まあ多少はありますがさすがに毎月記事にできるほどの被らないネタが出てくるわけ無いですよね。 でも、もしかすると意外とプログラマーは当たり前のように使って