ティム・オライリーとシリコンバレーの贖罪 2024.07.10 Updated by yomoyomo on July 10, 2024, 11:00 am JST きっかけは、『ブログ 世界を変える個人メディア』や『あなたがメディア！　ソーシャル新時代の情報術』の著書で知られるジャーナリストのダン・ギルモアが、16年務めた教職を辞すという「引退」について書いているのを4月に読んだことでした。 調べてみると、彼は1951年生まれの73歳らしいのですが、ふと、自分が20年以上前からその言説を参考にしてきたベテランたちの何人かも70歳前後なのに気付きました。それは例えば、ブログやポッドキャストの発展に大きく関わったデイヴ・ワイナーや、やはりベテランブロガーにして『グーグル的思考』、『パブリック 開かれたネットの価値を最大化せよ』、『デジタル・ジャーナリズムは稼げるか』の著書で知られるジェフ・ジ

AIにとって微分可能性が必須条件でなくなりつつある意味 2024.07.04 Updated by Ryo Shimizu on July 4, 2024, 12:26 pm JST かなり長い間、本欄でも「AI(人工知能)」と書くときに、注釈として「AI(人工ニューラルネットワーク)」と書く必要があった。 というのも、AIという言葉が指す意味は範囲がとても広く、解釈次第ではただの電卓や辞書、IMEまでもがAIと呼べてしまうからだ。 だから、「AI」という言葉を多用する人を見た時、それは「新しいインチキ(Atarashii Inchiki)」であると考えた方が良いというジョークを言ったものである。 ここ5年で、事態は一気に変化した。今やニューラルネットワークでないものを「AI」と呼ぶのは憚られる。まあそれでもニューラルネット以前の古いシステムをいまだに「AI」と呼ぶようなIT(インチキ)企

加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実 2024.06.21 Updated by Ryo Shimizu on June 21, 2024, 18:19 pm JST 世界中の企業や政府が狂ったようにNVIDIAのGPUを買い漁る流れはそろそろ潮時かもしれない。 いくつかの興味深い事象が起きているからだ。 昨日発表されたKarakuri社のLLM、「KARAKURI LM 8x7B Instruct v0.1」は、非常に高性能な日本語LLMだ。Karakuri社は今年の一月にも非常に高性能な70Bモデルを引っ提げて業界に旋風を巻き起こした。この最新のLLNは、日本語向けオープンLLMとしては初の「命令実行」チューニングを施されている。それだけでなく、RAGと呼ばれる、複数の知識を組み合わせてより正解に近い答えを導く技術や、Function

1ビットLLMの衝撃! 70Bで8.9倍高速　全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース

GPU禁輸措置で追い詰められる中国と大規模言語モデルの発展 2023.11.01 Updated by Ryo Shimizu on November 1, 2023, 09:15 am JST アメリカがGPUを重要物資として中国に対して禁輸措置を行うとの意向を受けて、中国国内ではA800 GPUの価格が一枚あたり50万人民元(約1000万円)に達するなどのパニックが起きたようだ。これは通常の価格の5倍にあたる。 A800は、そもそもアメリカ政府の意向を受けて中国市場向けにデチューンした(性能をわざと落とした)モデルで、世界的ベストセラーのA100の70%程度の性能とされている。 しかし中国国内ではAI開発が非常に活発であり、合法的に使えるA800を大量に確保したい中国側の事情と、軍事転用も可能な重要戦略物資を中国に売りたくないアメリカ政府の意向が真正面から対立する形となっている。 筆者

Open Interpreterで開かれた未来像 RPAツールをAIで作る 2023.09.12 Updated by Ryo Shimizu on September 12, 2023, 11:25 am JST OpenInterpreter(オープンインタープリター)が話題だ。 これはChatGPTの「Code Interpreter」をローカルで動かすというもの。 しかも、GPT-3/GPT-4のAPI以外にも、Llama2やFalconなどのローカル動作のLLMのエンジンにも容易に切り替えることができる。 筆者も早速試してみたが、これが非常に面白い。ChatGPT出現時くらいのインパクトがある。 筆者は最近、平日はほぼ毎日「教養としてのAI講座 / デイリーAIニュース」という有料番組を配信している。 この中で先週とりあげたのがOpen Interpreterだったのだが、この反

意外と良くなってきてしまった動画生成と音楽生成。第二回AIアートグランプリはどうなる!? 2023.08.13 Updated by Ryo Shimizu on August 13, 2023, 11:41 am JST ほんの一ヶ月前まで、動画生成は全然だめだった。 Gen2は高価だが狙ったものを出しにくい。何より動いてくれない。 ところがAnimateDiffという技術が公開された。これはとても激しく、それっぽく動く。 コツは必要だが、以前よりずっと綺麗に動いているのは間違いない。 筆者の運営するサイトMemeplexやreplicateで使うことができる 音楽生成も、「やはりAIに音楽みたいな人間の機微を読み取るようなものは無理か」と考えていた。 「専門家」である僕でさえ、つい一ヶ月ほど前はそうだったのだ。 新しいオーディオ生成モデルである「JEN-1」と「AudioLDM2」はそ

やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙 2023.03.16 Updated by Ryo Shimizu on March 16, 2023, 08:00 am JST 3月14日の早朝、GPT-4が公開され、筆者は早速試した。 その後、開けて3月15日の早朝、APIも部分的に解放され、筆者はそれも試した。 その上で、先週書いた記事の内容についての確信が深まった。 やはり、GPT-4は期待を超えてはこなかった。 GPT-4は、ChatGPT Plusに入会すると誰でもすぐに使うことができる。APIだけは招待制だが、それも筆者と同じくらいのタイミングでアンロックされた方も少なくないのではないか。 100倍規模のパラメータがあっても、アプローチには限界があるのである。 また、ChatGPTが注目を集めたことで、これまで下火になっていた他の大規模言語モデル(

クリエイターの時代 2023.03.11 Updated by Ryo Shimizu on March 11, 2023, 15:48 pm JST ChatGPTが流行り過ぎている。 来週にはGPT-4が出るという話になっていて、しかもGPT-3は1750億パラメータであるのに対し、GPT-4は100兆パラメータと言われている。 普通に考えて単位が桁違いにおかしいのだが、そもそもそんなに巨大なニューラルネットワークが学習できてしまったことも驚きだが、実用的に使うためには信じられないくらい大規模な機械が必要になる。 まだ出てもいないGPT-4を警戒しても仕方ないので、むしろGPT-4が出る前の今のタイミングだからこそ、敢えて「ChatGPTブームの終わりは近い」と予測してみたい。 なぜか? 第一に、ChatGPTは、簡単に使え過ぎてしまう。 朝思いついて昼には新しいアプリができてしまう。

「映像も物理も、微分可能になるとすごいことが起きる」ということの意味を文系にもわかるように説明しようと試みる 2021.07.26 Updated by Ryo Shimizu on July 26, 2021, 07:12 am JST 最近のプログラミングの新しい波は微分可能プログラミング(differentiable programming)である。 微分可能プログラミングとは、簡単に言うと・・・と思ったが、簡単に言うのは結構難しい。 まず「微分」という言葉があまり簡単ではない印象がある。 まずは微分と積分の関係性を説明しておこう。文系の読者に向けた記事であるので、非常にざっくりと説明してみよう(そのかわり、元々数学が得意な読者にとっては直感的ではない説明になるかもしれない)。 まず、瓶からコップにジュースを移すような状況を想定してみる。 瓶からコップが一杯になるまで60秒で注ぐとし

ARが習慣化するために超えなければならないこと 2020.01.17 Updated by Ryo Shimizu on January 17, 2020, 07:00 am JST 米ラスベガスで開催されていたCES2020から帰国した。 今年のCESは焦点を絞り切ることが難しく、各社ともにメッセージが散逸した印象だった。 薄型テレビあり、折りたたみ端末あり、IoTありアイデア商品ありといういつもどおりのCESではあったが、これといって全体を通底する大きなテーマのようなものは感じられなかった。 ただ、ARグラスやVRグラスがやたらと展示されていたのが印象的だった。 AR、すなわち拡張現実感(Augmented Reality)と呼ばれる技術が、ようやく人々の手の中に入ってきつつある。 今年はAppleがARグラスに参入するという噂がまことしやかに囁かれている。 あるいは、2006年のiP

NVIDIAが規約変更によりGeForceのデータセンター利用を制限。大学などの研究活動にも大ブレーキ First Order rising 2017.12.19 Updated by Ryo Shimizu on December 19, 2017, 16:08 pm JST 深層学習分野で、NVIDIAの名を知らない者は潜りと言われても仕方がないでしょう。かつて日本の新聞社で、NVIDIAを「謎の半導体メーカー」と呼んで赤っ恥をかいた人がいますが、NVIDIAなくして深層学習の研究はままならないことは間違いありません。 というのも、深層学習に不可欠な積和演算機能に優れた半導体とAPIを提供しているのが、事実上世界にNVIDIA一社しかないからです。 Intelやその他のメーカーも頑張って入るのですが、NVIDIAが持つ多数の知的財産権の前に、後塵を拝しています。 それはそれで、NVID

誰もが知ってるけど敢えて言わない確実に身につくプログラミング学習法 The kings road to be a programming ninja 2016.04.27 Updated by Ryo Shimizu on April 27, 2016, 08:34 am JST 学問に王道なしと言いますが、プログラミングを上達するために最も効果的であるにも関わらず、いまや誰もその有効性を指摘しなくなってしまった方法がひとつだけあります。 それは「写経(しゃきょう)」です。 写経・・・文字通り、教科書に書いてあるプログラムリストをそのまま書き写すことです。 「そんなバカな。そんなことで上達が早まったら苦労しない」 と思うかもしれません。 しかし、実際には写経ほど効果的な学習法はないのです。 例を示しましょう。 たとえば、プログラミングの授業で、サンプルプログラムの半完成品がファイルで配られ

プログラマーは炎上プロジェクトをどう管理するか How to eliminate the "Show Stopper" 2016.04.03 Updated by Ryo Shimizu on April 3, 2016, 07:23 am JST 新潟県南魚沼郡塩沢町に上越国際スキー場という施設があります。 取引先の親しい友人数人と私は、ある週末、そこでスノーボードを楽しんでいました。 平和な、平和すぎるほど平和な、日常のヒトコマでした。 午前中思い切り滑った後、ランチをとろうとロッジに立ち寄った時に、私の携帯電話が鳴りました。当時人気を博していたクラムシェル、いわゆる折りたたみ式の携帯電話で、スキー場など、電波がほとんど入らない場所ですからロッジに入るやいなや電話が鳴るというのは相当な異常事態です。おそらく朝からずっと呼び出しをかけていたのでしょう。 恐る恐る電話に出ると、すごい剣幕で

enchantMOONの開発者がApple Pencilから見るAppleのこれから The perspective for future Apple Pencil from the moon 2015.09.10 Updated by Ryo Shimizu on September 10, 2015, 09:40 am JST 日本時間で本日未明、Appleは恒例の新製品発表会を行いました。 ハプティックを活用したiPhone、新しいApple TV、期待を裏切らない様々な新製品が発表されましたが、個人的に一番大きなニュースは、ついにAppleがiPad Proにペンを採用したということです。 https://www.youtube.com/watch?v=bhloK3SLuQo 筆者は10年ほど前からAppleがマルチタッチとペンで画面に直接描けるようなデバイスを開発しているという噂

ディープラーニングを小学生でも使えるようにしてみる Trial to make easy to use deep learned neural network 2015.06.30 Updated by Ryo Shimizu on June 30, 2015, 06:59 am JST この一ヶ月で、ディープラーニングが急激に使いやすくなってきています。 Google傘下のディープラーニング研究グループDeep Mindでインターンをしているスタンフォード大学の学生はこんな台詞をツイートしています。 「ディープラーニングに関して、新しくクールな論文が発表される速度は、それを読める速度より速い」 それこそ毎日のようにディープラーニングに関する何らかの新しい話題が出てきます。 それくらい、ディープラーニングは盛り上がっているのです。 「人工知能は人間を超えるか」を記した東京大学の松尾豊先生に