ティム・オライリーとシリコンバレーの贖罪
ティム・オライリーとシリコンバレーの贖罪 2024.07.10 Updated by yomoyomo on July 10, 2024, 11:00 am JST きっかけは、『ブログ 世界を変える個人メディア』や『あなたがメディア！ ソーシャル新時代の情報術』の著書で知られるジャーナリストのダン・ギルモアが、16年務めた教職を辞すという「引退」について書いているのを4月に読んだことでした。 調べてみると、彼は1951年生まれの73歳らしいのですが、ふと、自分が20年以上前からその言説を参考にしてきたベテランたちの何人かも70歳前後なのに気付きました。それは例えば、ブログやポッドキャストの発展に大きく関わったデイヴ・ワイナーや、やはりベテランブロガーにして『グーグル的思考』、『パブリック 開かれたネットの価値を最大化せよ』、『デジタル・ジャーナリズムは稼げるか』の著書で知られるジェフ・ジ
AIにとって微分可能性が必須条件でなくなりつつある意味
AIにとって微分可能性が必須条件でなくなりつつある意味 2024.07.04 Updated by Ryo Shimizu on July 4, 2024, 12:26 pm JST かなり長い間、本欄でも「AI(人工知能)」と書くときに、注釈として「AI(人工ニューラルネットワーク)」と書く必要があった。 というのも、AIという言葉が指す意味は範囲がとても広く、解釈次第ではただの電卓や辞書、IMEまでもがAIと呼べてしまうからだ。 だから、「AI」という言葉を多用する人を見た時、それは「新しいインチキ(Atarashii Inchiki)」であると考えた方が良いというジョークを言ったものである。 ここ5年で、事態は一気に変化した。今やニューラルネットワークでないものを「AI」と呼ぶのは憚られる。まあそれでもニューラルネット以前の古いシステムをいまだに「AI」と呼ぶようなIT(インチキ)企
加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実
加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実 2024.06.21 Updated by Ryo Shimizu on June 21, 2024, 18:19 pm JST 世界中の企業や政府が狂ったようにNVIDIAのGPUを買い漁る流れはそろそろ潮時かもしれない。 いくつかの興味深い事象が起きているからだ。 昨日発表されたKarakuri社のLLM、「KARAKURI LM 8x7B Instruct v0.1」は、非常に高性能な日本語LLMだ。Karakuri社は今年の一月にも非常に高性能な70Bモデルを引っ提げて業界に旋風を巻き起こした。この最新のLLNは、日本語向けオープンLLMとしては初の「命令実行」チューニングを施されている。それだけでなく、RAGと呼ばれる、複数の知識を組み合わせてより正解に近い答えを導く技術や、Function
BlueskyやThreadsに受け継がれたネット原住民の叡智
BlueskyやThreadsに受け継がれたネット原住民の叡智 2024.04.15 Updated by yomoyomo on April 15, 2024, 14:17 pm JST 旧聞に属しますが、少し前にBlueskyを眺めていて、マイク・マズニックが「ガチギレしてごめん。我慢ならなかった」とTechdirtの記事を告知する投稿をみて、相変わらず意気盛んだなと微笑ましく思った話から今回は始めたいと思います。 マズニックがガチギレしたのは、「バーチャルリアリティーの父」ジャロン・ラニアーと政治学者でミドルベリー大学教授のアリソン・スタンガーがWIREDに寄稿した「すべてを救えるインターネット・ハック」という記事で、これは前回の文章でも触れた、ユーザー生成コンテンツに対するプラットフォーム企業の免責条項を定めたとも言われる通信品位法230条の撤廃、つまりは「インターネットを生み出し
ティム・バーナーズ＝リーのオープンレターを起点に改めて考えるインターネットの統治
ティム・バーナーズ＝リーのオープンレターを起点に改めて考えるインターネットの統治 2024.03.26 Updated by yomoyomo on March 26, 2024, 15:00 pm JST 1989年3月12日は、ティム・バーナーズ＝リーが、当時彼が勤務していた欧州原子核研究機構でハイパーテキストを利用する情報管理システムの提案を行った日であり、「ワールド・ワイド・ウェブの誕生日」とされます。ティム・バーナーズ＝リーは、この3月12日に2017年、2018年、2019年と、ウェブの現状を憂い、ユーザーに行動を促す檄文を公開してきました。 そして、今年2024年の3月12日、前回から5年ぶりとなる「ウェブの35回目の誕生日を祝う：オープンレター」が公開されました。これまでと同様、なりゆきで日本語訳を公開した手前、まずこれを取り上げたいと思います。 ティム・バーナーズ＝リーは
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
なぜ、微積分は役に立つのか
なぜ、微積分は役に立つのか 2023.11.27 Updated by Atsushi SHIBATA on November 27, 2023, 14:58 pm JST 今回紹介する書籍：『はじめての物理数学』永野 裕之（SBクリエイティブ、2017） 朝起きてから寝るまで、我々は何種類もの「数」を見ます。 私自身、朝起きるとネットやニュースで降水確率、予想気温のように気象にかかわる数、為替、海外の株式市場の指数など、いろいろな種類の数をチェックします。しばらく前なら、コロナウイルスの感染者数や増加傾向を表す指数を毎日のように確認していました。 自分を取り巻く環境を知るために、私たちはいろいろな「数」を確認します。そして数を手がかりにして、行動を決めます。現代を生きる私たちにとって「数」は、世界を知るための「目」としての役割を持っています。 現代人が日常的に見るこの種の数は、たいてい計
先鋭化する大富豪の白人男性たち、警告する女性たち
先鋭化する大富豪の白人男性たち、警告する女性たち 2023.09.11 Updated by yomoyomo on September 11, 2023, 21:53 pm JST 「テックブロ（tech bro）」という言葉があります。IT業界で働く男性を指しますが、ケンブリッジ英英辞典によると、社交性に欠けるのに自身の能力を過信する米国の若い男性という含意もあるようです。 最近、この言葉が出てくる文章で気になったものがあるので、それらの紹介から始めたいと思います。 一つはダナ・ボイドの「メタバースは未だシカトさせていただきます」です。これはメタバースがテーマの新刊を送ってきた友人に対し、メタバースには一貫して興味がないと宣言する文章なのですが、彼女の拒否反応には理由があります。彼女は初期のバーチャルリアリティー（VR）の体験者であり、2014年にはVR体験の性差にフォーカスした「Oc
ChatGPT開発に必要なGPUは3万基、日本の国策AI基盤は1千基。目前に迫る日本のAI敗戦
ChatGPT開発に必要なGPUは3万基、日本の国策AI基盤は1千基。目前に迫る日本のAI敗戦 2023.08.19 Updated by Ryo Shimizu on August 19, 2023, 16:47 pm JST そろそろ業界の最深部でしか知られてなかった事実がニュースになって来始めているのでここで本当の問題を明らかにしておきたい。 AI開発に必須なのは、計算資源である。そしてこれは現在のところ、事実上NVIDIAが一社独占している。 NVIDIA以外の半導体がいくら「AIに特化しています」と能書きを垂れていてもごくわずかな例外を除いてはほとんど全部が誇大広告である。 たとえばApple Silliconは、「ニューラルエンジン」と称するモジュールを内蔵しているが、これを使ってAIの学習をすると、なんとCPUよりも遅い。信じられないかもしれないが、これが残酷な事実なのである
意外と良くなってきてしまった動画生成と音楽生成。第二回AIアートグランプリはどうなる!?
意外と良くなってきてしまった動画生成と音楽生成。第二回AIアートグランプリはどうなる!? 2023.08.13 Updated by Ryo Shimizu on August 13, 2023, 11:41 am JST ほんの一ヶ月前まで、動画生成は全然だめだった。 Gen2は高価だが狙ったものを出しにくい。何より動いてくれない。 ところがAnimateDiffという技術が公開された。これはとても激しく、それっぽく動く。 コツは必要だが、以前よりずっと綺麗に動いているのは間違いない。 筆者の運営するサイトMemeplexやreplicateで使うことができる 音楽生成も、「やはりAIに音楽みたいな人間の機微を読み取るようなものは無理か」と考えていた。 「専門家」である僕でさえ、つい一ヶ月ほど前はそうだったのだ。 新しいオーディオ生成モデルである「JEN-1」と「AudioLDM2」はそ
ウェブをますます暗い森にし、人間の能力を増強する新しい仲間としての生成AI
ウェブをますます暗い森にし、人間の能力を増強する新しい仲間としての生成AI 2023.06.19 Updated by yomoyomo on June 19, 2023, 16:16 pm JST 少し前に佐々木俊尚氏の「オープンなウェブ世界とジェネレーティブAIの終わりなき戦いが始まる」という記事を読みました。自分の電子書籍に『もうすぐ絶滅するという開かれたウェブについて』というタイトルをつけたワタシ的にも、オープンなウェブが生成AIに脅かされるという話は興味があるのですが、今年はじめに読んだ、Oughtでプロダクトデザイナーを務めるマギー・アップルトンの「拡大する暗い森と生成AI」を思い出しました。 昨今この分野は動きが速く、半年前の文章でも随分昔に思えたりするものですが、都合良いことに、4月にトロントで開催されたCausal Islandsカンファレンスでマギー・アップルトンが「拡
AIもうええわい
AIもうええわい 2023.04.16 Updated by Ryo Shimizu on April 16, 2023, 03:24 am JST むかし、僕がいた業界は「ドッグイヤー」と呼ばれていた。 犬のように歳をとるのがはやいという意味だが、ドッグイヤーの感覚に慣れた僕にとっても、最近のAI関係のニュースの多さ、進歩の速さは異常だし疲れてきた。 この連載も、「一ヶ月くらい書いてないのでは」と思って確認すると、今月の頭に書いていた。まだ二週間しか経ってない。 何か書こうと思って、とりあえず何かタイトルを適当に打ち込もうとすると、「AIもういいわい」というフレーズが浮かんだ。 こんなこと誰かが先に言ってそうだなと思って検索すると、あんまり見つからなかったから、いまのうちに書いておくことにする。 最近のAI業界の進歩を映画業界に例えると、毎週スターウォーズが公開されているような状況である
やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙
やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙 2023.03.16 Updated by Ryo Shimizu on March 16, 2023, 08:00 am JST 3月14日の早朝、GPT-4が公開され、筆者は早速試した。 その後、開けて3月15日の早朝、APIも部分的に解放され、筆者はそれも試した。 その上で、先週書いた記事の内容についての確信が深まった。 やはり、GPT-4は期待を超えてはこなかった。 GPT-4は、ChatGPT Plusに入会すると誰でもすぐに使うことができる。APIだけは招待制だが、それも筆者と同じくらいのタイミングでアンロックされた方も少なくないのではないか。 100倍規模のパラメータがあっても、アプローチには限界があるのである。 また、ChatGPTが注目を集めたことで、これまで下火になっていた他の大規模言語モデル(
クリエイターの時代
クリエイターの時代 2023.03.11 Updated by Ryo Shimizu on March 11, 2023, 15:48 pm JST ChatGPTが流行り過ぎている。 来週にはGPT-4が出るという話になっていて、しかもGPT-3は1750億パラメータであるのに対し、GPT-4は100兆パラメータと言われている。 普通に考えて単位が桁違いにおかしいのだが、そもそもそんなに巨大なニューラルネットワークが学習できてしまったことも驚きだが、実用的に使うためには信じられないくらい大規模な機械が必要になる。 まだ出てもいないGPT-4を警戒しても仕方ないので、むしろGPT-4が出る前の今のタイミングだからこそ、敢えて「ChatGPTブームの終わりは近い」と予測してみたい。 なぜか? 第一に、ChatGPTは、簡単に使え過ぎてしまう。 朝思いついて昼には新しいアプリができてしまう。
帝国の興亡
帝国の興亡 2022.10.03 Updated by Ryo Shimizu on October 3, 2022, 05:12 am JST イタリアの探検家、アメリゴ・ヴェスプッチは43歳にして初航海に出かけた。 彼の航海の記録は1503年に論文「新世界」として発表され、ドイツで出版された。以来、その大陸は彼の名にちなんでアメリカと呼ばれるようになった。 ヴェスプッチが探検したのは主に南米で、コロンブスが発見したのはカリブ海のプエルトリコで、厳密には北米大陸を発見したわけでもない。 それから一世紀後にイギリスのバージニア株式会社が国王ジェームズ一世から勅許を得て、メリーランド州、バージニア州、カロライナ州の開拓を開始した。 アメリカ大陸への植民はビジネスであり、入植者は実質的にバージニア会社の社員と見做されていた。 しかし、先住民族との戦いや疫病といった障害から、最初期の200人の入
Web3の「魂」は何なのか？
Web3の「魂」は何なのか？ 2022.06.01 Updated by yomoyomo on June 1, 2022, 18:11 pm JST 昨年末、イーロン・マスクがTwitterで「誰かWeb3見たことある？ 見つけられないんだけど」とボケたところ、当時TwitterのCEOを退任したばかりのジャック・ドーシーがすかさず、「aからzの間のどこかにあるよ」とボケ返し、これを契機に小競り合いが起きるという一幕がありました。 ジャック・ドーシーの言う「aからzの間のどこか」とは、暗号通貨などブロックチェーン方面への積極的な投資により、もはやWeb3エコシステムを丸抱えせんとする、大手ベンチャーキャピタルのa16zことAndreessen Horowitzにあてこすったイヤミです。ジャック・ドーシーの批判は、「Web3を所有するのはベンチャーキャピタルとその投資先の企業であってウェブ
「映像も物理も、微分可能になるとすごいことが起きる」ということの意味を文系にもわかるように説明しようと試みる
「映像も物理も、微分可能になるとすごいことが起きる」ということの意味を文系にもわかるように説明しようと試みる 2021.07.26 Updated by Ryo Shimizu on July 26, 2021, 07:12 am JST 最近のプログラミングの新しい波は微分可能プログラミング(differentiable programming)である。 微分可能プログラミングとは、簡単に言うと・・・と思ったが、簡単に言うのは結構難しい。 まず「微分」という言葉があまり簡単ではない印象がある。 まずは微分と積分の関係性を説明しておこう。文系の読者に向けた記事であるので、非常にざっくりと説明してみよう(そのかわり、元々数学が得意な読者にとっては直感的ではない説明になるかもしれない)。 まず、瓶からコップにジュースを移すような状況を想定してみる。 瓶からコップが一杯になるまで60秒で注ぐとし
ZOOMもUberもNetflixも、たった3万円で全てのシステム/アプリを作れるノーコードの衝撃
ZOOMもUberもNetflixも、たった3万円で全てのシステム/アプリを作れるノーコードの衝撃 2021.06.09 Updated by Ryo Shimizu on June 9, 2021, 14:40 pm JST プログラマーというのは長じるとプログラムを書かなくなるものである。 特に最近はWebサイトくらいの簡単なものでも、決まり事が多くて書くのが億劫になってしまった。 大学生が適当に書いたHTMLをネットにバラ撒き散らしていた時代と異なり、今はSSL対応が必須になり、そのための証明書の管理もしなければならないし、スマートフォンでもPCでもタブレットでも綺麗にコンテンツが見えなければならない。 そうなると、もはやそれが専業の人以外は、お手上げだ。というか、できるだけ触りたくない、というのが本音である。 ところで筆者が創設に関わった「全国小中学生プログラミング大会」も今年で第
ぼんやり上司とガツガツ上司、どっちが良いか
ぼんやり上司とガツガツ上司、どっちが良いか 2021.05.21 Updated by Ryo Shimizu on May 21, 2021, 08:45 am JST 「もっと派手に、若々しく」とか「うーん、違うんだよなあ」と、ぼんやりした指示しか出してくれない上司と、「ここは赤で」「明日までに見積書を書け」みたいにガツガツ仕事を進めてしまう上司、どっちがいいか、という問題について最近考えたことがあった。 ガツガツ上司の場合、部下はストレスは感じるがやりやすい。 上司が欲しがるものが明確化されているので、「赤にしろ」と言われれば赤にすればいいし、「見積書を書け」と言われれば書けばいいからだ。 それに引き換え、ぼんやり上司の下にいると、部下は苦労する。 なにしろ何をして欲しいのか明かされない。何をすればいいのか自分で考えなくてはならない。そして、何かやって持って行ったとしても、ぼんやり上
OpenAI/GPT-3のプロンプトプログラミングとは何か?実際にやってみる
OpenAI/GPT-3のプロンプトプログラミングとは何か?実際にやってみる 2021.04.27 Updated by Ryo Shimizu on April 27, 2021, 08:05 am JST GPT-3は、イーロン・マスクやMicrosoftらが支援するOpenAIという組織によって公開された世界最高峰の自然言語AIと言われている。 膨大なパラメータを持ち、インターネット上のありとあらゆる文字情報を学習したもので、あまりに自然な文章が作れてしまうので一般公開が制限されるという、いわく付きのAIだ。 GPT-3を利用したアプリケーションには「プロンプトプログラミング」という手法が使われている。 これを使えば、欲しいプログラムが簡単に書けるのである。 これは非常に画期的なパラダイム(考え方)で、「プログラミング」という概念を大きく広げるものだと言える。 そこで「プログラミング
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
