加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実 2024.06.21 Updated by Ryo Shimizu on June 21, 2024, 18:19 pm JST 世界中の企業や政府が狂ったようにNVIDIAのGPUを買い漁る流れはそろそろ潮時かもしれない。 いくつかの興味深い事象が起きているからだ。 昨日発表されたKarakuri社のLLM、「KARAKURI LM 8x7B Instruct v0.1」は、非常に高性能な日本語LLMだ。Karakuri社は今年の一月にも非常に高性能な70Bモデルを引っ提げて業界に旋風を巻き起こした。この最新のLLNは、日本語向けオープンLLMとしては初の「命令実行」チューニングを施されている。それだけでなく、RAGと呼ばれる、複数の知識を組み合わせてより正解に近い答えを導く技術や、Function

ティム・バーナーズ＝リーのオープンレターを起点に改めて考えるインターネットの統治 2024.03.26 Updated by yomoyomo on March 26, 2024, 15:00 pm JST 1989年3月12日は、ティム・バーナーズ＝リーが、当時彼が勤務していた欧州原子核研究機構でハイパーテキストを利用する情報管理システムの提案を行った日であり、「ワールド・ワイド・ウェブの誕生日」とされます。ティム・バーナーズ＝リーは、この3月12日に2017年、2018年、2019年と、ウェブの現状を憂い、ユーザーに行動を促す檄文を公開してきました。 そして、今年2024年の3月12日、前回から5年ぶりとなる「ウェブの35回目の誕生日を祝う：オープンレター」が公開されました。これまでと同様、なりゆきで日本語訳を公開した手前、まずこれを取り上げたいと思います。 ティム・バーナーズ＝リーは

1ビットLLMの衝撃! 70Bで8.9倍高速　全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース

先鋭化する大富豪の白人男性たち、警告する女性たち 2023.09.11 Updated by yomoyomo on September 11, 2023, 21:53 pm JST 「テックブロ（tech bro）」という言葉があります。IT業界で働く男性を指しますが、ケンブリッジ英英辞典によると、社交性に欠けるのに自身の能力を過信する米国の若い男性という含意もあるようです。 最近、この言葉が出てくる文章で気になったものがあるので、それらの紹介から始めたいと思います。 一つはダナ・ボイドの「メタバースは未だシカトさせていただきます」です。これはメタバースがテーマの新刊を送ってきた友人に対し、メタバースには一貫して興味がないと宣言する文章なのですが、彼女の拒否反応には理由があります。彼女は初期のバーチャルリアリティー（VR）の体験者であり、2014年にはVR体験の性差にフォーカスした「Oc

ChatGPT開発に必要なGPUは3万基、日本の国策AI基盤は1千基。目前に迫る日本のAI敗戦 2023.08.19 Updated by Ryo Shimizu on August 19, 2023, 16:47 pm JST そろそろ業界の最深部でしか知られてなかった事実がニュースになって来始めているのでここで本当の問題を明らかにしておきたい。 AI開発に必須なのは、計算資源である。そしてこれは現在のところ、事実上NVIDIAが一社独占している。 NVIDIA以外の半導体がいくら「AIに特化しています」と能書きを垂れていてもごくわずかな例外を除いてはほとんど全部が誇大広告である。 たとえばApple Silliconは、「ニューラルエンジン」と称するモジュールを内蔵しているが、これを使ってAIの学習をすると、なんとCPUよりも遅い。信じられないかもしれないが、これが残酷な事実なのである

意外と良くなってきてしまった動画生成と音楽生成。第二回AIアートグランプリはどうなる!? 2023.08.13 Updated by Ryo Shimizu on August 13, 2023, 11:41 am JST ほんの一ヶ月前まで、動画生成は全然だめだった。 Gen2は高価だが狙ったものを出しにくい。何より動いてくれない。 ところがAnimateDiffという技術が公開された。これはとても激しく、それっぽく動く。 コツは必要だが、以前よりずっと綺麗に動いているのは間違いない。 筆者の運営するサイトMemeplexやreplicateで使うことができる 音楽生成も、「やはりAIに音楽みたいな人間の機微を読み取るようなものは無理か」と考えていた。 「専門家」である僕でさえ、つい一ヶ月ほど前はそうだったのだ。 新しいオーディオ生成モデルである「JEN-1」と「AudioLDM2」はそ

人間のために書く原稿に対してモチベーションが上がらなくなってきた 2023.05.17 Updated by Ryo Shimizu on May 17, 2023, 09:06 am JST 売文・・・つまり、文章を書いて売る仕事を生業としてから、ちょうど30年になる。 昔は原稿料も良くて、高校生の頃には月収が親父の手取りを超えていた。 まあ世の中そんなに甘くはなく、そんな時代はほんの一瞬で、学生時代は原稿料でギリギリ食い繋いでいたが、つまらないことでライターの先輩の機嫌を損ねて干されたり、学園祭の準備に打ち込みすぎて働き忘れたりして、引っ越し屋のアルバイトをしたりしながらそれでもなんとか細々とでも売文は続けてきた。 文を書いて原稿料をもらう。それで生活するというのは、なかなか難しい。 僕も本業が別にあったから売文を続けてこれた部分もある。 昨年、突然会社をやめることになったときは、売文

AIもうええわい 2023.04.16 Updated by Ryo Shimizu on April 16, 2023, 03:24 am JST むかし、僕がいた業界は「ドッグイヤー」と呼ばれていた。 犬のように歳をとるのがはやいという意味だが、ドッグイヤーの感覚に慣れた僕にとっても、最近のAI関係のニュースの多さ、進歩の速さは異常だし疲れてきた。 この連載も、「一ヶ月くらい書いてないのでは」と思って確認すると、今月の頭に書いていた。まだ二週間しか経ってない。 何か書こうと思って、とりあえず何かタイトルを適当に打ち込もうとすると、「AIもういいわい」というフレーズが浮かんだ。 こんなこと誰かが先に言ってそうだなと思って検索すると、あんまり見つからなかったから、いまのうちに書いておくことにする。 最近のAI業界の進歩を映画業界に例えると、毎週スターウォーズが公開されているような状況である

やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙 2023.03.16 Updated by Ryo Shimizu on March 16, 2023, 08:00 am JST 3月14日の早朝、GPT-4が公開され、筆者は早速試した。 その後、開けて3月15日の早朝、APIも部分的に解放され、筆者はそれも試した。 その上で、先週書いた記事の内容についての確信が深まった。 やはり、GPT-4は期待を超えてはこなかった。 GPT-4は、ChatGPT Plusに入会すると誰でもすぐに使うことができる。APIだけは招待制だが、それも筆者と同じくらいのタイミングでアンロックされた方も少なくないのではないか。 100倍規模のパラメータがあっても、アプローチには限界があるのである。 また、ChatGPTが注目を集めたことで、これまで下火になっていた他の大規模言語モデル(

無価値だった検索と今無価値に思える作画AI。その先にある行動の生成 2022.10.29 Updated by Ryo Shimizu on October 29, 2022, 07:51 am JST 過日、幕張メッセで開催された「AI・人工知能EXPO」内のブースでコネクトームデザイン社の佐藤社長と対談する機会があった。 その時、佐藤社長から出された問いが、「検索から生成、そして創造とはどういうことか?」という最近の筆者の提言に対するシンプルな疑問だった。 人前で話をするというのは面白いもので、こういう問いかけを受けると、その場でそれまで自分が思いもしなかったような答えが出てくる。 知性が単独では存在意義を持たず、複数の知性が考えをぶつけあって思想が育つ、まさにその瞬間に出くわした。なかなか久々の感覚である。 かつて、検索は無価値だった。 いまだに「検索」にお金を払う人はいない。 検索

Web3の「魂」は何なのか？ 2022.06.01 Updated by yomoyomo on June 1, 2022, 18:11 pm JST 昨年末、イーロン・マスクがTwitterで「誰かWeb3見たことある？ 見つけられないんだけど」とボケたところ、当時TwitterのCEOを退任したばかりのジャック・ドーシーがすかさず、「aからzの間のどこかにあるよ」とボケ返し、これを契機に小競り合いが起きるという一幕がありました。 ジャック・ドーシーの言う「aからzの間のどこか」とは、暗号通貨などブロックチェーン方面への積極的な投資により、もはやWeb3エコシステムを丸抱えせんとする、大手ベンチャーキャピタルのa16zことAndreessen Horowitzにあてこすったイヤミです。ジャック・ドーシーの批判は、「Web3を所有するのはベンチャーキャピタルとその投資先の企業であってウェブ

「映像も物理も、微分可能になるとすごいことが起きる」ということの意味を文系にもわかるように説明しようと試みる 2021.07.26 Updated by Ryo Shimizu on July 26, 2021, 07:12 am JST 最近のプログラミングの新しい波は微分可能プログラミング(differentiable programming)である。 微分可能プログラミングとは、簡単に言うと・・・と思ったが、簡単に言うのは結構難しい。 まず「微分」という言葉があまり簡単ではない印象がある。 まずは微分と積分の関係性を説明しておこう。文系の読者に向けた記事であるので、非常にざっくりと説明してみよう(そのかわり、元々数学が得意な読者にとっては直感的ではない説明になるかもしれない)。 まず、瓶からコップにジュースを移すような状況を想定してみる。 瓶からコップが一杯になるまで60秒で注ぐとし

ZOOMもUberもNetflixも、たった3万円で全てのシステム/アプリを作れるノーコードの衝撃 2021.06.09 Updated by Ryo Shimizu on June 9, 2021, 14:40 pm JST プログラマーというのは長じるとプログラムを書かなくなるものである。 特に最近はWebサイトくらいの簡単なものでも、決まり事が多くて書くのが億劫になってしまった。 大学生が適当に書いたHTMLをネットにバラ撒き散らしていた時代と異なり、今はSSL対応が必須になり、そのための証明書の管理もしなければならないし、スマートフォンでもPCでもタブレットでも綺麗にコンテンツが見えなければならない。 そうなると、もはやそれが専業の人以外は、お手上げだ。というか、できるだけ触りたくない、というのが本音である。 ところで筆者が創設に関わった「全国小中学生プログラミング大会」も今年で第

ぼんやり上司とガツガツ上司、どっちが良いか 2021.05.21 Updated by Ryo Shimizu on May 21, 2021, 08:45 am JST 「もっと派手に、若々しく」とか「うーん、違うんだよなあ」と、ぼんやりした指示しか出してくれない上司と、「ここは赤で」「明日までに見積書を書け」みたいにガツガツ仕事を進めてしまう上司、どっちがいいか、という問題について最近考えたことがあった。 ガツガツ上司の場合、部下はストレスは感じるがやりやすい。 上司が欲しがるものが明確化されているので、「赤にしろ」と言われれば赤にすればいいし、「見積書を書け」と言われれば書けばいいからだ。 それに引き換え、ぼんやり上司の下にいると、部下は苦労する。 なにしろ何をして欲しいのか明かされない。何をすればいいのか自分で考えなくてはならない。そして、何かやって持って行ったとしても、ぼんやり上

AIの想像力が人間を超えるとき。深層強化学習のブレイクスルー、D3RLの衝撃 2020.10.08 Updated by Ryo Shimizu on October 8, 2020, 11:13 am JST 「最近のAIがすごい」と言われてからもう6年ほどが経過した。 なかでも人目を引いたのは、なんといっても2016年のAlphaGoだろう。最難関ゲームの一つと言われる囲碁において、人間のトップ棋士に対しAIが圧勝したのである。 これは「深層強化学習」というAIだが、実際のところ、「深層強化学習」を実用的に利用した例はまだ少ない。 多くのAIベンチャーやAIベンダーが扱う「AI」技術は、古典的な統計解析か、時折ニューラルネットを使っているくらいで、「深層学習」ではあっても「深層強化学習」とは完全に別物である。ラジオもコンピュータも同じ電気で動くものだが別物であるのと同じだ。 深層強化学

NVIDIA、過去に国立研究機関へのGeForce導入妨害の疑い Amazing, every word of what you just said was wrong. 2017.12.20 Updated by Ryo Shimizu on December 20, 2017, 06:24 am JST 昨日の記事に対し、NVIDIAからヒステリックといえるほどの対応が起きました。不思議です。明らかに意図的に動いているのに、公表されている事実を指摘しただけなのにこの反応は不可解ですね。 NVIDIA側からは、「個別に面談して誤解を晴らしたい」という連絡を頂きましたが、そもそもなぜ個別に面談する必要があるのでしょうか。筆者のもとにはNVIDIAからGeForceの供給を止められている、という代理店の話も聞こえてきます。水面下でコトを落ち着かせたいということなのでしょうか。 また、海外には

税制で貧富格差の拡大を防ぐことはできるか 人と技術と情報の境界面を探る #009 2017.06.19 Updated by Shinya Matsuura on June 19, 2017, 07:00 am JST 貧富の格差を放置して良いと思う人はいないだろう。だが、なぜ放置してはいけないのだろうか。 答えは、「貧富格差が拡大すると、社会が荒廃し、さらには経済が回らなくなるから」だ。 富める者と貧しき者の間の格差が大きくなると、2つの社会階層が分離する。食べ物や飲み水の質、居住地域の治安、子弟が受けることのできる教育——すべてが二極分化する。 格差の拡大は同時に社会を「我々とあいつら」に分断する。「あいつらは、我々が手に入れることができない寝床に寝て、手に入れることができない高級車に乗り、手に入れることができない食い物を食べている」という恨みと、「あいつらは、臭くて汚いところに済み、

Pokémon GOとLINEモバイルが問いかける、ゼロレーティングの現況とこれから 2016.08.22 Updated by Yoshiko Kano on August 22, 2016, 06:15 am JST 7月22日にポケモンGOがリリースされ1ヶ月が経ちました。ドハマリしているひと、もう飽きちゃったひと、なんだよingressの時は大騒ぎしなかったくせにとヘソを曲げているひと、それぞれかと思います。米T-Mobileはリリース前にポケモンGO関連データ料金の特典プランを発表し話題になりましたし、日本でもMVNOがポケモンGOのみ通信量の上限なしで遊べるプランを出したりと、話題には事欠かかないポケモンGO旋風だったと言えるでしょう。 ここでよく登場するようになったのが「ゼロレーティング」あるいは「ネットワーク中立性(ネット中立性)」というワードです。見慣れない言葉で身近なモ

第二世代人工知能の亡霊がもたらす"AIの冬" AI Winter is coming!! 2016.11.21 Updated by Ryo Shimizu on November 21, 2016, 15:49 pm JST 日立が公開した「汎用人工知能」のプロモーションビデオが日本のAI業界で悪い意味での注目を集めています。 このビデオでは、日立は自社で開発したAI技術「H(エイチ)」を、「汎用人工知能」と自称しています。 しかし、「汎用人工知能」は、通常、AGI(Artificial General Intelligence)の訳とされ、人工知能研究のメインストリームでは、GoogleやFacebookなどを含めて「まだ世界の誰も開発に成功していない」ものとされています。 ビデオに登場する株式会社日立製作所、研究開発グループ技師長の矢野和夫氏によれば、このH(エイチ)は、「(カスタマ

イギリスがEU離脱した理由 Why UK left EU 2016.06.24 Updated by Mayumi Tanimoto on June 24, 2016, 13:38 pm JST イギリスのEU離脱を問う国民投票の結果、イギリスがEUを離脱することになりました。TwitterやメルマガでイギリスのEU離脱については書いてきましたが、残留予測の人が多かったにも関わらず、なぜイギリス有権者が離脱を選択したのかを疑問に思う方も多いでしょう。離脱の理由は、ヨーロッパを理解する上で、テック業界の方にも重要な事だと思いますので、以下まとめました そもそもEUってなによ？ ところでなぜイギリスが離脱したかを理解するには、そもそもEUとは何かを理解する必要があります。 EUというのは欧州連合（European Union）のことです。地域統合体と呼ばれる組織で、主権（自分で自分の国のことを