AIにとって微分可能性が必須条件でなくなりつつある意味
AIにとって微分可能性が必須条件でなくなりつつある意味 2024.07.04 Updated by Ryo Shimizu on July 4, 2024, 12:26 pm JST かなり長い間、本欄でも「AI(人工知能)」と書くときに、注釈として「AI(人工ニューラルネットワーク)」と書く必要があった。 というのも、AIという言葉が指す意味は範囲がとても広く、解釈次第ではただの電卓や辞書、IMEまでもがAIと呼べてしまうからだ。 だから、「AI」という言葉を多用する人を見た時、それは「新しいインチキ(Atarashii Inchiki)」であると考えた方が良いというジョークを言ったものである。 ここ5年で、事態は一気に変化した。今やニューラルネットワークでないものを「AI」と呼ぶのは憚られる。まあそれでもニューラルネット以前の古いシステムをいまだに「AI」と呼ぶようなIT(インチキ)企
最新の画像生成AIを手軽に試せるWebサイト replicate.com
最新の画像生成AIを手軽に試せるWebサイト replicate.com 2022.06.21 Updated by Ryo Shimizu on June 21, 2022, 06:30 am JST 最近のAIの進歩が凄まじいことは今更改めて説明するまでもない。 今年は新年早々OpenAIがDALL-E2で新しい画像生成の地平線を切り開いたかと思えば、一ヶ月もせずにGoogleのImagenが新たなSOTA(State of the art)を達成する。 そこに追従するのが世界中に散らばった自由な研究者たちによるオープンソース実装だ。 そうした実装を追いかけるのも大変だ。 なにしろ最新のAIは絡んでくる要素が多くなって簡単に再現できないものも少なくない。 たとえば、使用するGPU、そのGPUを駆動するためのドライバ、ドライバで動くGPU用計算ライブラリのバージョン、フレームワークとの組
加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実
加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実 2024.06.21 Updated by Ryo Shimizu on June 21, 2024, 18:19 pm JST 世界中の企業や政府が狂ったようにNVIDIAのGPUを買い漁る流れはそろそろ潮時かもしれない。 いくつかの興味深い事象が起きているからだ。 昨日発表されたKarakuri社のLLM、「KARAKURI LM 8x7B Instruct v0.1」は、非常に高性能な日本語LLMだ。Karakuri社は今年の一月にも非常に高性能な70Bモデルを引っ提げて業界に旋風を巻き起こした。この最新のLLNは、日本語向けオープンLLMとしては初の「命令実行」チューニングを施されている。それだけでなく、RAGと呼ばれる、複数の知識を組み合わせてより正解に近い答えを導く技術や、Function
ティム・バーナーズ＝リーのオープンレターを起点に改めて考えるインターネットの統治
ティム・バーナーズ＝リーのオープンレターを起点に改めて考えるインターネットの統治 2024.03.26 Updated by yomoyomo on March 26, 2024, 15:00 pm JST 1989年3月12日は、ティム・バーナーズ＝リーが、当時彼が勤務していた欧州原子核研究機構でハイパーテキストを利用する情報管理システムの提案を行った日であり、「ワールド・ワイド・ウェブの誕生日」とされます。ティム・バーナーズ＝リーは、この3月12日に2017年、2018年、2019年と、ウェブの現状を憂い、ユーザーに行動を促す檄文を公開してきました。 そして、今年2024年の3月12日、前回から5年ぶりとなる「ウェブの35回目の誕生日を祝う：オープンレター」が公開されました。これまでと同様、なりゆきで日本語訳を公開した手前、まずこれを取り上げたいと思います。 ティム・バーナーズ＝リーは
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
推定1000万円以下のコストで開発され、国内最大・最高性能を達成した日本語LLM, Karakuri-LMの秘密
推定1000万円以下のコストで開発され、国内最大・最高性能を達成した日本語LLM, Karakuri-LMの秘密 2024.02.18 Updated by Ryo Shimizu on February 18, 2024, 10:08 am JST 2024年1月。国内の生成AIコミュニティに激震が走った。 コンタクトセンター向けのチャットボット開発のパイオニアとして知られるカラクリ社が商用利用可能のオープンソースモデルとして公開したKarakuri-ln-70bの性能が高すぎると話題になったのだ。 多くの日本語LLMと同様に数学能力に関するスコアは低いが、物語を記述する能力、日本語の質問に日本語で答えたり、答えをプログラムで扱い易いJSON形式にしたりする能力がこれまでの国産LLMに比べて桁違いに高かったのである。 物語を記述する能力に関しては、一説によればGPT-4を凌駕するとも言わ
なぜ、微積分は役に立つのか
なぜ、微積分は役に立つのか 2023.11.27 Updated by Atsushi SHIBATA on November 27, 2023, 14:58 pm JST 今回紹介する書籍：『はじめての物理数学』永野 裕之（SBクリエイティブ、2017） 朝起きてから寝るまで、我々は何種類もの「数」を見ます。 私自身、朝起きるとネットやニュースで降水確率、予想気温のように気象にかかわる数、為替、海外の株式市場の指数など、いろいろな種類の数をチェックします。しばらく前なら、コロナウイルスの感染者数や増加傾向を表す指数を毎日のように確認していました。 自分を取り巻く環境を知るために、私たちはいろいろな「数」を確認します。そして数を手がかりにして、行動を決めます。現代を生きる私たちにとって「数」は、世界を知るための「目」としての役割を持っています。 現代人が日常的に見るこの種の数は、たいてい計
「テクノ楽観主義者宣言」にみる先鋭化するテック大富豪のイキり、そしてテック業界の潮目の変化
「テクノ楽観主義者宣言」にみる先鋭化するテック大富豪のイキり、そしてテック業界の潮目の変化 2023.11.07 Updated by yomoyomo on November 7, 2023, 12:00 pm JST 前々回「先鋭化する大富豪の白人男性たち、警告する女性たち」、前回「テクノ楽観主義者からラッダイトまで」を書いた者として、今回はマーク・アンドリーセンの「テクノ楽観主義者宣言（The Techno-Optimist Manifesto）」（解説付き日本語訳）を取り上げるのが必然と思われます。まさに大富豪の白人男性の先鋭化とテクノ楽観主義者の現在を見るうえで必読と言える内容になっています。 しかし、この渾身のマニフェストに対する風当たりは強い、という印象があります。それについては後で取り上げますが、いろいろな意味で潮目の変化を感じずにはいられません。 著者のマーク・アンドリー
生成AI以後
生成AI以後 2023.09.21 Updated by Ryo Shimizu on September 21, 2023, 10:05 am JST 生成AIが「民主化」されたと言えるのは、昨年8月24日のStableDiffusionの公開を起点として良いだろう。 StableDiffusionは破格の性能のAIを、誰でも買える程度のコンピューティングパワーのコンピュータで、自由に改造して使うことができると言う意味で、真の民主化を達成した。 それから一年が経過して、昨年末にはChatGPTが注目を集め、現在では単に「AI」と言えば生成AIを指すようになった。 生成AIであるかそうでないかの違いは、その構造というよりも扱う情報量の違いでしかない。 AIが扱うデータは全て行列の集合の集合(またはその集合)、これをテンソルと呼ぶが、あるテンソルを入力したときに別のテンソルに変換するというも
Open Interpreterで開かれた未来像 RPAツールをAIで作る
Open Interpreterで開かれた未来像 RPAツールをAIで作る 2023.09.12 Updated by Ryo Shimizu on September 12, 2023, 11:25 am JST OpenInterpreter(オープンインタープリター)が話題だ。 これはChatGPTの「Code Interpreter」をローカルで動かすというもの。 しかも、GPT-3/GPT-4のAPI以外にも、Llama2やFalconなどのローカル動作のLLMのエンジンにも容易に切り替えることができる。 筆者も早速試してみたが、これが非常に面白い。ChatGPT出現時くらいのインパクトがある。 筆者は最近、平日はほぼ毎日「教養としてのAI講座 / デイリーAIニュース」という有料番組を配信している。 この中で先週とりあげたのがOpen Interpreterだったのだが、この反
ChatGPT開発に必要なGPUは3万基、日本の国策AI基盤は1千基。目前に迫る日本のAI敗戦
ChatGPT開発に必要なGPUは3万基、日本の国策AI基盤は1千基。目前に迫る日本のAI敗戦 2023.08.19 Updated by Ryo Shimizu on August 19, 2023, 16:47 pm JST そろそろ業界の最深部でしか知られてなかった事実がニュースになって来始めているのでここで本当の問題を明らかにしておきたい。 AI開発に必須なのは、計算資源である。そしてこれは現在のところ、事実上NVIDIAが一社独占している。 NVIDIA以外の半導体がいくら「AIに特化しています」と能書きを垂れていてもごくわずかな例外を除いてはほとんど全部が誇大広告である。 たとえばApple Silliconは、「ニューラルエンジン」と称するモジュールを内蔵しているが、これを使ってAIの学習をすると、なんとCPUよりも遅い。信じられないかもしれないが、これが残酷な事実なのである
意外と良くなってきてしまった動画生成と音楽生成。第二回AIアートグランプリはどうなる!?
意外と良くなってきてしまった動画生成と音楽生成。第二回AIアートグランプリはどうなる!? 2023.08.13 Updated by Ryo Shimizu on August 13, 2023, 11:41 am JST ほんの一ヶ月前まで、動画生成は全然だめだった。 Gen2は高価だが狙ったものを出しにくい。何より動いてくれない。 ところがAnimateDiffという技術が公開された。これはとても激しく、それっぽく動く。 コツは必要だが、以前よりずっと綺麗に動いているのは間違いない。 筆者の運営するサイトMemeplexやreplicateで使うことができる 音楽生成も、「やはりAIに音楽みたいな人間の機微を読み取るようなものは無理か」と考えていた。 「専門家」である僕でさえ、つい一ヶ月ほど前はそうだったのだ。 新しいオーディオ生成モデルである「JEN-1」と「AudioLDM2」はそ
生成AIで執筆時間を大幅短縮。果たして「書く」とはどういうことか?
生成AIで執筆時間を大幅短縮。果たして「書く」とはどういうことか? 2023.07.30 Updated by Ryo Shimizu on July 30, 2023, 10:54 am JST 7月26日、幻冬社新書から「教養としての生成AI」が発売された。教養シリーズである。 3月ごろはほぼ毎日執筆依頼が来てAIの研究をする時間が削られるなど本末転倒なことが起きていた。ようやく今回の「教養としての生成AI」と、来月の「検索から生成へ」でひと段落する。他にも大量に来ていたが、時間が勿体無いので断った。 幻冬社は新聞広告を打つらしい。果たして、いまどき新聞広告で本は売れるのか?しかし僕は本のプロではないので、プロがそう思うんだからそこはお任せするとしよう。 お任せするといえば、この本も次の本も、ChatGPTがほとんど書いた。 従って、執筆時間は10時間ほどで、そのうち半分はChatGP
人間のために書く原稿に対してモチベーションが上がらなくなってきた
人間のために書く原稿に対してモチベーションが上がらなくなってきた 2023.05.17 Updated by Ryo Shimizu on May 17, 2023, 09:06 am JST 売文・・・つまり、文章を書いて売る仕事を生業としてから、ちょうど30年になる。 昔は原稿料も良くて、高校生の頃には月収が親父の手取りを超えていた。 まあ世の中そんなに甘くはなく、そんな時代はほんの一瞬で、学生時代は原稿料でギリギリ食い繋いでいたが、つまらないことでライターの先輩の機嫌を損ねて干されたり、学園祭の準備に打ち込みすぎて働き忘れたりして、引っ越し屋のアルバイトをしたりしながらそれでもなんとか細々とでも売文は続けてきた。 文を書いて原稿料をもらう。それで生活するというのは、なかなか難しい。 僕も本業が別にあったから売文を続けてこれた部分もある。 昨年、突然会社をやめることになったときは、売文
AIもうええわい
AIもうええわい 2023.04.16 Updated by Ryo Shimizu on April 16, 2023, 03:24 am JST むかし、僕がいた業界は「ドッグイヤー」と呼ばれていた。 犬のように歳をとるのがはやいという意味だが、ドッグイヤーの感覚に慣れた僕にとっても、最近のAI関係のニュースの多さ、進歩の速さは異常だし疲れてきた。 この連載も、「一ヶ月くらい書いてないのでは」と思って確認すると、今月の頭に書いていた。まだ二週間しか経ってない。 何か書こうと思って、とりあえず何かタイトルを適当に打ち込もうとすると、「AIもういいわい」というフレーズが浮かんだ。 こんなこと誰かが先に言ってそうだなと思って検索すると、あんまり見つからなかったから、いまのうちに書いておくことにする。 最近のAI業界の進歩を映画業界に例えると、毎週スターウォーズが公開されているような状況である
最強のプログラミング勉強法が写経である理由
最強のプログラミング勉強法が写経である理由 2018.06.28 Updated by Ryo Shimizu on June 28, 2018, 08:39 am JST プログラミングを学ぶ最も良い方法は写経である。 写経とは、紙に打ち出されたソースコードをキーボードから入力する行為だ。 一見、ものすごく無駄に見える。 ネットからダウンロードすればすぐに済むものをなぜわざわざ手で入力し直すのか。 でも、考えてみて欲しい。 なぜ小学校では漢字の書き取りテストがあるのか。 漢字ドリルとは、同じ文字を何度も書いて反復するのである。 ひらがなだってカタカナだってそうだ。 書いてみなければ、身につかない。 もしも、漢字を一度も書くことなしに漢字を読めるようになったとして、それにどれほどの意味があるだろうか。 英語もそうだ。 アルファベットを書くところから全ては始まる。 ちなみに僕は、ドイツ語のア
死屍累々の人工知能PoC 生死のカギを握るのは何か - WirelessWire News（ワイヤレスワイヤーニュース）
死屍累々の人工知能PoC 生死のカギを握るのは何か 2018.06.12 Updated by Ryo Shimizu on 6月 12, 2018, 08:44 am JST 深層学習が広く知られるようになり、産業への適用が始まってからもう5年が経過した。 日本で深層学習という言葉が流行り始めたのもすでに3年前だ。 実際のところ、このブームには大きな問題があった。 深層学習以外の技術にはこれといった進展はなかったのだが、深層学習が注目を集めたことで、死に体だったAI系企業がどさくさに紛れて息を吹き返したり、少し前なら見向きもされなかったような技術にまで脚光が当たるなどして玉石混交の状態のまま、さまざまなPoC(Proof of Concept;理論検証)に膨大な資金が投じられた。 残念ながらその大半は失敗した。この失敗は極めて必然的なものである。なぜならば、失敗したPoCはほぼ例外なく、
深層学習の今のところの限界「何ができて、何ができないか？」
深層学習の今のところの限界「何ができて、何ができないか？」 2018.01.08 Updated by Ryo Shimizu on January 8, 2018, 08:29 am JST あけましておめでとうございます。 先日、MIT Technology Reviewにこのような記事が掲載されていました。 深層学習の過大評価は危険、ウーバーAI研究所の前所長が指摘 この論文を発表したのはニューヨーク大学の心理学者のゲイリー・マーカス教授。心理学者ということで、我々情報工学の立場とはまた違う立場で深層学習にできることとできないことを分離しています。 筆者はこのニュースを見て最初は反発したのですが、原文を読んでみると現状のディープラーニングの課題についてよくまとまっているのではないかと思いましたので紹介します。原文はこちら ■ディープラーニングの限界 マーカス教授によると、ディープラー
深層学習の社会実装を阻む意識障壁
深層学習の社会実装を阻む意識障壁 Deep learning that social implementation has come to be seen 2017.06.22 Updated by Ryo Shimizu on June 22, 2017, 11:41 am JST 数年前から話題になっている深層学習は、これまでは人工知能研究における飛躍的な進歩として捉えられてきました。 深層学習を一躍有名にした画像分類タスクや、セマンティック・セグメンテーション、シーケンス変換、カラー化など、様々な研究成果が日々発表されています。 しかし、こうした華々しく目覚ましい成果が相次ぐ中で、なかなかそれらを利用した製品、もっと大きな言葉でいえば深層学習の社会実装はまだまだ過渡的な段階と見做されていました。 実際、大手企業が喧伝する「人工知能」技術の中には、深層学習をほとんど使っていないものが少
AI生成物に著作権はあるか?田中圭一AI出現の可能性とAI専用デジタル国会図書館
AI生成物に著作権はあるか?田中圭一AI出現の可能性とAI専用デジタル国会図書館 Copycat and copyrights 2016.12.18 Updated by Ryo Shimizu on December 18, 2016, 11:31 am JST 先日、第二回となる「新たな情報財検討委員会」が霞が関の第四合同庁舎で開催されました。 新たな情報財検討委員会は、内閣総理大臣を本部長とする、政府の知的財産戦略本部のもとに設置された検討委員会で、我が国における知的財産をどのように保護していくか、そしてどのようにすれば発展していくかという視点から具体的な政策方針を議論する委員会です。 この委員会で決められた方針が、関係各省庁に落とされ、実際の政府の方針として活用されることになるので、こういう場でどういう議論が行われたかということは非常に重要です。 特に最近は進歩の著しい人工知能技術
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
