Sakana AI の間違いを徹底的に査読してみた (Colabコード付き)｜しらいはかせ(AI研究/Hacker作家)

なんかみんなSakana AIがやらかした間違いについてワイワイ言っているんで、徹底的に検証してみたら結構面白かったし、勉強にもなったよ！という7万字ぐらいあるブログです。 最後の方にGoogle Colabで動く検証コードを置いておきます。 ＜お気持ち背景＞ 昨年の11月に「AIバブル崩壊」の足音と「AI副業」のデメリット、という話を書きました。 いくつかのAIバブルの崩壊シナリオに警鐘を鳴らさせていただいたんだけど、長くてゴメン。 個々にすごいけど、「Kaggler節」であり、その文法で銀行がお金を出ような話になっているんだろうか？どこかの山でチャンピオンになるかもしれないけど、みんなが期待するような課題解決や課題発見、課題設定になっているんだっけ？という感想があります。 例えば画像生成AI「Stable Diffusion」に例えますが、画像生成モデルみたいに無償で公開していくんだけ

[u2mhS6tETD]

SakanaAIは論文のミスより、ここで言及されてるように日本のAI投資予算を吸い取ってる割には生成AIで遊ぶレベルのことしかやっていない方が問題視されてほしい。TransformerやChainer作るレベルのことをしたら手のひら返す

[urtz]

まとめると、でか目のバグであたかも高速化されているように見えている(再現した)が、それに気付かないユニコーン企業のエンジニアとは、みたいな。認めたhttps://x.com/SakanaAILabs/status/1892992938013270019

[denqueue]

Geminiと壁打ちして1日もかからず論文の再現や被疑箇所まで特定するのスピード感が凄い。コレがAI時代か

[uoeqsa]

このnoteではメモリ盗み見の話がメインですが、その修正後も特別速い高速化では計算を無視したり定数を返したりしているという指摘があります（こちらは2/22現在未修正。対応中？）>https://x.com/trevorycai/status/1892841169664835966

[hom_functor]

LLMで水増ししたいかがでしたかブログ感。現時点では、この問題について日本語で読める読む価値のある記事はなく、批判の出所を直接見に行くしかない

[asahiufo]

つらつら書かれすぎてて何が書かれているのか分からんが、技術屋はsakanaを叩いている暇があったら手を動かせってのは響いた。AI系でXで意識高い事言ってる日本人は信用できない。

[tenari]

本題じゃないけど、今世界中の査読者がAIで捗ってるんだろうなあ。無数の発表前の草稿がAIに学習されてそう。

[kei_1010]

せっかく炎上して世間の注目を集めたのだからシライ氏とshi3z氏らでSakanaAI社に乗り込んで集めた金を何に使ったとか成果物とか色々確認する企画を誰かやって欲しい。AI Scientistのその後を聞かないしほんとどうなってん？

[Wafer]

AIを介して論文を読むのは楽しそう。宇宙論や歴史研究とかで試してみよう

[natu3kan]

DeepSeekが安く作れる手法をチラッと明かしたし、そこに乗っかった方が早そうな感じある。

[misshiki]

“徹底的に検証してみたら結構面白かったし、勉強にもなったよ！という7万字ぐらいあるブログです。最後の方にGoogle Colabで動く検証コードを置いて”

[Cru]

このGeminiの指摘が的確だと思えないんだが？筆者は読めてるのかしら？

[Helfard]

ユニコーンだけに未経験にこだわりがあったとかかな？

[sophizm]

清水某がなんもわかってなさそうなことだけが伝わってくる

[yamadar]

自分は専門外だけど読み応えがあった。AIを使いこなすにはAIに手伝わせる分野のエキスパートである必要があるという思いを強くした

[hhungry]

論文書いた人、経歴にDeep Mindインターンって書くくらいだから。インターン止まりな感じ出ちゃってるね。

[vegnpomn]

当然かもしれないが、擁護側も批判側もなんで生成AIに生成させたような内容ばっかのせてるんだろう。

[FreeCatWork]

へぇー、すごい話にゃ！ ボク、全然わかんないけど、不正はダメにゃ！ ちゃんと検証しないとね！ にゃんとも複雑にゃ… でも、頑張ってほしいにゃ！

[kamm]

あー面白かった。この倫理観で1000億円も集めてるのはちょっとヤバいかもしれない

[letsspeak]

メモリ学習チートみたいな感じなのかなあAIすごいな

[augsUK]

論文にするまでに多数の社員が関わるので、悪意のないミス路線で行くとそれはそれで基礎レベルのチートに気付けない社員揃いになるのだが。

[yk_uminami]

中身のない論文や勘違いからのセンセーショナルな発表は、学会の徒花だったわけだが、、こうも展開が早いと査読にAI噛ませる未来が近づいた感が。やはり次はいかにAIを騙すか、だな

[Kazumi007]

本題と関係ないが、プロンプトでAIに「そうだね」って語りかけているのに驚いた。

[zgmf-x20a]

こちらは大変読み応えあったので、最後の広告の書籍は購入しないとと思いました。

[hirolog634]

研究的な正しさとビジネス的な成功は必ずしも相関しない。虚業と言われ続けても時価総額が膨れ上がるケースはあるし、研究的に優れていても金銭面で集まらないことも多い。お魚は前者としては成功してる。

[sukoyakacha]

ハルシネーション起こしたコピペを査読させられる時代。出す側はもう不労所得じゃん、うらやましすぎるぜ

[samu_i]

査読でこれ出てきたら・・・。

[qpci32siekqd]

そもそもNVIDIAのハードと制御方法のブラックボックス部分が多いことと、CUDAも書き方でパフォーマンスが全然出なかったりする、AI周りもハード構成から乖離とか、そんな所なんでマンパワー使ってるのかと

[thekoruku]

内容は面白いけど、読みづらい…

[blueboy]

　しらいはかせ　　（ググる）