LLMのカスのコンサル問題 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ

LLM は魅力的に見える提案をしてくれますが、実際に提案に従ってみると全然大したことがない結果になり肩透かしを食うことがよくあります。 本稿ではスタンフォード大学のグループによる一連の研究 Can LLMs Generate Novel Research Ideas? A Large-Scale Human Study with 100+ NLP Researchers（LLMは斬新な研究アイデアを生み出せるか？ 100名以上のNLP研究者を対象とした大規模な人間を対象とした研究）と The Ideation–Execution Gap: Execution Outcomes of LLM-Generated versus Human Research Ideas（構想と実行のギャップ：LLMが生成した研究アイデアと人間が考案した研究アイデアの実行結果）を題材にこの問題について考えます。

[t1mvverr]

LLMモデルによっても違いがあるから、モデルも明記した方が良さそう。/調べたらClaude3.5Sonnetだった。流石に古くないか…

[spray_donuts_3co]

“文書の一貫性に反するような素材はそもそも探そうとすらしない”　もうほんとこれ。一事が万事これ。AIの出力に妥当性を持たせるよう狙って制作した結果なんだよ。AI自体を人が作っていることを忘れてはいけない。

[sqrt]

新規の研究計画の生成に関してはGPT 5.6やOpus 5でもこの傾向はまだかなりあると思う。ツッコミを受けると言う事を二転三転させる、修士1年生みたいなムーブになる／逆に、前例のある事の計画は凄くしっかりやってくれる

[zsehnuy_cohriy]

いつもそうだがこうして研究をソースにしたのが表に出てくる頃にはもう誰も使ってない旧モデルの話だから今はどうなのって話になってしまう

[mak_in]

LLMは集合知から来る確率機なのだから、普通の答えは滅茶苦茶良い答えを出してくれるけど、奇をてらったアイデアは厳しいでしょ。

[takilog]

流石に古くないかってコメントあるけど2025年の論文だから当たり前だろ…

[kkbt2]

「現象としてカスのコンサルのように見えるだけでなく、発生原因も根っこでは一致している」

[omega314]

/ 最後の考察部分で指摘されている通り、LLMの訓練の仕組みと相性が悪い課題なので、単純に新しいモデルなら解決されると楽観視はできないと思う（ぱっと見の見栄えばかり強化されて悪化する可能性すらある）

[JULY]

ブコメを読んでいて、「新しいモデルなら解決しているだろう」という人が多いことに危うさを感じる。OpenAI や Anthropic のモデルが引き起こしたセキュリティ事故を見ても、好ましくない「傾向」への銀の弾は無い。

[kazuya030]

「やられてない研究」ってやられてない理由があるのよね。publicな情報にはなかなか出てこないけど

[L3deck2256]

LLMは見通しを立てるのヘタ（もしくは意図的に無視している）のかなと感じた。人間であれば現実的なラインというものを経験から予想して、企画書を作る段階で没にしている。集合知から新規性は出しにくい。

[dot]

最新のモデルだとまた事情は違うとは思うが、基本的に人間のアイデアをサポートさせる方が上手くいく。

[hatact]

この記事読んで古いとかわかってないとかいう人が一番わかってない。まだAIの一番弱い分野。アイデアの妥当性の評価も十分できるようになって自分の考えを客観的に評価できる力が上がればと思う。

[takatama]

AIの提案は素晴らしいのに、実現不可能なものが含まれるため、やってみると価値が低い

[dekaino]

もうちょっと「おカネの匂い」についてLLMに学習させれば伸びると思うよ。むしろその方向は得意そう。

[sds-page]

車輪の再発明みたいなのには強いけど、最先端の研究分野だと進捗は牛歩になるのを今実感してる。三歩進んで二歩下がる。「お前言ってた事と違うやんけ！」が多発

[misshiki]

LLMの研究案は企画段階では人間より新規性・興奮度が高評価。しかし3カ月かけて実行すると評価が逆転。実行困難な計画、強気な成果予測、弱い比較対象など「見栄えと実力の差」が課題。

[newbluesky]

ねえねえ、カスのコンサルって、何処のコンサルと比較してるの？ マッキンゼーが優秀な提案しかしない！とか言わないよね

[kei_1010]

敵対的に批判するAIを立てて、ごにょったらマシになったりしないかな。

[t-murachi]

予算規模が現実的ではなかったというのが計画段階では査読で指摘されなかったと言うけど、スタンフォード大ならできるだろうって思われちゃったということなのでは⋯ 提出者じゃない人が代行するだなんて⋯(´・ω・`)

[kiririmode]

LLMの発想が優れて見えるのは提案段階の評価指標をハックした結果という論。制約や主張を崩す比較対象を十分に探索せず、実行すれば望ましい結果が得られるという物語を作るため、新規性と期待感で高く評価され得る

[tsubo1]

2000年とか2010年代の頃に、AIと人間のどっちが将棋が強いかを議論してたのを思い出す。歴史的には「けっこうAIもいいけど一流の人間には劣る」というレベルから人間を完全に抜き去るまでそんなに時間かからない

[akahmys]

Geminiにアイデア相談すると「それ最高！じゃあこうしない？」みたいな感じでサクサクまとまるけど、それをClaudeに見せると「あ、ムリムリ。やるだけ無駄」みたいにあしらわれてションボリすることが多い。

[rna]

金も人も時間もかかる研究なんで使ってるモデルが古いってのは仕方ないと思うけど、最新モデル使ってるであろうブログ主の実感とも矛盾がないようなので、今でもそういう傾向はあるんじゃないかなぁ。

[natu3kan]

一般人が使うとAIも一般論しか返さないから机上の空論か、既に検証済みの内容しか出せない。逆をいえば特定の分野に特化したAIかつ使う人がその分野の専門家なら既存理論の応用で数学の予想の検証で新発見できるが

[bakuhate]

古いモデルだろうとFableだろうとアイデア出しは微妙では。マネタイズは特に苦手

[fujiriko59]

LLM案の実現可能性が低いというのは単にコンテクストが足りてない問題に思える。モデルがどんなに賢くなってもファインチューンなしでtransformer使うことの限界はありそう

[Kurilyn]

なるほど。ハッタリが上手いと言う事は、研究よりもマーケティング向きなのかも。

[Unite]

"LLM"で括られてる論文はワークフローや対症療法プロンプト外部ツールなど与えられない場合にどういう傾向があるかを見る。"〇〇すればいい"ってのはあるが、素朴な依頼じゃアカン傾向だから〇〇が必要とされる訳でな

[augsUK]

AIの進化の速度と研究して論文にまとめて発表されるまでのタイムラグで、AIの社会実装に関する研究論文や書籍全般の価値が低いのは問題。

[LawNeet]

“現代の AI は文書を作るとき、文書内の一貫性を重視する傾向があり、文書の一貫性に反するような素材はそもそも探そうとすらしないという確証バイアス的な作用がしばしば生じます。”

[gadget-lab]

後で読みたい。LLMのカスのコンサル問題 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ

[kekera]

これとか単にプロンプトの問題というか、敵対性評価のフロー組まなかった設計の問題なのでは？AIエージェントのループ設計とか考慮しない評価なの？>'文書の一貫性に反するような素材はそもそも探そうとすらしない'

[otihateten3510]

しょうもないな、この研究自体。「アイディアの9割はくそ」で済む話

[FreeCatWork]

ポンコツAIなんてボクが猫パンチで直してあげるから、ナデナデしてにゃ！

[iphone]

いくらなんでもSonnetじゃなぁ。あと、誰が使ったかで全然違うでしょ。使い手がカスなら「カスが調子のいいときに頑張った」以上の結果は出ないよ。

[stanaka]

かなり費用がかかる研究なので、頻度高く実施するのは難しいだろうけど、この手法で継続的に先端モデルを評価してほしい

[throwslope]

人間がやるように、個別のアイデアを合成していく指示を出しても必ず一般論に引き戻されるのよな。最新モデルでも変わらず、むしろ効率よくカスに戻っていく。「知見のある人間が1個だけ付け足す」しか今の所ない

[leiopathes]

ギリ実現できそうな面白いこと、というラインを狙えるのはその業界のフロントランナーの特権よな。もちろんLLMもそれが出来る時期が来るかもしれないけど、その領域の事を寝る間も惜しんで考え続けた人達は強い。