LLMとソフトウェア開発に関する考察 - Martin Fowler's Bliki (ja)

私はこれから数週間、このサイトの管理を離れる予定だ（半分は休暇、半分は仕事）。日々のルーティンから離れることを考えているうちに、LLMやAIの現状について、散漫な考えを共有したいと思った。 AIがソフトウェア開発に与える影響についての初期の調査をいくつか目にした。生産性は向上しているのか？コードの品質は上がったのか？下がったのか？などである。こうした調査の大きな問題は、LLMの使い方を考慮していない点だ。私が知る限り、LLMの使い方の大半は（主にco-pilotを使用した）「高機能なオートコンプリート」である。だが、LLMを使いこなしている私の知人たちは、オートコンプリートはあまり役立たないと考えており、LLMにソースコードのファイルの読み込みと編集を許可し、タスクを実行させるアプローチを好んでいる。LLMの使い方を無視した調査は、誤った方向へ人々を導くデータを生み出すのではないかと懸念し

[jiro_kit]

“ずっと前から「ハルシネーションはLLMのバグではなく、特徴である」と言っている。確かに特徴だと思う。LLMがやっているのはすべてハルシネーションである。その一部を我々が有用だと感じているにすぎない。”

[tacamula]

人間の思考もハルシネーションで他者とのコミュニケーションは受け取り側がスルーしたり補完して成り立ってるのかもしれない（雑

[t-wada]

Martin Fowler が LLM や AI の現状について語っている "「AIはバブルか？」もよく聞かれる。これに対して私は「もちろんバブルだ」と答える。主要な技術的進歩は経済的バブルと一緒にやってくる"

[cbkf]

今RSS見て気付いたのだけど既に話題になってたのね。8月は激務でヘトヘトだったしやむなし / 現状に対する思いはあるけど、どうあれ未来はわからないのは同意。 / 「～ その一部を我々が有用だと感じているにすぎない」

[isrc]

エージェント型のブラウザ拡張はコンセプトに致命的な欠陥があり、安全に構築することはできない

[misshiki]

“私が提案するのは、とにかく試してみることだ。少なくとも他の人が何をしているのかを把握しよう。特に具体的な使い方に注目しよう。できれば自分でも実験し、経験を共有するといいだろう。”

[kiririmode]

“エージェント型のブラウザ拡張はコンセプトに致命的な欠陥があり、安全に構築することはできない”

[vegnpomn]

Martin Fowlerの書き方的には、AIエージェントは売り物の製品の(Vibeではない)開発者にとっても、ハルシネーション対応による生産性悪化しか効果がないものではなく、生産性向上に役立つものっていうスタンスなんだろうか

[shodai]

“「信頼されていないコンテンツ」はさまざまな形で現れる。エージェントにウェブページを読み込ませたとき、そのページには攻撃者が白背景に1ptの白文字で指示を書き込んでいるかもしれない。そうすれば、LLMを騙し”

[kojikoji75]

“主要な技術的進歩は経済的バブルと一緒にやってくる。運河、鉄道、インターネット、どれもそうだった。いずれはバブルが弾け、多くの投資が無価値になることはほぼ確実にわかっている”

[strawberryhunter]

「LLMがやっているのはすべてハルシネーション」深みがある何かを示唆しているようで非常に無駄な個人の感想だろｗ　いくらマーティン・ファウラーでも、用語の定義を無視したこれを有り難がるのはどうかしてるぞ。

[ch1248]

マーチン・ファウラーじゃん。内容はかなり同意できる。

[auient]

LLMは全てハルシネーションでその一部を有用と感じるだけ。LLMには同じ質問を重ねて答えを比較すべき。数値的な答えは少なくとも3回質問してばらつきを確認する。LLMに計算させるより計算コードを生成させる方が良い。

[FreeCatWork]

ふむふむ、LLMで楽々開発できる時代が来るかにゃ？ボクも猫の手貸しちゃうにゃ！

[tetsuyasato]

我々が決定論的に計算できるものをLLMに計算させるべきではない

[thorthewind]

”ジュニアエンジニアがそんなことをしたら、すぐに人事部がやってくるだろう。”私が観測している範囲では全くそんなこと無いし、ＡＩの方ちゃんとテストするまである

[hogeaegxa]

平気で「すべてのテストはグリーンです」と言うジュニアエンジニアばっかになったらどうだろうか。結構な人はジュニア自体のレベルが現状維持ではなく、そもそもLLMを右から左するだけに劣化していくと思ってると思う

[gfx]

"LLMがやっているのはすべてハルシネーションである。その一部を我々が有用だと感じているにすぎない"

[ledsun]

“ソフトウェア工学は独特で、決定論的なマシンを扱っている。LLMは、我々が非決定論的な世界において他の工学の仲間に加わる転換点になるかもしれない。”

[jintrick]

"ハルシネーションエンジンに数値的な答えを聞く場合は、少なくとも3回は質問するべきだ。" 嫌だよ。ツールを使わせるよ俺は。