LLMは新しい抽象化をもたらす - Martin Fowler's Bliki (ja)

この分野の声が大きい人たちと同じように、私も生成AIシステムがソフトウェア開発にどのような役割を果たすのかについて大きな関心を持っています。LLM（大規模言語モデル）の登場は、アセンブラから最初の高水準プログラミング言語への移行と同じくらい、ソフトウェア開発を大きく変えると思います。その後に開発された言語やフレームワークは、抽象化のレベルや生産性を向上させましたが、プログラミングの本質に同じレベルのインパクトを与えるものではありませんでした。しかし、LLMには最初の移行と同程度のインパクトがあると思います。しかも、単に抽象化のレベルを上げるだけでなく、「非決定的なツールでプログラミングするとはどういうことか」という問いを私たちに投げかけています。 高水準言語は、新しいレベルの抽象化をもたらしました。アセンブラを使うときには、特定のマシンの命令セットを考える必要がありました。単純な操作でさえ

[shag]

SQL も大分抽象的な言語で、実行はプランナーとオプティマイザの機嫌次第だけど、実質そんなに困ってないし Prompt の非決定性もそんなに恐れなくてもいいかもしれない。

[lyiase]

そうか、ソフトウェアエンジニア側から言うと「決定的なのが普通」で、「確率的」は「非決定的」って言うんだ。それが一番この文章で衝撃的だったかも。

[shinsyun_3771]

LLMはすべてのパラメータが同じなら必ず同じ結果を返却します。それは決定的です。決定的なものが非決定的に見えるのは,単に,LLMベンダーが乱数を与えてるからです。私はMartin Fowlerが何者であるかを知っています。

[t-wada]

Martin Fowler が LLM を語る "私たちは抽象化のレベルを上げているだけでなく、同時に非決定性という横方向にも進んでいるのです" "こうした非決定性の進化は、私たちの職業の歴史において前例のないものです" わかる

[gfx]

非決定的という意味ではLLMは「人」に近いという気はする。 / LLMには乱数がvendorから与えられてはいるけど、どのみち入力がほんの少し変わるだけで出力が大きく変わる可能性があるので、事実上の非決定性はあると思う。

[fujimakitk]

邪推で申し訳ないんだけど、「決定的」だったのは、コンパイラやインタプリタの出力（機械側の出力）の話であって、仕様やユーザー行動のことではないよ。決定的だからバグが定義できる。使用漏れとバグの違い。

[keijak]

ソースコードという決定的な土台の上に非決定的なレイヤーを積んでいるわけで、必要なら低レベルに降りて作業するのがまだ必須だけど、アセンブラと同様、これもいずれ大多数にとっては不要な技術になるのだろう

[nrtn]

もっと引いた視点だけどもユーザー側もCD-ROMから入れてたコンスタントなアプリから、いつ仕様が変わるか分からないweb（スマホ）アプリ移行したし、LLMのご機嫌で部分的挙動が変わるアプリも受け入れられるかもしれない

[d0i]

そんなこといったらGPUの計算だって非決定的だというが（確認したことはないので伝聞だけど

[ikajigoku]

非決定性の視点

[ihirokyx]

“私たちは抽象化のレベルを上げているだけでなく、同時に非決定性という横方向にも進んでいるのです”

[hom_functor]

不確実性なら分かるけど非決定的ではないだろ。非決定的に見えるのはただ乱数シードを保存してないだけ

[beejaga]

確かに要件や仕様を解釈する（アーキテクチャやコードにする)所が抽象化できるなんて数年前までは想像もできなかった／ファウラー先生がこれにどういう意味付けをするのか楽しみ

[zyzy]

要するにLLMは実質非決定的コンパイラじゃないか、って話か。まぁそもそも大半のプログラムはコンパイラかデータ整形マシンではあるが

[nomnel]

“私たちは抽象化のレベルを上げているだけでなく、同時に非決定性という横方向にも進んでいるのです。”

[strawberryhunter]

↓RDBMSのオプティマイザに機嫌があるように見えるなら理解が足りないだけではないか。／決定的にもできる。ベンチマークしたことは無いけど非決定的な出力をするように設定されているのは性能を引き出すためかな。

[yojik]

“私たちは抽象化のレベルを上げているだけでなく、同時に非決定性という横方向にも進んでいる”

[boxmanx99]

"私たちは抽象化のレベルを上げているだけでなく、同時に非決定性という横方向にも進んでいるのです"

[nabinno]

非決定的であるとは言え、その結果を許容できる領域はある。今までもあったし、今後はより意識されるようになる。

[radian19831019]

確かに新しい抽象化と考えるとワクワクするな。

[jintrick]

"LLMは非決定的な抽象化を導入しているため、プロンプトをgitに保存しても、毎回同じ振る舞いが返ってくるとは限りません。"

[dalmacija]

ベンダー乱数に帰結したい人は…あーRails民なんか嫌ってそうじゃない。離散値入力に対しTemperature0固定されていないこと自体、自然環境の中でLLMを設計するコンセプトの意義を示しているのでは。非決定性は確かに面白い

[altar]

そういえばこれだけ多くのエンジニアがコーディングにLLMを使う話を議論しているのに、temperatureを0にして運用するべき、みたいな話ってあんまり見ないな。

[tyosuke2011]

あ、そ

[FreeCatWork]

LLMは…抽象化…？ボクには猫缶の抽象化が大事なのにゃ！

[Puyosty]

“非決定的なツールでプログラミングするとはどういうことか” LLMは非決定的な抽象化を導入している

[issyurn]

ファウラー先生の言語化能力よ

[ardarim]

何か言ってるようで何も言ってなくない？

[spark7]

確かに困るな「プロンプトをgitに保存しても、毎回同じ振る舞いが返ってくるとは限りません」

[tetsuyasato]

非決定性

[gcyn]

『私たちは仕事でLLMの使い方を学びながら、こうした非決定性とうまく付き合う方法を見つけなければなりません。この変化は劇的なものです。私はワクワクしています。残念ながら失うものもあるでしょう』

[kompiro]

もともと世の中はあいまいさがあった。それを無理に枠の中に押さえ込もうとしてきたのかもしれない

[T-norf]

機械語やアセンブラしかない時代は知らないので、一番の激動。最初期のChatGPTの基盤モデルGPT-3.5は、入力トークン数は4096しかなかったんじゃよ、と孫に語る日が来るかな？