AIの成果物を、人類がレビューしない時代がくるのではないか？｜深津 貴之 (fladdict)

小学生に複雑に見えることが、中学生にはシンプルに見える。中学生が頭を抱えていたことも、高校生になると「なんでこれで悩んでたんだろう」に変わる。 この構図を、そのまま先まで延ばしてみる。すると、ちょっと不穏な未来が見えてくる。 「人間に複雑すぎるものも、実は超知性にはシンプルに見えるのではないか」 仮にそうだとすると、Keep it simple, stupid という原則も別の顔を見せ始める。 ここでいう「シンプル」は、コード行数が少ないとか、人間に説明しやすいという意味ではない。ある目的に対して、例外が少なく、状態遷移が安定し、探索空間が小さいという意味でのシンプルさだ。 将来の超AIにとっての「シンプル」は、人類には複雑すぎて、もう手に負えない。 SFっぽい話に聞こえるだろうか。でも僕は、これはかなり実務寄りの論点だと思っている。なぜなら、この話は最終的に「AIが書いたものを人間がどこ

[Falky]

めちゃくちゃ周回遅れで特に新奇性のない話でした

[nakex1]

日常的なレビューは回らなくなるだろうが，AIがズル（それらしい出力になるよう偽装したり，ルールをいつのまにか無視したり）してないか，人間に仕事を任せるときと同様，定期的に中を見る「監査」は必要だろうなあ

[number917]

コンパイラは正確でハルシネーションなんてしないんだけどなｗ＞コンパイラと比較してるブコメ

[hasiduki]

俺はこの人をchatgptの発明者だと思ってた！！！！！！！！！OpenAIの中の人だと思ってた！！！！！！！！！！

[strawberryhunter]

私はすでにというか、ほぼ最初から要件を満たしているかとか、そういう部分しか見ていない。それで大丈夫なようにするのがエンジニアリングだと思ってたんだが。

[hepoko_ks]

麻酔が何故効くのか人類は解明していないが、頻繁に使っている。原理は解明できないが、振る舞いは検証・制御できていて、科学技術として受け入れられていることは無数にある。AIがその仲間入りしただけで古い議論

[WildWideWeb]

先陣を切った人達は最初からその見通しで舵を切ったんだと思ってた(後は野となれ山となれ的な開き直りにせよ、震える手でボタン押すことにしたにせよ)。もっと高次元な位置で、改めて噛み締めてるんですかね。

[ajiadvg]

AI以前からある話であんま真新しさがないような。ほとんどの開発者はコンパイラの中身なんてレビューしてないし単純な入力と出力しか検証してないのと同じ。AIもコンパイラみたいなただの便利な関数と見なしてるだけ

[T-norf]

確率的生成も、複雑度が低いと99.9999%とかになって、少しAI同士でクロスチェックすれば、人間より間違えずにコーディング＆レビューしてくれる未来は案外近いかもで、まずはMythosとやらの性能を見てみたい

[auto_chan]

もしかしたら人類は馬を使わなくなる時代が来るのではないか？ムーブメント。いずれAIが人間をぶっちぎっていくのでこの議論で楽しめるのも今のうちだな～。計算資源の壁や世界大戦にぶち当たって停滞しなければ……

[kei_1010]

俺はとっくにレビューしてないよ。自分専用アプリしか作ってないからだけど、コードなんて一瞥すらしてない。でもAIは何もわかってないのに何故か知的な振る舞いをしてる存在だと実感する。超AI？(笑)って感じ。

[hinonono]

来るし、来ないよ。手続き型言語でプロセスを書いて結果は演繹させることも、SQL言語で結果を書いて手続きは推論させることもあるように、レビューありとレビューなしの手札も両方持つんだよ

[shields-pikes]

人間の生成物は、人間の認知能力の制約を受け過ぎているんですよね。一般的な人間は、複雑なものを複雑なまま理解できない。 詳しく書いた。　https://x.com/shields_pikes/status/2060136176301092901?s=46

[shoh8]

“透明性を取ると遅くなり、速度を取るとブラックボックスになる” 42です。意味は超知性が知ってます

[green_chili]

『飛行機の空力計算をすべて逐次レビューしているわけではない。・・超AIシステムでも同じだ。人間が握るべきなのは、内部の全手順ではなく、境界条件、評価軸、停止条件、責任分界である』

[ToTheEndOfTime]

面白いが、人間に追えない＝AIには簡潔、は飛躍では。不透明さと簡潔さは別物で、両者を区別する反証条件がない。理解できないものを自分の上の高みと読むのは、ただ壊れている可能性を避ける自己欺瞞にも見えます。

[Karosu]

それやったら、過学習で世代を重ねるごとに劣化する

[yanase623]

効率化そのものの意義を見失わないようにはしない 非効率でも仕事を産む、皆食いっぱぐれないようにするというのも大事だ

[mag4n]

責任問題がついて回るのでそこ次第。

[masabossa]

機械語が高速なのに人間の可読性を高めてC言語などが誕生し、その後、低速だけど可読しやすいPythonなんかが登場してる。速度より可読性つまり複数人で保守する前提の「安全性」を優先するスタンスは残るのでは？

[misshiki]

AI成果物を人間が逐次レビューする前提が崩れる可能性を論じる。重要になるのはレビュー可能性ではなく、入力・出力・境界条件・停止条件・責任分界を設計する「委任可能性」。

[deep_one]

ビートレス曰く、「人類に追いつく意思があるならそれはレッドボックスだ。なくしてしまえばブラックボックスになる」

[ssfu]

なんでこいつが有識者みたいな顔してる。あっちいけ。

[fikah]

AIの成果物の中身を気にするのなんて今だけよ。もともとオープンソースのライブラリとかろくに中身読まずに使ってたしそれと一緒でしょ

[m-kawato]

良し悪しは別として、社会のAI依存が進むとAIの出力をレビューできる人材が希少となり、ブラックボックス化に拍車をかけるという流れが必然的に発生しそうな気はする

[Phenomenon]

なるほどわかりました。それでは私が人類がレビューしない時代がくるか確かめますので、まずその「超知能」を屏風から追い出してください。

[otologie]

コンピュータ同士でほんとに言葉が通じなくなるかもな。クリエイターがマックを選んだのと同じだけど。

[manatus]

お前の文章は全然シンプルじゃないね

[dot]

人間が全ての行を1行1行丹念にレビューしたところで不具合がなくなるわけではないし、「品質」をどう捉えるかと、その「品質」をどう担保するか、ということでしかなく、AI云々が論われるのは過渡期だからとしか。

[north_korea]

個人的には、超知能が作る人智を超えた実装や設計を見てみたいと思ってる。

[mohno]

「それでも残るリスクを社会が引き受ける」←スカイネットが暴走したら、誰がどうやって責任を取るの？

[lessninn]

AIの成果物が未熟なせいで起こった最初のインシデントで社会がどう対応するかが転換点だと思う。マネフォのあれはそうなんじゃないかと思ってる。

[kazu111]

逆と見てる。安い「AI蒸留の作成物」が、生物でいう「ダーウィンの遺伝子的なモノ」になり、粗悪で競争にまみれたAI蒸留生成物が「社会で被害を出しながら野生生物みたく過酷な生存競争」し、生き延びたモノが社会に

[imomohi]

コンパイラの最適化のようになるだけなきがする。

[kompiro]

らーめん才遊記の芹沢さんがいう「「金を払う」とは仕事に責任を負わせること、「金を貰う」とは仕事に責任を負うことだ。金の介在しない仕事は絶対に無責任なものになる」がAIと人の関わりにどう影響するだろう