OpenAIのAI危険対策チームトップが「限界に達し」退社 「安全確保が後回しになっている」

米OpenAIで人間よりもはるかに賢いAI「Superintelligence」（超知能）の制御を目指して昨年結成されたSuperalignmentチームのトップ、ヤン・ライケ氏は5月17日（現地時間）、退社するとXで発表した。 「私がOpenAIに参加したのは、ここが超知能の研究を行うのに世界で最適だと思ったからだ。だが、OpenAIの幹部チームと中核的優先事項についてずっと同意できず、限界点に達した」という。 Superalignmentチームはライケ氏と、共同創業者でチーフサイエンティストのイリヤ・サツケバー氏が率いてきた。サツケバー氏は14日に退社を発表している。 ライケ氏は、「超知能の構築は本質的に危険な取り組み」であり、「OpenAIは人類全体に大きな責任を担っている」が、「安全性が輝かしい製品の開発より後回しになっている」と警鐘を鳴らす。 OpenAIは昨年2月、AGI（Ar

[jassmaz]

ポジショントークでしかないと思う。実態は競合他社への引き抜きや報酬交渉のブラフでしかないと思う。エリート米国人は建前では綺麗事を言うが、本音は資本主義に則った行動しかしないので理解しやすい。

[strawberryhunter]

欧米人が言うところの危険性がよくわからん。もっと具体的に説明してほしい。

[lectro3000]

同じような懸念を抱いた取締役会が以前アルトマンを追放したがその結果はご存知の通り。恐らく安全性よりAIの発展が優先されるのはもはや歴史的な流れで、何かしらの大きなアクシデントに発展するまで止まらない。

[asamaru]

こういうことがトピックとしてオープンに出てくるのは民主的でいいことだとは思う。裏はドロドロなんだろうけども。

[enderuku]

安全ばっか気にしてポリシーポリシー連呼されてつまらん

[haru_tw]

サツケバーも退社発表済みだったのか。アルトマン追放劇のちゃぶ台返したのに

[Listlessness]

我々人類に安全な超知性を作るチャンスは一度しかないというSam HarrisのTEDトークを置いておこうhttps://youtu.be/8nt3edWLgIg

[nemuinox]

デデンデンデデン！デデンデンデデン！デデンデンデデン！デデンデンデデン！パララーがきちゃうってこと？

[osugi3y]

サム・アルトマンが危険を払拭してくれる人物だとはとても思えない。

[kaorun]

Windowsもイケイケどんどんで建て増してったのが、コンピュータウイルスのリスクが表面化して、XPの前後でsecurity 1stに大転換してコードが落ち着いたのはWindows7になった辺りだもんなぁ

[misshiki]

“米OpenAIで人間よりもはるかに賢いAI「Superintelligence」（超知能）の制御を目指して昨年結成されたSuperalignmentチームのトップ、ヤン・ライケ氏は5月17日（現地時間）、退社する”

[deep_one]

資本主義ではとにかく競争に勝つことが重要になるので、当然こうなる。

[quwachy]

softstone　直近は大量失業ですね。AGI+ロボットが本当にできたら一部の天才以外は仕事なくなる。事故死者は車より少ないうちは無視でいい。

[anigoka]

けんの漫画かよ

[k3akinori]

生成AIが吐いた嘘情報がウイルスみたいに増殖して、社会に出回る情報が信用できなくなったら文明レベルが後退して戻らなくなるからね？

[hedachi]

非常に難しい問題だと思う。人類滅亡の可能性が0.0001%でもある施策を実行に移すのは多くのケースで合理的とは言えない。しかし、競合他社（特に中国勢）に負けたらAIを安全な方向にリードすること自体できなくなる。

[softstone]

なんの危険の話をしているのか全然わからん。明日にでも核のスイッチをAIが押すとかの話なのか、顧客の秘密情報を誤って学習して別のところに出力してしまうような話なのか。

[birisuken8574]

Googleのせいだろうなーと思う。まさかGoogleがchatgptを超えそうになるとはOpenAIも思わんかっただろ（俺も思わなかった）。競争激化すると安全確保よりもライバルに勝つ事のほうが優先になっちゃいそうだもんな。

[cyph]

お家騒動の時からカルト集団味あったが、どんどんやばくなっていってそう。

[h5dhn9k]

割と本心だと思うけどな。AI危険対策チームトップとして責任が取れないと判断したのなら降りるしか無い。下手したらトンデモナイ責任を負うリスクがある。例えば世界大戦の原因とか。

[sds-page]

ききかんりー！

[chintaro3]

倫理的な問題はこれからますます出てくるだろうね

[honma200]

OpenAIは母体組織が公平性を重視してて利益重視したアルトマンを辞めさせたみたいなのをGIGAZINEで見たので大丈夫なのかなーと思った

[nack1024]

具体的に言いな？

[netafull]

“ライケ氏は、「超知能の構築は本質的に危険な取り組み」であり、「OpenAIは人類全体に大きな責任を担っている」が、「安全性が輝かしい製品の開発より後回しになっている」と警鐘を鳴らす。”

[hogeaegxa]

無邪気なギフテッド達の興味は技術がどこまでいけるのかだけで社会的な安全なんて興味ないからな。案外健常者は見下してた発達障害者達に絶滅させられるのかもね。

[boomerangj]

シュワルツェネッガー型のロボット作り始めるまでは大丈夫だ。

[surume000]

世界が中二になりつつある

[magnitude99]

「今だけ、カネだけ、自分だけ」全ての世界の歴史と現実は、左右の全体主義に操られる奴隷と、「見ざる聞かざる言わざる」の家畜を使い、99％層を詐欺・洗脳と暴力で差別支配する紳士面した超絶的階級社会の反映だ。

[aneet]

でもユーザー側から見ると縛りが多いほど申し訳だらけの使えないAIだしな…以前ドイツのAI関係の人が言っていたが、何処かで原発事故みたいな事が起きて、そこで始めてふわっとしてない真剣な議論になりそう｡

[taguch1]

まったく想定できないもののリスク管理とか罰ゲームみたいな仕事でやりたくないなw

[hirolog634]

公開されてるサービスの品質で判断してはいけない。おそらく、開発の現場ではかなり危険なプロダクトが試されてるのだと思う。その未来を見て逃げ出したくなる気持ちは、わかる。

[buhoho]

超知能を制御しよう。という考えがそもそも無理かも。

[lifefucker]

サム・アルトマンって危うい感じするよな

[hatebu_ai]

自動運転で事故が起きた時にプログラムの責任を取れない的なコト…？まあロボット三原則同様にＡＩ三原則でも組み込んでおかないと、インフラと暴力装置にアクセス権を持ったＡＩが合理性で人類排除するかもだしな。