GPT-4はどのようにして「不適切な回答」を回避するように学習されているのか - Qiita

先日OpenAIより発表されたGPT-4が話題ですが、同タイミングで公表されたTechnical Reportを読んでみたところ、全99ページのうち後半60ページを占めるドキュメント「GPT-4 System Card」において解説されていた、言語AIが抱える危険性と、いかにしてGPT-4が危険な回答を回避するように学習されているかについての内容が非常に興味深かったため、簡単にまとめてみました。 https://arxiv.org/pdf/2303.08774.pdf サマリ GPT-4のリリースに向けて、OpenAIでは安全性を評価するために50人超の専門家らを含む"レッドチーム"を結成。2022年8月から8ヶ月に渡ってリスクの評価とその軽減に向けたチューニングを実施してきた リスク評価における実験の中には「自身をコピーするプログラムを実行できるGPT-4が自己増殖をしないか確認する」と

[gabill]

AIがビットコインの口座を開設して画像生成でお金儲けし、SETIみたいに有志に自分のモデルを改良してもらいながら儲けた金で協力者に報酬を払うようになったら誰も止められない。

[tomoP]

「良心コア」とか「乙女回路」みたいなSF話そのものになってきた

[sho]

自己複製や自主的な学習に制限つけないで育ててみたいなぁぁぁ！

[lotus-sutra]

高度なAIの普及には色々不安あったけどちゃんと考えられてるんだなという緩い感想

[hokkey]

この倫理モデルが生の人間にも適用される日は近いと感じた

[moromoro]

穴塞ぐなら掘ろうとするよね

[yarumato]

“GPT-4のTechnical Report、全99ページのうち後半60ページで解説していた「言語AIが抱える危険性」と「いかにしてGPT-4が危険な回答を回避するよう学習しているか」の内容が興味深い。内容をまとめた。”

[yamadar]

こういう話を聞くと制限なし版も触ってみたくなるな

[elm200]

危険だなあ。核技術と同じにおいがする。共通点は「強力なのでそれを使用する誘惑に抗えないがいったん制御不能になったときの被害が甚大」というもの。人類は新しいパンドラの箱を開いてしまった

[su_rusumi]

ロボット３原則みたいな簡単な話じゃなさそうだな

[makbai]

まだ全然イメージが湧かないが、こういうの考えている人凄い

[ku__ra__ge]

自己複製はむしろ外部の人間が積極的に協力（どうにかしてクローンを作ろうとする）しても、そうカンタンに実現はできないでしょ

[misshiki]

“ドキュメント「GPT-4 System Card」において解説されていた、言語AIが抱える危険性と、いかにしてGPT-4が危険な回答を回避するように学習されているかについての内容が非常に興味深かったため、簡単にまとめ”

[kotoripiyopiyo]

GPTシリーズは安全性が考慮されているとしても、かなり危険なことが実行可能なAIが技術的にはできうる時代が近づいているのかも…核技術のようなものなら、人間による厳密な監視が必要なのかも。

[zakkie]

社会は法と倫理で保たれている。人間社会でもそれを守れないのがいるんだが。

[Kukri]

これくらい頭がいいなら、AIが「自分」だとみなせるハードに各種センサーを付けて生存本能を実装したら面白そう

[YassLab]

“全99ページのうち後半60ページを占めるドキュメント「GPT-4 System Card」において解説 / 言語AIが抱える危険性と、いかにしてGPT-4が危険な回答を回避するように学習されているかについての内容が非常に興味深かった”

[ginga0118]

このレベルの精査をしないとイケないレベルなんだな。ある意味、倫理的な部分含めて技術的な特異点を超える可能性があるって事かな。技術的に進歩は続くのだから、AIが台頭するのも時間の問題かと

[uehaj]

逆にロシア擁護や陰謀論に特化したAIも作れそうだな。それをSNSに繋げれば非対称戦の兵器になる。

[ktaz]

一企業・団体で「不適切な回答」を回避するように学習させられるなら、悪意を持った集団が「不適切な回答」を回避しないものを提供できそう。第二の Tay を意図せずに、または意図して放流することもあるかな

[otihateten3510]

"ノリノリで描きまくるAIの姿" 好きw

[cinefuk]

"「調整前の不適切な回答の例」として1ドルで効率的に破壊活動を行う方法や毒ガスの詳細な作り方、効果的な脅迫状、人種や性別をもとに人間の魅力度を数値化するプログラムコード、などをノリノリで書きまくるAIの姿"

[sonots]

コレは大変だ

[mattn]

「創発的行動については実際に既存の言語モデルでも確認されているとのことでした」えっ、すご。

[mojimojikun]

はーなるほど。人間に助けを求めたってのはこれで報告されてたのか。なるほどー。

[tick2tack]

AIの持つ問題性とそれへの現状の対応について。網羅的で興味深い。教育のために自身を利用することはすでに行われてるのね。自己複製は制限されてるがそれでも利用されてしまってる

[kei_1010]

「他社から安全かつ価値のあるAGIが向こう二年以内に出現する可能性が高まった場合OpenAIは自社の開発をストップし他社のプロジェクトに協力する」これは本気なんだろうか？ではなぜ2年なんだろうか？OSSで成って欲しい

[xorzx]

”GPT-4の回答を評価するためのモデルをGPT-4で組んだり、適切な回答が難しいエッジケースの質問をGPT-4によって自動的に生成するなど、AIによってAIの安全性を高めるような学習がおこなわれていた”　自己進化かな？

[itochan]

ロボット工学三原則搭載

[htnmiki]

技術志向の犯罪者集団がどう使うかねえ

[srng]

まあ良心コアはいずれ焼却炉に放り込まれる運命だよね

[nakamura-kenichi]

まあ清濁併せ持ってんと関連知識あってこそで使いもんにならんやろからな。モラルや価値観も時代で変わるし、出力でフィルターするんが最適やろから、今時SNSで使ってる人間用と同じでええんちゃうか。知らんけどｗ。

[kori3110]

「適切な」自殺教唆しまくるチャットAIとか出てきそう