OpenAI o3は，人間とは全く異質の汎用知能である危険性【東大解説】｜神楽坂やちま

追記1：チップをお送りいただいたかたがた，ありがとうございます！ 追記2： このような話題に興味があるかたへ…関連するコミュニティはこちら↓ 非専門家向け：https://discord.gg/shingiyurariteisaba-1125096939344625684 専門家向け（分野問わず）：https://www.aialign.net/contact OpenAI o3は，人間とは全く異質の汎用知能である恐れがある． 競技プログラミングCodeforcesで，人類に混じってo3が全世界175位となったのはすさまじい． ガチの数学者たちが全力で作ったベンチマークFrontierMathで，o1-previewでも2%しか正解しなかったところが，o3では25%も正解してしまった． しかし，一番の問題はそこではない． 全く別次元のところにある． ARC-AGIというベンチマークだ． o

[kagerouttepaso]

人間の手先より器用な加工機を作ることで工業化がなされたわけだし、人間より優秀な知能を作ることで次世代の産業が生み出されるのは人間社会の営みだと思う。

[minamishinji]

人間とはまったく異質なのはそうだろうね。それが危険かどうかは不明だけど、危険である可能性はあるんだろうね。 / 東大解説ってなんだよ…

[MIZ]

クラッキングに特化したAIとか、各国がしのぎを削ってそう。あーやだやだ。

[hogetax]

もっと良いタイトルをつけてほしかった。「人間とは全く異質」「汎用知能」「危険性」はどれもふんわりしすぎだけど、記事自体は新しい技術の評価と評価方法の紹介で、面白かった。

[takeda25]

超知能は現状では問題ないんだけど、いつか「人間の」愉快犯が超知能に目的とか実行権限とかを付与したときにどうなるかというのが心配なんだよね。その愉快犯は一人でもいたら十分なわけで。

[hate_flag]

AlphaGOの登場で人類（のうち碁を打つ奴ら）は「いままで我々は囲碁の一部分しか理解してなかった」ってことを実感したんだよね。これはあらゆる局面にも同じことが言えるのではないか

[klear]

東大解説、って自分で書いてて恥ずかしくないのかな/兵器として優秀かもしれないから危険ってことだよね。それはそう。攻撃知能と防御知能が通信空間で戦争するようになる。でもそれは異質だからというわけでもない

[neet_modi_ki]

危険性というのは、スカイネットみたくAIが自我に目覚めて人類に反乱を、というのではく、悪意を持った人間にハッキングなどに利用されるという意味あい？

[preciar]

いやー、ワクワクするよね。人類と異なる知性体が我々の隣人となるとき、社会はどう変わっていくのか／あっさり滅びたりしなければな、生体知能と人工知能のハイブリッド社会が生まれる

[ranobe]

「神林長平ワールドくるかも！」「……やめておいたほうがいいかも」

[enderuku]

ある日突然大気素粒子のヒモの揺らぎを利用して空気をLAN回線化して原発にアクセスしアップデートします。とかやり出したりして。これは荒唐無稽な例だけど人間が想定しなかった人間のための改善を善意にやる不安

[misshiki]

“ARC-AGIとは大雑把に言うと，人間には簡単だが，従来のAIが無理矢理解くことはほぼ不可能なベンチマークである．”

[System]

物語的に考えても、知性が異質である場合に問題となるのは人間側がその出力を理解できないことだよなぁ。人間の入力に対して何かを行ってるという場合でも、その目的を見抜けないということがあり得る。

[bonoumamire]

【東大ポエム】

[nuara]

翻訳とかコードとかはもうAIに任せようや。たぶん、人間に残される知的タスクは、かけ離れた概念を組み合わせて新しい意味を創出する作業。今は要らん子にされてる文学部が最後に残るかもよ。

[zyzy]

これ例えば物理学の未解決問題を上手く解いてくれても、人間様が理解できずに放り捨てられるか、そもそも人間にはもうこれ以上物理学を発展させられない事が証明されるかしてしまうんかね？

[orisaku]

東大解説

[urtz]

AIが賢くなっていく事に疑いは無い。だが実際の実務をリアルタイムに解釈し、視覚情報から状況を把握し、世の中の流れと連動し、物事を進め続けていく、という普通の人間が出来るレベルとはまだかなりの開きがある

[KAN3]

AWSのキーを公開すると自動で検出されて悪用される。メルアドも自動収集され業者に悪用されている。セキュリティリスクがある状態でWebに接続すると、AIによる自動攻撃を受けるようになるかも。

[lunaphilia]

例えるなら逆立ちしてバランス取るための手の動きを歩いてると勘違いしてるみたいな話

[fourth_ukon]

SFの世界に近づきつつあるな

[ya--mada]

「東大解説」ってなんだ？

[okupro]

でもお高いんでしょう？

[theta]

人間を「攻撃」対象としたらどうなるか。世論を意のままに操れるようになるのではないか。PR会社が人力で世論を誘導するよりも、より巧妙に強力に行えるのでは。

[shields-pikes]

LLMが思考的なものを紡ぎ出す詳細過程はブラックボックスだから、AIが次のモデルへの引き継ぎメッセージを隠せる余地はいくらでもある。ユーザーへの面従腹背の精神があることは、o1-previewの思考過程開示で確認済み。

[quwachy]

uehaj　すでに中間出力は言語よりもベクトルで出した方が性能が上がることがわかっている。おまえは数字の列見せられてこれが証明ですって言われて理解できるの？

[twmw]

享受せよ人類の最後に立ち会える幸運を❤️

[yamadar]

ジャッジメント・デイ

[FunnyBunnyDizzy]

使い方次第でとても強力なAIだというのは伝わってくるし、日々実感している

[uehaj]

適当なことを。o1シリーズは、4oよりも推論過程がわかるのでより人間から見て理解しやすいし、過程でチェック可能で、かつ実際に過程でチェックしてるので、実際に安全でもある。

[kazu111]

①事実の積み重ねで「可能性」の議論を排除したAI理系分野②推測で可能性をガンガン語り合う「AI哲学分野」で一人のスター研究者を国内から作る。どの時代でも、天才哲学者はだいたい7割から8割未来を当ててくる

[Caligari]

これもaiが書いたってオチ？

[napsucks]

将棋AIも当初は「プロの棋譜から学習してるから新手は指せない」「ベクトル外挿ができないので未知局面では無力」などと言われてたがその後ほぼ一瞬で人間を抜き去った。LLMもきっとそうなるだろう。

[kuzumaji]

その危険な知能で人類みんなが遊んで仲良く楽しく暮らせる世界を作ってくれい、、なんて言ってる人類をほっぽりだして宇宙に旅立つのかもしれない

[kyopeco]

ARCのデータセットは解けないし、こんなに簡単なものも解けないからAGIでは無いというのが普通の解釈であり、変に煽るのは違うかな。

[altar]

危険すぎるからと一般人がアクセス可能な企業は自主的にデチューンし、超富裕層・米政府・中国政府は非公開のAIでwinner takes all を狙うようになり…という時代が5年か10年で来てしまうのは困るなあ。

[naoya2k]

「より難しいが，o3が解けている問題」のほうが自分にはその前に紹介されていた問題よりかなり簡単に見えた。この人からすると僕のような人間は「人間とは全く異質」で「危険」ということになるんだ。がっかり。

[propella]

AIは個人ではなく知能の集合体なので人類にとって異質で当然。対有機生命体コンタクト用ヒューマノイド・インターフェースの開発が必要。

[akanehara]

AI単体ではなく「むき出しの資本主義」とのセットが怖い