はてなブックマーク

正直なところo1までは超知能の実現をまだあまり実感していなかった。しかし、oシリーズの進歩の速さとその性能飛躍の大きさに現実感が逆に今なくなっている。これは現実に起こっていることなのだろうか、と。 下手をしたら来年か再来年には人間のトップAI研究者に比肩するAIシステムが開発される可能性もあるのではないか・・・？と。 もうすぐ人間のできる殆どの認知タスクを凌駕するAIシステムが誕生するというのは文化的には何十年も前から語られていたことだし、今年の2024年6月に公開されたLeopold Aschennbrener氏のエッセイを読めば2027年末までにはAGIが開発される可能性があることは理解できた。 しかし、2024年の12月半ばに入って、o3が発表された時、少し目を疑った。o3がo1と比較していっきにおよそ人口換算100倍の能力をcodeforcesで会得したのだ。 Codeforces

※この記事はメモ代わりに書いているため、証拠も論拠も荒々しく引用もあまりありませんがひとまず置いておきます。 AGIは近いのか？元OpenAI SuperAlignment teamのLeopold Aschenbrenner氏が2024年6月5日にAGIは2027年末までに開発されるという衝撃的なエッセイ「Situational Awareness」を公開した。これについては少しXで解説した。 基本的には計算資源をGPT-4の数百倍から千倍かけ、アーキテクチャをトレンド通りに改善し、現実世界でエージェントになるように推論時間（思考する時間）を長くすればAGIが開発できると書かれている。 ここではあまりAGI(汎用人工知能)の定義には拘らない。 大雑把に優秀な研究者以上にさまざまな科学研究を行え、殆どすべてのリモートで実行可能なホワイトカラータスクを自動化できるAIシステムとここでは考えて

I saw the work performed by intelligence; smart was no longer a property, but an engine. 私は知性による仕事を目の当たりにした。賢さはもはや財産ではなく、エンジンだった。 (Eliezer Yudkowsky) My Naturalistic Awakening本記事は以下私が公開した「AIのもたらす深刻なリスクとその歴史的背景」の概要とAI存亡リスクに対する深層防護的な対策、QA（AIが何故存亡リスクを導くか等）、関連資料を抜き出したものです。 詳細は以下のGoogle Docsから参照ください。 概要私たちが今いる21世紀は過去人類が体験したことのないような技術の発展の最中にあるかもしれず、特に近いうちに高度なAIが開発され、様々な意味で劇的に世界が変わる可能性があります。 その一方で今世紀に人類が

上記和訳は3時間超えの動画の書き起こしになっており、またDeepLによる直訳なので読みにくいと思われるため、個人的にYudkowsky氏の主張で重要だと感じたところを以下にまとめました。 意識の問題について GPT4は意識を持っているかどうか、恐らくないだろうが、誰にもわからない。少し心配になっている。ニューラルネットワークの中で何が起こっているかを理解するには何十年もかかるだろう。 AGIについて 今まではTransformerを積層させるだけではAGIにはいかないと考えていた。いくつかの技術的ブレイクスルーが重なって能力が向上すると考えていたが、今では展開が全く違い、なんとも言えない。ニューラルネットワークでAGI自体は実現可能だと考えている。 オープンソース オープンソースは単に人類が生き残ることのできる時間を短くするようなもの。アライメントに時間を割く時間がないままAIが世界に放た

とりあえず僕(TwitterID @bioshok3)がAIトレンド（現状から長期まで）を追うのに参考にしている人やサイトを随時ここに書いていきます。 （※個人的に追っている方orリンクなので情報の正確性は保証しません。それと分類も主観的なものです。） AI論文系発信