Neural Networks Are Already Clean

The cause of polysemanticity in early model organisms wasn’t superposition, but several ordinary, mostly fixable issues. We can now understand most neurons in models up to trillions of parameters, and think the outlook for mechanistic interpretability may be far better than we thought. Nick Cammarata · Goodfire A working hypothesis · 65-minute read · Text version · Prior work ↓ Includes language n

[phain]

中身が「ぐちゃぐちゃに絡まっていて理解不能」だったわけではなく、かなり構造化されていて読みやすい部分が多いらしい。

[nguyen-oi]

重ね合わせ仮説への反論としてめちゃくちゃ面白い。モデル内部の解釈性が一気に進みそう

[stealthinu]

つまり「おばあさん細胞」仮説が正しそうと。その細胞死んでもおばあさんが認識できるのはたぶん2番手3番手がいて冗長性保たれてるからなんだろう。どの細胞発火したかログあれば説明性の担保可能そう。