GPT-4などの大規模言語モデルは非常に高い性能を有していますが、各モデルがどのような思考を経て応答を出力しているのかは開発者ですら把握できていません。新たに、OpenAIが大規模言語モデルの思考を読み取る手法を開発し、GPT-4の思考を1600万個の解釈可能なパターンに分解できたことを発表しました。 Extracting Concepts from GPT-4 | OpenAI https://openai.com/index/extracting-concepts-from-gpt-4/ Scaling and evaluating sparse autoencoders https://cdn.openai.com/papers/sparse-autoencoders.pdf 一般的なソフトウェアは人間の設計に基づいて開発されているため、各機能の仕組みを理解した上で機能を修正したり安