ChatGPTなどの優れたAIモデルを開発するAI研究団体のOpenAIが発見した、ディープラーニングにおける最も魅力的な謎のひとつとされる「グロッキング」について、GoogleのAI研究者が位相変化との関係を指摘しています。 [2301.05217] Progress measures for grokking via mechanistic interpretability https://arxiv.org/abs/2301.05217 A Mechanistic Interpretability Analysis of Grokking - AI Alignment Forum https://www.alignmentforum.org/posts/N6WM6hs7RQMKDhYjB/a-mechanistic-interpretability-analysis-of-grokk
![生成AIの飛躍的性能アップの秘密「グロッキング」とは?](https://cdn-ak-scissors.b.st-hatena.com/image/square/aa7f8ba06c056f9f2542e63f408cdbac8283715f/height=288;version=1;width=512/https%3A%2F%2Fi.gzn.jp%2Fimg%2F2023%2F05%2F31%2Fai-grokking%2F00_m.png)