Google DeepMindが、人工知能の効率性と拡張性を劇的に向上させる新たなAIアーキテクチャ「PEER」を開発した。従来のTransformerモデルの限界を打破し、100万以上の「小さな専門家」を活用することで、言語モデルの性能を飛躍的に向上させる可能性を示した。この革新的な技術は、AIの未来に大きな影響を与える可能性がある。 MoEアーキテクチャを発展させ、上回る性能を示す Mixture of Experts (MoE) は、大規模な単一モデルの代わりに、複数の小さな「専門家」モジュールを使用するアーキテクチャだ。MoEは、入力データに応じて最も適切な「専門家」モジュールのみを活性化するため、モデル全体の容量を増やしながら、各推論時の計算コストを抑えることが可能という大きな特徴がある。また、専門家の数を増やすことで、モデルの総パラメータ数を増加させつつ、推論時の計算コストを抑