「Ms. Pac-Man」(ミズパックマン)のプレイスキルで人間が2位に転落した。Ms. Pac-Manは人工知能(AI)にとってクリアが最も困難なゲームの1つと評価されていたが、それでもAIを阻止することはできなかった。 Microsoftの「Maluuba」チーム(Microsoftが2017年に入ってから買収したカナダの深層学習スタートアップ)がMs. Pac-Manでフルスコアの99万9990点を記録した。これは、人間のプレーヤーが保持する最高スコアの4倍の数字だ。 この偉業は、「Hybrid Reward Architecture」(ハイブリッド報酬アーキテクチャ)と呼ばれる強化学習手法を使って達成された。チームは150のAIエージェントに対し、並列的に連携してMs. Pac-Manのプレイスキルを高めるよう訓練した。あるエージェントにはペレットを食べると報酬を与え、別にエージェ