次元の呪いについて再考 - HELLO CYBERNETICS

最近の機械学習はディープラーニングによって大いに発達し、様々な分野で精度の記録を更新する大躍進を起こしています。しかしその活躍も計算機の設計や多くの学習パラメータの調整にしわ寄せが行っているだけの話で、膨大な次元のデータがもたらす次元の呪いから逃れられたわけではありません。現に非常に高性能なコンピュータを使い、大量の訓練データを準備しなければほとんど性能は発揮されません。ビッグデータやIOTに代表されるように、インターネットの活用によって訓練データを集めることは容易になってきました。あとはいかにして大量のデータを処理するのかが過大だったのです。 しかし、ここでもう一度、本来高次元のデータがもたらしている次元の呪いについて再考したいと思います。計算機のパワーと様々な最適化の工夫によって隠れてはいますが、これがもたらしている影響は無視できません。 パラメータの数の爆発的増加 1次元多項式 3次

[prototechno]

高次元データの重要な変数は限られている 高次元データは局所的には滑らかに変化する