連載目次 用語解説 機械学習における次元の呪い(Curse of dimensionality)とは、次元(=ニューラルネットワークで言うと入力データとなる特徴量)の数が増えるほど、正確に一般化する(=高い精度のモデルを作る)ために必要な訓練データの量が「指数関数」的に増えてしまうことである(=呪いのようにつきまとう宿命)。 元々は、数学的な空間における呪われた現象として、数学者であるRichard E. Bellman氏(動的計画法やベルマン方程式で有名)が1957年に論文の中で言及した概念である。今では、機械学習など多数の領域で発生することが確認されている。機械学習(特にクラスタリングのk近傍法など距離を扱う手法)やディープラーニングを実践する人は、留意すべき概念である。 なぜ「次元の呪い」という現象が発生するかについて、例え話を使って直感的に説明しておこう。 「指数関数」的にデータが