次元の呪い（Curse of dimensionality）とは？

連載目次 用語解説 機械学習における次元の呪い（Curse of dimensionality）とは、次元（＝ニューラルネットワークで言うと入力データとなる特徴量）の数が増えるほど、正確に一般化する（＝高い精度のモデルを作る）ために必要な訓練データの量が「指数関数」的に増えてしまうことである（＝呪いのようにつきまとう宿命）。 元々は、数学的な空間における呪われた現象として、数学者であるRichard E. Bellman氏（動的計画法やベルマン方程式で有名）が1957年に論文の中で言及した概念である。今では、機械学習など多数の領域で発生することが確認されている。機械学習（特にクラスタリングのk近傍法など距離を扱う手法）やディープラーニングを実践する人は、留意すべき概念である。 なぜ「次元の呪い」という現象が発生するかについて、例え話を使って直感的に説明しておこう。 「指数関数」的にデータが

[Sampo]

我々人類の認知の歪みも次元の呪いの結果できてしまった不正確なモデルなのではないか（理解できたふりをしようと頑張っている

[misshiki]

“特徴量などの次元が多くなるほど、必要な訓練データの量が「指数関数」的に増えてしまう現象を指す。”

[castle]

「次元（ニューラルネットワークで言うと入力データとなる特徴量）の数が増える程、正確に一般化する（＝高精度のモデルを作る）為に必要な訓練データの量が指数関数的に増え」「特徴量が多いと不要なノイズも多い」

[mather314]

実際には発生し得ない組み合わせや一つのものから複数の属性値が生成されるケースあったりもするので、単純に得られたデータをそのまま突っ込めばうまく機械学習ができるわけではないことを肝に命じる。

[chess-news]

組み合わせ爆発かな。

[quabbin]

関係ありそうなものでも、大量の軸で判断しようとすると処理が追いつかないし、組み合わせを平等にすると大きな影響を与える軸が過度に影響してしまうという話。判断要素は多いほうがいいけど、多すぎても駄目よと。

[fukuroiri]

根拠数字の正確さにこだわるのも、一定レベルを超えれば非科学的、ってことですかね。ある程度以上は勘で処理するのが正しい。細かい数字を気にするのは、アホってことです。

[tomoyarn]

“あなたは、パンに塗るための「おいしいジャム」を食べ比べしながら調査しているとしよう。”