ノーフリーランチ定理（No Free Lunch theorem）とは？

連載目次 用語解説 機械学習におけるノーフリーランチ定理（No Free Lunch theorem：「無料のランチはない」定理）とは、あらゆる問題を効率よく解けるような“万能”の「教師ありの機械学習モデル」や「探索／最適化のアルゴリズム」などは存在しない（理論上、実現不可能）、ということを主張する定理である。 教師ありの機械学習モデルに対するノーフリーランチ定理は、数学者のDavid H. Wolpert氏が1996年の論文の中で提示した。また、探索／最適化のアルゴリズムに対するノーフリーランチ定理は、David H. Wolpert氏とWilliam G. Macready氏が1997年の論文で提示している（※特にこちらの論文が有名）。2000年前後には多くの研究者が、この他にもさまざまな形でノーフリーランチ定理を証明／実証している（参考：「No Free Lunch Theorems

[misshiki]

“全ての問題において優れた性能を発揮できる“万能”の「教師ありの機械学習モデル」や「探索／最適化のアルゴリズム」など（＝無料のランチ）は理論上、存在しないことを指す。”

[aont]

会社がジェネラリストを大事にするようになった結果、尖るものが何もない会社になった、ということにも言えますね。

[geopolitics]

グーグルの囲碁はこの問題に対応しようとしたのかも。裏でどのくらいのコストがかかっているか不明だからたぶんそれほど上手くいってないと思う。

[natu3kan]

軍縮やコストの都合でマルチロール機にすると、帯に短しタスキに長しでどっちつかずになるヤツだ。

[isrc]

もしアルゴリズムが、ある特定領域の問題において優れた性能を発揮しているのなら、それ以外の残り全ての問題群においては性能が低下する代償を支払う必要がある

[OkadaHiroshi]

「人間が現実に解きたいと思う諸問題」は、「全ての問題」の特定の領域のサブセットなので、NFL定理の元でも「人間が現実に解きたいと思う諸問題」に対する優れた性能を持つアルゴリズムは存在する可能性あると思う。

[daishi_n]

フリーランチは20年前だと半導体シュリンクによる性能向上が主体だったんだけど、リーク電流の増加などでマルチスレッド化やマルチプロセス化しないと性能向上しなくなったことをよく言ってたけどね