自由な昼食の定理を理解する

Jurgen Schmidhuberのユニバーサルサーチに関する論文を介してNo Free Lunch
Theoremを見つけました.NFLについてのいくつかの発言がありました
私に。最初は、無限の数のオブジェクトに一様分布を定義できないということでした。第二に、Schmidhuberは、一様分布について本質的に自然なことは何もないと主張し、この点についても同意する傾向がある。

私は一様分布のために最大エントロピーの議論を知っていますが、無数のオブジェクトでは指数分布を観察するのが自然です。最適化文献によく知られている反論があるかもしれない
ユルゲンシュミッドフバーによって提起されたポイントまで?

  1. 最適な問題解決ソルバー
  2. 無料ランチ定理なし
ベストアンサー

あなたは最適化とユニバーサルサーチについて質問していますが、機械学習はタグ付けされており、「無限の離散集合上の一様分布」については疑問に思っています。
PAC学習には古典的な無フリーランチの結果があります。これは、整数上のすべてのブール関数のコンセプトクラスを自由に流通させることができないということです。意味:任意の不明な分布から$
m $以上のiidラベルのある例を要求すると、$ m = m( epsilon、 delta)$という関数は保証されません$
delta $-confidenceを持つ$
ε$の正確な分類子です。この証拠は、十分に大きいサポート・サイズにわたって一様な分布をとることによって進行します。これは、与えられたサンプル複雑度$
m( epsilon、
delta)$を阻止するのに十分な大きさです。これを言うための略記は、「整数にわたる一様な分布をとる」かもしれない。今私達はそれがばかげていることを知っています。上記の説明は、私がそれを理解するために知っている唯一の方法です(そして、無フリーランチの文脈を持つジブも)。

返信を残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です