適切なPAC学習VCの次元範囲

VCディメンション$ d $を持つ概念クラス$ mathcal {C} $では、$ O left( frac {d}
{ varepsilon} log frac {1} { varepsilon}
right)$ラベルのある例をPACに教える$ mathcal {C}
$。これらの多くのサンプルを使用するPAC学習アルゴリズムが適切かどうかはわかりません。
KearnsとVaziraniの教科書、AnthonyとBiggsの教科書では、PAC学習アルゴリズムが不適切であるように見える(すなわち、出力仮説は$
mathcal {C} $にはない)

  1. 適切なPAC学習設定についても同様の上限が保持されているかどうかを明確にすることはできますか?もしそうなら、これが明示的に言及され、自己完結した証拠が含まれている参照を私に与えることができますか?

  2. 最近、Hannekeは$ log(1/
    varepsilon)$要因を取り除くことでこの限界を改善しました。適切なPAC学習設定のために$ log(1/
    varepsilon)$がリムーバブルであることが分かっていれば誰かが明らかにできますか?それとも未だオープンな質問ですか?

ベストアンサー

あなたの質問(1)と(2)は関連しています。まず、適切なPAC学習について話しましょう。ゼロサンプルエラーを達成する適切なPAC学習者がいて、$
omega( frac {d} {ε} log frac1 ε)$
examplesが必要であることが知られています。 $ epsilon $依存性の単純な証明のために、一様分布の区間$ [a、b]
subseteq [0,1] $の概念クラスを考えてみましょう。 一貫した最小間隔を選択すると、$
O(1/ε)$という複雑なサンプルが実際に得られます。しかし、一貫した一貫性のある区間を選択し、目標コンセプトは$
[0,0] $などの点間隔であるとします。単純なクーポン・コレクターの議論は、$ frac {1} {ε} log
frac1 epsilon $
examplesを受け取っていなければ、否定的な例の間のスペースで騙されてしまうことを示しています$ 1/$
[標本サイズ]の特徴的な振る舞いを一様分布で持つ、このタイプのより一般的な下限は、

P. Auer, R. Ortner. A new PAC bound for intersection-closed
concept classes. Machine Learning 66(2-3): 151-163 (2007) http://personal.unileoben.ac.at/rortner/Pubs/PAC-intclosed.pdf

適切なPACについての事柄は、抽象的な場合の肯定的な結果のために、「ラベルされたサンプルと一致する概念を見つける」というERMを超えるアルゴリズムを特定することができないことである。間隔などの追加の構造がある場合は、上記のように2つの異なるERMアルゴリズムを調べることができます。そして、これらは異なるサンプルの複雑さを持っています!

不適切なPACのパワーは、さまざまな投票方式(Hanneke’sはそのような結果です)を設計することです。この追加構造によって、改善された料金を証明することができます。
(ストーリーは、無関係なPACの方がシンプルです。ERMは、可能な限り最悪のケースで、定数までです。

編集する。今、私には、1つの包含グラフ予測戦略の D. Haussler、N. Littlestone、M.d
K.Warmuth。 {0,1}関数をランダムに描かれた点で予測する。 Inf。計算。 115(2):248-292(1994)
普遍的な$ O(d/ε)$ PAC学習者のための自然な候補かもしれません。

返信を残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です