ユニバーサル近似 – ReLUsは差別的ですか?

Universal Approximation Theorem(UAT)の Cybenkoのエレガントな証拠で、彼は単一の隠れた層の神経ネットワーク(線形出力層を持つ)は、それらの起動関数が(彼が呼んでいる)差別的であるときはいつでも汎用近似子です。彼はその後、有界の測定可能なシグモイド関数が差別的であることを示し、証明を完成させる。特に、連続的なS字関数も同様に機能する。

後で Leshno et
al。
は、局所的に区分された区分的連続(lbpc)活性化関数がUATそれらが非多項式である場合に限る。

My Question(s):

どのような機能が差別的ですか?多項式は確かに(Leshnoら)ではなく、連続的なシグモイド(Cybenko)である。
ReLUsは差別的ですか?

一緒に、上記の結果はl.b.pc.c.差別的でないことは非多項式を意味する。逆のことは本当ですか?

ベストアンサー

I think ReLUs does not satisfy Cybenko theory requirements, i.e.
are unbounded. There is another recent paper showing UAT type
theorem for ReLU feed forward deep networks using wavelet
approximation property https://arxiv.org/abs/1509.07385

返信を残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です