バイナリ検索は2つの凸関数の勾配降下よりも速く収束しますか?

ここには、2つの関数があり、$ E_0 $と$ E_1
$と呼ぶことができます。関数は両方とも凸であり、基本的には次のようになります。

enter image description here

今、私は$ epsilon $を交差点$ C ^ * $に近づけることを目指しています。つまり、最も速く収束します。

ここには2つの方法があります。

1) Binary search: Let’s say I know $C^*$ lies in $[0,M]$ for a
constant $M$, then I can start with $mid=frac{M}{2}$, and see if
$E_0(mid)>E_1(mid)$, if thats the case then I know that $C^*$ is
to my left and I update the region to $[0,mid]$, and I do the
opposite if $E_0(mid)

2) Gradient Descent. I can start with any initial guess $x_0$. I
take the tangent lines $y_0, y_1$ which are tangents to $E_0, E_1$
respectively at $x_0$. I then see where they intersect, say $(x_1,
y_1)$ and update my guess to now by at $x=x_1$. This would clearly
converge since the intersection of the tangent lines would always
be pointing towards $C^*$. However, how fast would this be?

Would the binary search be faster in this case, or the gradient
descent?

ベストアンサー
申し訳ありませんが、適切な答えはありません

返信を残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です