エントロピー(多分シャノンエントロピーやその他の連続エントロピー)のアイデアを機能解析の話題に使う

私は理論的なコンピュータ科学の詳細な背景のない電気技術者です。エントロピーや情報理論の他の枝(圧縮などに適用されるような)の概念は、工学における特定の数学的問題を解決するために使用できると仮定しているので、私はここに掲載しています。 バックグラウンド 以下のプロットは、複雑な物理システムのシミュレーションによって生成されたものです。 縮小されたモデリングの目的のために、私は任意の与えられたタイムスナップショット$ t $において、空間における以下の区分関数$ x [0,185] $を超えて定義された$ f(x)$を近似したい。 $$ f(x) =cases{a_2 coshleft(left(frac{x}{185}right)^3

もっと読む

エントロピー的に安全な暗号化アルゴリズムを低エントロピーメッセージに使用することができます

ワン・タイム・パッドが示すシャノンの「完璧なセキュリティ」のような情報理論的なセキュリティの概念が存在する。しかし、完璧なセキュリティを実現するすべての方法には長いキーが必要です。セキュリティの概念を「不可能」から「破るまでに指数関数的に長くする」と弱めると、他の結果が得られます。 短い鍵で無限の敵を欺く方法 Russel Wangは、小さな対称鍵を使用して高いエントロピーメッセージを暗号化する方法を示しています。敵がメッセージについて何かを決定するために指数関数的なステップを実行しなければならないと安全に結論づける&#x

もっと読む

分散と相互情報の関係

X、Y in mathbb {R} $と$ 0 leq X、Y leq 1 $のような2つの離散確率変数$ X、Y $が与えられているとすれば、$$ | text {Cov} [X 、[Y] leq sqrt { frac {1} {2} text {I} [X、Y]} |となります。 $$ This bound may be useful to my research if correct. What I have tried to do in order to prove it is the following: 1. Define the probability space $mu$ over pairs of possible values of $X$ and $Y$: $$Pr_mu [(alpha,beta)] = Pr[X = alpha text{ and } Y = beta].$$ 2. Similarly, let $eta$ be the following probability space: $$Pr_eta[(alpha,beta)] = Pr[X=alpha] Pr[Y = beta].$$ 3. It can be seen that $D_{KL} (mu ||eta) = text{I}[X,Y]$ where $D_{KL} (mu ||eta)$ is the Kullback–Leibler divergence (https://en.wikipedia.org/wiki/Kullback%E2%80%93Leibler_divergence). 4. Now, using Pinsker’s inequality (https://en.wikipedia.org/wiki/Pinsker%27s_inequality) we get that: $$delta(mu,eta) leq sqrt{frac{1}{2} D_{KL}(mu || eta)} = sqrt{frac{1}{2}text{I}[X,Y]}. $$ where $delta()$ is the total variation distance . 5. The last step I tried is to find any connection between $delta(mu,eta)$ and $|text{Cov}[X,Y]|$ – ideally $|text{Cov}[X,Y]| leq delta(mu, eta)$ – the problem is that seems like there is no such connection, I can find distribution where $|text{Cov}[X,Y]| > delta(mu, eta)$ and other distribution where the opposite holds. I strongly believe that if this claim is correct, the proof goes through Pinsker’s inequality, since it is very similar. Any advice will be appreciated. EDIT: As I was told in the comments, it holds that if $|X|, |Y| leq 1$, $|text{Cov}[X,Y]| leq delta (mu, eta)$ – the proof is in the comments. I was wrong when I thought I had a counter example. I also believe that the accepted answer below is correct. ベストアンサー 私&#x3

もっと読む

エントロピーを用いた語長:最大エントロピー基準

この質問は、 DNAのマルコフ言語モデルとその情報内容 補遺資料では、エントロピーを用いてDNA配列の語長を決定する方法を示している。単語とは、連続するDNA記号のことです。最適な語長は、異なる長さの語のうち最大のエントロピーを生成するものとして選択される。しかし、シャノンのエントロピー率を使ってカーブをプロットしたり、エントロピーを使っているのであれば、プロットから私には分かりません。これは、文章ではプロットがエントロピーであると述べているが、彼らが使用した式はエントロピー率であるためである。だから、私の質問は&#x30

もっと読む