1樓：純粹
提供一下集中不等式[1]的視角。
設 是可測空間 上的概率測度，關於σ有限的測度 絕對連續（例如 ）。
稱為 和 的全變差距離；易見 ，其中 是Radon-Nikodym導數。
稱為非負隨機變數 的熵，其中 是凸函式（所以熵非負）。
稱為 對 的Kullback–Leibler散度或相對熵，這裡假設 (即 關於 絕對連續)，否則有 。
Pinsker不等式.。
證明：只需考慮 的情況。令 和 ，則 。任取 ，由Gibbs變分原理【見下】可知 ，而Hoeffding引理【見下】表明 ，於是 。
[Gibbs變分原理] 設 是隨機變數，則 。
證明：記 和 ，則 是概率測度且 ，從而
當 時等號成立。
[Hoeffding引理] 設取值於 的隨機變數 滿足 ，則 ，其中 。
證明：記矩母函式為 ，令 ，則 都是 上的概率測度。記累積量生成函式為 ，則 ；求導可得 和 ，適合 。根據方差的性質【見下】可得 ，於是 ，進而 。
[方差的性質] 設隨機變數 取值於 ，則 。
證明：只需注意到 和 即可。
2樓：Song
假設是離散分布的話，設 是 的離散概率分布函式（probability mass function）。則一次正規化為
，KL為Kullback-Leibler divergence，也即熟知 ，
不失一般性，不妨 ，否則 ，結果顯然成立
令 （因為PMF的性質決定其必定大於等於0），則從而，①
② ③根據上面的不等式，可以知道
而由①可知
從而根據Cauchy不等式，
如何證明下述不等式？
貔貅 此處引入伯努利不等式 對任意正整數n，任意實數x 1，有 1 x n 1 nx。根據a，b 0，a b 2我們知道a，b 0，2 那麼 1 a 1 1，1 b 1 1接著處理如下 a a 1 a 1 a 1 a 1 a a a 1 b b 1 b 1 b 1 b 1 b b b 1 兩個不等式...
如何證明 Aczel 不等式？
張小可 我給出乙個幾何上看起來顯然的理由 用yi y代替yi,xi x代替xi,那麼可以設x y 1,X x1,x2,xn Y y1,y2,yn 在R n空間單位球裡面，設某nx2的矩陣A X,Y 此處X,Y看做列向量，考慮det A t A 利用Cauchy Binet公式,我們有 det A t...
不等式的證明
大臉阿望 第8題 第9題 方法一 冪平均不等式 利用不等式 可得 即 再利用 得 於是 綜上，證畢。方法二 柯西不等式 由柯西不等式得 即 再利用柯西不等式 可得 其餘同法一。方法三 琴生不等式 設 可以驗證其二次導數在x 0時恆正，故為凹函式，利用琴生不等式得 即 由於 在x 0時單調遞增，我們用...