1樓：糊鍋巴
LS是「最小二乘」，MMSE「最小均方誤差」，是兩種優化代價函式的準則，二者的理論基礎相當，主要區別是前者不使用統計量，後者使用統計量，乙個是統計意義,乙個是確定意義的。
2樓：twxtron
均值：均方誤差MSE：
二乘法LS：
其中 指樣本值， 指樣本均值， 指理論真值； 指觀測值， 指擬合值。
三者的關係：均值度量了樣本值的離散程度，MSE反映估計量與被估計量之間差異程度。當 是 的無偏估計時，均值與MSE的結果相等。
LS用於優化模型擬合觀測值。在用OLS優化模型引數時， 實際上就相當於真值，因為這時沒考慮觀測值準不準確，它只關注擬合的好不好；而 也就相當於樣本或估計量。所以OLS和MMSE的思路一致。
3樓：Ahlers
最小二乘LS是經典估計，是假設被測量是乙個未知數。
最小均方誤差MMSE是貝葉斯估計，是假設被測量是乙個隨機數，但是其分布是已知的。
4樓：Allen
看了下面這麼多解釋，真的不知道為什麼沒乙個人解釋到重點上。
MMSE 和 LS的最大區別在於！！！MMSE解決的問題是模型已知，引數未定的問題。 而 LS解決的是模型未知， 引數未定的問題！！！！！
這兩個東西就不是用來解決同一類問題的
而LS的求解過程，是個回歸的過程，也就是說，不光你要在乎cost function的大小，你還要關心你模型的好壞。 首先你自己蒙乙個函式關係，而後用實驗資料帶入自己建立的模型中，得到 x_predict，而後計算cost function的值的大小。 你完全不需要知道x的概率分布，也不需要求什麼mean。
你唯一在乎的就是你從cost function。 大就是不行，小就是牛b。
再說一遍，這兩者之間的不同的重點在於！模型是已知還是未知。 如果未知，你就要給出乙個模型，而後計算J。
通過最小化J來找引數的值。如果是已知，你就直接求mean，就直接得到來MMSE。
5樓：
以數字訊號處理為例，當觀測樣本數趨於無窮大時，以最小二乘為準則的確定性正則方程逼近以最小均方誤差為準則的維納-霍夫方程。
因此，可以這樣認為，最小二乘方法（LS）是最小均方誤差（MMSE）在有限個觀測值時的時間平均近似，或者說，當觀測樣本數趨於無窮大時，最小二乘估計將逼近最小均方誤差估計。
6樓：吼不吼
均方誤差等於方差加上偏差的平方，當估計量無偏時，均方誤差等於方差。
很顯然，當滿足最小二乘法條件時，估計量是無偏估計量，那麼此時求最小均方誤差等價於最小二乘法。
而均方誤差準則是要求方差與偏差平方之和越小越好。
7樓：
最小二乘（LS）問題是這樣一類優化問題，目標函式是若干項的平方和，每一項具有形式，具體形式如下：
minimize 式1）
但是，我們在實際優化問題中經常看到的是另一種表示形式：
式2）其中是真值，是估計值，式1和式2是一樣的，只是用的符號不同，式1中的對應式2中的，即優化中要求的變數。
作為過渡概念，LS的一種更複雜也更靈活的變形：
加權最小二乘根據實際問題考慮每個求和項的重要程度，即加權值w，如下：
均方誤差（MSE）是一種加權最小二乘，它的權值是概率
參考資料
Convex Optimization by Stephen Boyd
Least squares
8樓：Xi Yang
蟹妖。本人統計菜鳥。
最小二乘是點估計，點估計的目的是求出和給定樣本差異最小的函式引數，而最小二乘是定義、求出「差異」的乙個方法。
最小均方誤差似乎是一種區間估計的方法。
最小均方誤差估計（MMSE）和維納濾波有何區別？
SuperMHP 瀉藥，MMSE準則估計量和輸入的關係不一定是線性的，LMMSE準則估計量與輸入一定是一種線性關係。而學過訊號與系統的都知道，濾波器輸入與輸出之間滿足一種卷積關係。即輸入卷積衝激響應等於輸出。這個事情也可以理解為，每個時刻的輸出值是由一部分輸入值通過線性加權得到的。假設有一FIR濾波...
最小二乘估計需要假設誤差正態性嗎？
需不需要這個假設是看你想用最小二乘估計來做什麼，想達到什麼目的。因為這假設不影響最小二乘估計的演算法，只影響統計性質結果。如果只需要算出不偏均值和方差，不做區間估計或檢驗，有沒有這假設無所謂。但是做區間估計或檢驗的話，要看情況 大樣本，只要符合 CLT 的假設，有沒有這假設都沒問題。小樣本，資料符合...
最大似然估計和最小二乘估計，為什麼在常用分布中的估計值是一樣的？
Leastsq 普通的最小二乘估計 least squares，LS 其實不在意是否是隨機過程還是確定性過程，只要建立了量測模型後，得到了量測矩陣，即可實現估計，其最優準則是估計偏差平方和最小，即沒有利用被估計物件的任何統計特徵，比如概率分布密度函式 觀測雜訊的特性等，一方面應用方便，但另一方面也不...