稀疏性為什麼會影響機器學習的計算效率?

時間 2021-06-02 05:14:20

1樓:雲外陽光

例1:若規定解有規則約束,

當沒有稀疏性,x1+x2+x3+x4+x5=10,你算一下,解會有幾種組合,複雜度多少。

存在稀疏性,假設x1=0, x2=0, x3=0,,你算一下 x4+x5=10,,解會有幾種組合,複雜度多少。

例2:患某種病的概率是y,然後我們收集到的資料x是1000維的,也就是我們需要尋找這1000種因素到底是怎麼影響患上這種病的概率的。假設我們這個是個回歸模型:

y=w1*x1+w2*x2+…+w1000*x1000+b(當然了,為了讓y限定在[0,1]的範圍,一般還得加個Logistic函式)。通過學習,如果最後學習到的w*就只有很少的非零元素,例如只有5個非零的wi,那麼我們就有理由相信,這些對應的特徵在患病分析上面提供的資訊是巨大的,決策性的。也就是說,患不患這種病只和這5個因素有關,那醫生就好分析多了。

但如果1000個wi都非0,醫生面對這1000種因素,累覺不愛。

2樓:

首先,按硬體能實現的FLOPS來說,稀疏的情況下只會更少,尤其是GPU。稀疏加速計算的效果體現在減少模型的FLOPS需求上。比如線性回歸,時間複雜度是輸入或者weights的非零分量個數的線性項。

不過話說回來,現在連低端CPU都是百GFLOPS級別,線性回歸瓶頸肯定在IO上吧?

為什麼機器學習的分類器用logistic模型?

感覺 午後Sunny 說得很好了,補充一下自己的觀點,如果不對請指正Logisticfunction a 很優美。這個函式不但能把輸入對映到0 1之間,而且這種中間陡峭的性質使得只有少數樣本在0附近。b 便於求導 這樣使得模型的求解和實現更加方便 午後陽光 把我另外乙個回答搬過來了。logistic...

為什麼機器學習常常使用貓的影象?

APP開發經理MR.Yu 用貓的原因可能一部分是因為程式猿是貓奴,另一部分就是貓的種類並不好辨別,一次產一窩,可能各個都不一樣,還有的貓會變色 暹羅貓 可能夏天是白色,冬天就是黑色。手動狗頭 APP開發經理MR.Yu 用貓的原因可能一部分是因為程式猿是貓奴,另一部分就是貓的種類並不好辨別,一次產一窩...

為什麼談戀愛會影響學習,我理解不了了?

青原 談戀愛不會影響學習影響學習的是人 以前上初一的時候談過戀愛本身我成績就不咋地當時的男朋友數學好我數學賊次 初一的學校嚴禁談戀愛但是當時一直相安無事學校的操場有很多樹反正有點像小樹林那個感jio 晚上九點半下晚自習我們就去操場你以為要幹什麼嗎那你想多了他拽著我做題!數學題!白天給我題目我做題上操...