機器學習應補充哪些數學基礎?

時間 2021-05-06 02:20:53

1樓:大煎餅

機器學習的方法多種多樣,其實可以先確定要學習哪種機器學習方法,然後再針對性地補充數學知識,例如

1、多層感知機

多層感知機是最簡單的神經網路演算法,涉及矩陣乘法、偏微分等方面的數學知識。

多層感知機

2、卷積神經網路

卷積神經網路是多層感知機的改進,需要知道什麼是卷積運算。

卷積神經網路

3、殘差收縮網路

殘差收縮網路[1]

[2]是一種用於強噪、高冗餘資料的模式識別方法,需要知道軟閾值降噪方面的知識。

(面向強噪、高冗餘資料的)殘差收縮網路

2樓:

其實也不用太多,就把高等數學,尤其是下冊,線性代數,概率與統計用的最多,還有就是統計學看一下就好了。不要求掌握有多深,其實能夠看懂別人的推導即可

3樓:

推薦Up主【shuhuai008】的白板推導系列【機器學習】【白板推導系列】【合集 1~23】_嗶哩嗶哩 (゜-゜)つロ 乾杯~-bilibili

有同學將筆記放在語雀文件上面了:

Bilibili-機器學習白板系列 · 語雀

4樓:子幹建建-Jeff

黃海廣老師的系列文章挺不錯的,https://mp.weixin.qq.com/s/9hpb2WSY3RjzbTNfC_BlFg

你可以看下

5樓:Young

下面是我對機器學習涉及到的數學中最重要的高斯分布的一些個人看法和理解(都是乾貨,包括了推導的過程和結論)過程不複雜,保證能看懂

本人在機器學習和深度學習領域混了有一年半的時間了,對於在這領域中一些常用的數學基礎也是有自己的一套看法,其中,高斯分布在機器學習的各個演算法中也是佔絕對的重要地位,我也是結合了相關的資料,然後把我自己的想法加進去,下面就由我來一一對高斯分布進行解說,主要從5個方面去分析:

一.極大似然估計

極大似然估計的原理其實很簡單,實質上可以用一句話來概括:尋求一組引數,使得給定的樣本集出現的概率最大;其中在logistic回歸和隱馬爾可夫模型中都有用到極大似然估計來確定函式的引數;廢話不多說,下面直接上高斯分布的極大似然估計:

二.有偏與無偏

首先,要搞清楚有偏和無偏的概念,拿高斯分布的這個例子來說,無偏的意思是估計出來的均值的數學期望等於原來高斯分布的均值,反之則是有偏;同理方差也是一樣。

下面就來證明利用極大似然估計的高斯分布的均值和方差是有偏量還是無偏量:

三.從概率密度去分析(幾何意義)

我們可以看到:高斯分布可以理解為當概率值給定時,概率密度影象的形狀也就確定下來,即為橢圓,不同的取值對應不同大小的橢圓

其實,從上面的幾何意義中我們也可以看到,我們在機器學習領域經常做的歸一化處理實質上就是把上面的圖「掰正」了,使得模型更好地去收斂。

四.求邊緣概率和條件概率

五.求聯合分布概率

6樓:hliangzhao

其實認真學好本科期間的工科數學就足夠了,也就高等數學、線性代數和概率論與數理統計。但是本科期間學習的這些數學知識更多地是應試為導向的,對很多觀念的理解並不深刻。為了對這些觀念有更加深入的理解,我這些天剛好總結了一篇簡短的文件,部分內容截圖如下:

這篇文件不是乙個基礎型的文件,需要你對這些概念有基本的認知。位址在http://

hliangzhao.me/math/math.pdf

7樓:雷明

1.微積分。機器學習中使用的有些知識超出了工科微積分教材的範疇,如李普希茨連續、上/下確界,雅克比矩陣,Hessian矩陣,多元函式泰勒公式,多重積分變換等

2.線性代數與矩陣論/矩陣分析。有些知識可能是工科線性代數或者數學系的高等代數沒有講過的,如矩陣分解,譜範數之類的。

3.概率論。非常重要,部分內容也超出了一般的概率論教材的範疇,如t分布,多維正態分佈,概率分布變換等。

4.最優化方法。這個非常重要,幾乎所有機器學習演算法,無論是有監督學習,還是無監督學習,或者是強化學習,最終都歸結為求解最優化問題。

5.資訊理論。你要弄清楚熵,KL散度,交叉熵之類的概念。

6.隨機過程的部分內容。主要是馬爾可夫過程,高斯過程。否則你無法理解MCMC那套東西,以及AutoML中的貝葉斯優化。

7.圖論的部分內容。包括一些基本概念,譜圖理論。它們在流形學習,譜聚類,圖神經網路,NAS等地方都有使用。

8樓:

最近喜歡安利這本磚頭(

Algebra, Topology, Differential Calculus, and Optimization Theory For Computer Science and Machine Learning

9樓:小心假設

Mathematics for Machine Learning

Mathematics for Machine Learning

目錄:Part I: Mathematical Foundations

Introduction and Motivation

Linear Algebra

Analytic Geometry

Matrix Decompositions

Vector Calculus

Probability and Distribution

Continuous Optimization

Part II: Central Machine Learning Problems

When Models Meet Data

Linear Regression

Dimensionality Reduction with Principal Component Analysis

Density Estimation with Gaussian Mixture Models

Classification with Support Vector Machines

Linear Regression

Gaussian Mixture Models

PCASVM (work in progress)

書的 pdf:

---當機器學習遇到系統論、控制論與資訊理論

10樓:弱雞

optimization, 我們用的教材:linear and nonlinear programming

其他的非傳統數學,本人上過這些課,在AI學習中受益匪淺,僅建議

1.adaptive control, 教材找不到了,幫助理解reinforcement

2. Detection and estimation theory, 又叫 statistical signal processing (本人拿了A+,臭嘚瑟一下)

3. Detection and estimation theory的前置課:analysis of stochastic process 貝葉斯到死,馬爾科夫到死

11樓:Jere

本人目前在英國某高校就讀, 資料分析專業,推薦一本老師上課要求讀完的數學基礎書

這學期主課選了一門計算機學院下的 Data mining and visualization。這門課本身會涉及到比較多的machine learning相關的數學知識。第一節老師給我們做了乙個數學測驗,然後上了幾節數學相關的課,主要介紹了線性代數,向量微積分相關的內容。

由於上課本身時間不多,這位老師要求我們課下自行讀完一本類似數學導論的書(裡面總結了基本機器學習所要求具備的數學知識。這裡我附上鏈結,相信對很多想入門機器學習的朋友會有用處)。

所有的數學內容分為若干個章節,內容為英文版,英文比較好的同學推薦看看。每個標題點進去就是乙個PDF, 非常方便列印,可以選擇自己比較薄弱的環節看一看。按我們老師說,這些數學是這門data mining 必須具備的知識,所以推薦大家也看一看。

Mathematics for Machine Learning另外附上我這門data mining 的學習主要內·容:

12樓:工科大屌絲

當我向高人求教這個問題時,他笑了,需要準備的數學知識太分散,如果僅僅是為了準備知識,反而效率不高,畢竟你可能會偏離方向。之後他推薦了我一本書,國外的教材叫做 Pattern recognition and machine learning

我感覺很6,但是很難,裡面所涉及到的數學知識就是需要搞清楚的。

13樓:

估計樓主的目標不是搞研究做學問,那機器學習不需要什麼離奇的數學基礎,實際上ML需要的數學遠不如傳統的工科比如CS、EE和ME。

這麼說吧,如果你是EE/ME/CS研究生(實際上本科生就行),那麼你可能只需要花乙個禮拜來看ML演算法,然後花一學期到一年積累使用經驗以及學習流行的ML軟體框架。

我是不是又一不小心說了實話?

14樓:九鄉河龍牙

知乎上面有個很經典的回答,題主提了個問題是沒有數學基礎但是對機器學習很感興趣怎麼補基礎?有個大神回答我很贊同大意是為什麼沒有數學基礎就覺得自己對機器學習感興趣了?

對機器學習本身感興趣還是對看上去高大上的領域感興趣是很重要的點,如果數學不行並且逃避我覺得有些往APIBoy之路發展了,不可取啊.

年輕精力好的時候打基礎是應該也是必須的.

15樓:

數學:高等數學、線性代數、概率論與數理統計、最優化,特別是最後乙個要理解其解題方法。

所以基本上理科生在大學都是學過前三門的,補充看下第四個就可以了。

另外之前沒學過的可以參考國外教程,學過的還是看國內大學教材更親切一些。

16樓:shujujia

機器學習:《資料探勘實用機器學習工具與技術》、《資料探勘導論》、《機器學習》、,《資料探勘與機器學習WAKA應用技術與實踐》

Python:《利用Python進行資料分析》、《Python基礎教程》、《Python Cookbook》、《「笨辦法」學Python》

MATLAB:《精通MATLAB》、《MATLAB R2014a從入門到精通》、《MATLAB R2014a完全自學一本通》、《MATLAB寶典》

資料庫:《MongoDB權威指南》、《資料庫系統概念》、《SQL語言與資料庫操作技術大全》、《Oracle從入門到精通》

R語言:《統計建模與R軟體》、《R語言實戰》、《ggplot2資料分析與圖形藝術》、《資料探勘與R語言》

機器學習必備的數學基礎有哪些?

圖靈教育 去年谷歌發布了機器學習速成課,但學習此課程有前提條件,其中就有數學 代數 變數 係數和函式 線性方程序,例如 y b w1x1 w2x2 對數和對數方程序,例如 y ln 1 ez S 型函式 線性代數 張量和張量等級 矩陣乘法 三角學 Tanh 作為啟用函式進行講解,無需提前掌握相關知識...

學習「微分流形基礎」需要哪些數學基礎(以及自學教材推薦)?

葉宇森 我大概也是數學基礎不夠的時候學了微分流形,現在後悔不已沒能在那門課上學到足夠的知識.因為是物理系出身的,所以我數學課上的沒有同期的數學系的人多 當時我連一些基本的內積空間都不會 但有一些概念,比如exterior derivative或者1 form在統計力學是很常用的 Lie Bracke...

數學不好的人,適合學習深度學習,機器學習,人工智慧嗎?

百里子彧丶 我就是來勸退的我不知道國內老師怎麼樣國外本科 cs專業數學3 4年沒碰了高中學得早忘了大學也沒修微積分就學了離散函式也還能接受心血來潮學了機器學習真的學了才知道什麼叫勸退每週都是大知識點這周回歸下週分類在下週直接卷機神經網路這誰受得了上週都沒搞懂下週又來一堆公式推導都搞不懂就得在pyth...