線性代數(shù)：如何將研究對(duì)象形式化？事實(shí)上，線性代數(shù)不僅僅是人工智能的基礎(chǔ)，更是現(xiàn)代數(shù)學(xué)和以現(xiàn)代數(shù)學(xué)作為主要分析方法的眾多學(xué)科的基礎(chǔ)。從量子力學(xué)到圖像處理都離不開(kāi)向量和矩陣的使用。而在向量和矩陣背后，線性代數(shù)的核心意義在于提供了?種看待世界的抽象視角：萬(wàn)事萬(wàn)物都可以被抽象成某些特征的組合，并在由預(yù)置規(guī)則定義的框架之下以靜態(tài)和動(dòng)態(tài)的方式加以觀察。著重于抽象概念的解釋而非具體的數(shù)學(xué)公式來(lái)看，線性代數(shù)要點(diǎn)如下：線性代數(shù)的本質(zhì)在于將具體事物抽象為數(shù)學(xué)對(duì)象，并描述其靜態(tài)和動(dòng)態(tài)的特性；向量的實(shí)質(zhì)是 n 維線性空間中的靜止點(diǎn)；線性變換描述了向量或者作為參考系的坐標(biāo)系的變化，可以用矩陣表示；矩陣的特征值和特征向量描述了變化的速度與方向。總之，線性代數(shù)之于人工智能如同加法之于高等數(shù)學(xué)，是一個(gè)基礎(chǔ)的工具集。 概率論：如何描述統(tǒng)計(jì)規(guī)律？除了線性代數(shù)之外，概率論也是人工智能研究中必備的數(shù)學(xué)基礎(chǔ)。隨著連接主義學(xué)派的興起，概率統(tǒng)計(jì)已經(jīng)取代了數(shù)理邏輯，成為人工智能研究的主流工具。在數(shù)據(jù)爆炸式增長(zhǎng)和計(jì)算力指數(shù)化增強(qiáng)的今天，概率論已經(jīng)在機(jī)器學(xué)習(xí)中扮演了核心角色。同線性代數(shù)一樣，概率論也代表了一種看待世界的方式，其關(guān)注的焦點(diǎn)是無(wú)處不在的可能性。頻率學(xué)派認(rèn)為先驗(yàn)分布是固定的，模型參數(shù)要靠最大似然估計(jì)計(jì)算；貝葉斯學(xué)派認(rèn)為先驗(yàn)分布是隨機(jī)的，模型參數(shù)要靠后驗(yàn)概率最大化計(jì)算；正態(tài)分布是最重要的一種隨機(jī)變量的分布。 數(shù)理統(tǒng)計(jì)：如何以小見(jiàn)大？在人工智能的研究中，數(shù)理統(tǒng)計(jì)同樣不可或缺。基礎(chǔ)的統(tǒng)計(jì)理論有助于對(duì)機(jī)器學(xué)習(xí)的算法和數(shù)據(jù)挖掘的結(jié)果做出解釋，只有做出合理的解讀，數(shù)據(jù)的價(jià)值才能夠體現(xiàn)。數(shù)理統(tǒng)計(jì)根據(jù)觀察或?qū)嶒?yàn)得到的數(shù)據(jù)來(lái)研究隨機(jī)現(xiàn)象，并對(duì)研究對(duì)象的客觀規(guī)律做出合理的估計(jì)和判斷。雖然數(shù)理統(tǒng)計(jì)以概率論為理論基礎(chǔ)，但兩者之間存在方法上的本質(zhì)區(qū)別。概率論作用的前提是隨機(jī)變量的分布已知，根據(jù)已知的分布來(lái)分析隨機(jī)變量的特征與規(guī)律；數(shù)理統(tǒng)計(jì)的研究對(duì)象則是未知分布的隨機(jī)變量，研究方法是對(duì)隨機(jī)變量進(jìn)行獨(dú)立重復(fù)的觀察，根據(jù)得到的觀察結(jié)果對(duì)原始分布做出推斷。用一句不嚴(yán)謹(jǐn)?shù)庇^的話講：數(shù)理統(tǒng)計(jì)可以看成是逆向的概率論。 數(shù)理統(tǒng)計(jì)的任務(wù)是根據(jù)可觀察的樣本反過(guò)來(lái)推斷總體的性質(zhì)；推斷的工具是統(tǒng)計(jì)量，統(tǒng)計(jì)量是樣本的函數(shù)，是個(gè)隨機(jī)變量；參數(shù)估計(jì)通過(guò)隨機(jī)抽取的樣本來(lái)估計(jì)總體分布的未知參數(shù)，包括點(diǎn)估計(jì)和區(qū)間估計(jì)；假設(shè)檢驗(yàn)通過(guò)隨機(jī)抽取的樣本來(lái)接受或拒絕關(guān)于總體的某個(gè)判斷，常用于估計(jì)機(jī)器學(xué)習(xí)模型的泛化錯(cuò)誤率。 最優(yōu)化理論： 如何找到最優(yōu)解？本質(zhì)上講，人工智能的目標(biāo)就是最優(yōu)化：在復(fù)雜環(huán)境與多體交互中做出最優(yōu)決策。幾乎所有的人工智能問(wèn)題最后都會(huì)歸結(jié)為一個(gè)優(yōu)化問(wèn)題的求解，因而最優(yōu)化理論同樣是人工智能必備的基礎(chǔ)知識(shí)。最優(yōu)化理論研究的問(wèn)題是判定給定目標(biāo)函數(shù)的最大值（最小值）是否存在，并找到令目標(biāo)函數(shù)取到最大值 (最小值) 的數(shù)值。 如果把給定的目標(biāo)函數(shù)看成一座山脈，最優(yōu)化的過(guò)程就是判斷頂峰的位置并找到到達(dá)頂峰路徑的過(guò)程。通常情況下，最優(yōu)化問(wèn)題是在無(wú)約束情況下求解給定目標(biāo)函數(shù)的最小值；在線性搜索中，確定尋找最小值時(shí)的搜索方向需要使用目標(biāo)函數(shù)的一階導(dǎo)數(shù)和二階導(dǎo)數(shù)；置信域算法的思想是先確定搜索步長(zhǎng)，再確定搜索方向；以人工神經(jīng)網(wǎng)絡(luò)為代表的啟發(fā)式算法是另外一類重要的優(yōu)化方法。