賣燒餅的小怪獸
參考：
反卷積也稱為轉置卷積，如果用矩陣乘法實現(xiàn)卷積操作，將卷積核平鋪為矩陣，則轉置卷積在正向計算時左乘這個矩陣的轉置WT，在反向傳播是左乘W，與卷積操作剛好相反，需要注意的是，反卷積不是卷積的逆運算。 [知乎問題+caffe實現(xiàn)]
實現(xiàn)上采樣；近似重構輸入圖像，卷積層可視化。
只要激活函數(shù)選擇得當，神經(jīng)元的數(shù)量足夠，至少有一個隱含層的神經(jīng)網(wǎng)絡可以 逼近閉區(qū)間上任意一個連續(xù)函數(shù)到任意指定的精度。
判別模型，直接輸出類別標簽，或者輸出類后驗概率p(y|x) [ ] [ ] [ ]
BN是在 batch這個維度上進行歸一化，GN是計算channel方向每個group的均值方差.
檢測結果與 Ground Truth 的交集比上它們的并集，即為檢測的準確率 IoU
內(nèi)存/顯存占用；模型收斂速度等
Hessian矩陣是n*n， 在高維情況下這個矩陣非常大，計算和存儲都是問題。
mini-batch太小會導致收斂變慢，太大容易陷入sharp minima，泛化性不好。
可以把dropout看成是 一種ensemble方法，每次做完dropout相當于從原網(wǎng)絡中找到一個更瘦的網(wǎng)絡。
pooling操作雖然能增大感受野，但是會丟失一些信息。空洞卷積在卷積核中插入權重為0的值，因此每次卷積中會skip掉一些像素點；
空洞卷積增大了卷積輸出每個點的感受野，并且不像pooling會丟失信息，在圖像需要全局信息或者需要較長sequence依賴的語音序列問題上有著較廣泛的應用。
表達式為：
使用BN的原因是網(wǎng)絡訓練中每一層不斷改變的參數(shù)會導致后續(xù)每一層輸入的分布發(fā)生變化，而學習的過程又要使每一層去適應輸入的分布，因此不得不降低網(wǎng)絡的學習率，并且要小心得初始化（internal covariant shift） 如果僅通過歸一化方法使得數(shù)據(jù)具有零均值和單位方差，則會降低層的表達能力（如使用Sigmoid函數(shù)時，只使用線性區(qū)域） BN的具體過程（注意第三個公式中分母要加上epsilon）
最好的解釋是通過1 * 1卷積核能實現(xiàn)多個channel間的解耦合，解耦cross-channel correlation和spatial correlation。 【但是因為解耦不徹底，因此后續(xù)有了mobile net的組卷積方式和shuffle net組卷積方式】
由于 1×1 并不會改變 height 和 width，改變通道的第一個最直觀的結果，就是可以將原本的數(shù)據(jù)量進行增加或者減少。改變的只是 height × width × channels 中的 channels 這一個維度的大小而已。
1*1卷積核，可以在保持feature map尺度不變的（即不損失分辨率）的前提下大幅增加非線性特性（利用后接的非線性激活函數(shù)），把網(wǎng)絡做的很deep。
備注：一個filter對應卷積后得到一個feature map，不同的filter(不同的weight和bias)，卷積以后得到不同的feature map，提取不同的特征，得到對應的specialized neuron。
例子：使用1x1卷積核，實現(xiàn)降維和升維的操作其實就是channel間信息的線性組合變化，3x3，64channels的卷積核后面添加一個1x1，28channels的卷積核，就變成了3x3，28channels的卷積核，原來的64個channels就可以理解為跨通道線性組合變成了28channels，這就是通道間的信息交互
注意：只是在channel維度上做線性組合，W和H上是共享權值的sliding window
并不能說明這個模型無效導致模型不收斂的原因可能有
A. 在實際場景下，應盡量使用ADAM，避免使用SGD B. 同樣的初始學習率情況下，ADAM的收斂速度總是快于SGD方法 C. 相同超參數(shù)數(shù)量情況下，比起自適應的學習率調整方式，SGD加手動調節(jié)通常會取得更好效果 D. 同樣的初始學習率情況下，ADAM比SGD容易過擬合
A.保證每一層的感受野不變，網(wǎng)絡深度加深，使得網(wǎng)絡的精度更高 B.使得每一層的感受野增大，學習小特征的能力變大 C.有效提取高層語義信息，且對高層語義進行加工，有效提高網(wǎng)絡準確度 D.利用該結構有效減輕網(wǎng)絡的權重
A.計算簡單 B.非線性 C.具有飽和區(qū) D.幾乎處處可微 【relu函數(shù)在0處是不可微的?！?/p>
的收斂速度比RMSprop慢 B.相比于SGD或RMSprop等優(yōu)化器，Adam的收斂效果是最好的 C.對于輕量級神經(jīng)網(wǎng)絡，使用Adam比使用RMSprop更合適 D.相比于Adam或RMSprop等優(yōu)化器，SGD的收斂效果是最好的 【SGD通常訓練時間更長，容易陷入鞍點，但是在好的初始化和學習率調度方案的情況下，結果更可靠。如果在意更快的收斂，并且需要訓練較深較復雜的網(wǎng)絡時，推薦使用學習率自適應的優(yōu)化方法?！?/p>
A.使用ReLU做為激活函數(shù)，可有效地防止梯度爆炸 B.使用Sigmoid做為激活函數(shù)，較容易出現(xiàn)梯度消失 C.使用Batch Normalization層，可有效的防止梯度爆炸 D.使用參數(shù)weight decay，在一程度上可防止模型過擬合
對結果存疑。認為二者皆可防止。
L-BFGS（Limited-memory BFGS，內(nèi)存受限擬牛頓法）方法： 所有的數(shù)據(jù)都會參與訓練，算法融入方差歸一化和均值歸一化。大數(shù)據(jù)集訓練DNN，容易參數(shù)量過大 (牛頓法的進化版本，尋找更好的優(yōu)化方向，減少迭代輪數(shù)）從LBFGS算法的流程來看，其整個的核心的就是如何快速計算一個Hesse的近似：重點一是近似，所以有了LBFGS算法中使用前m個近似下降方向進行迭代的計算過程；重點二是快速，這個體現(xiàn)在不用保存Hesse矩陣上，只需要使用一個保存后的一階導數(shù)序列就可以完成，因此不需要大量的存儲，從而節(jié)省了計算資源；重點三，是在推導中使用秩二校正構造了一個正定矩陣，即便這個矩陣不是最優(yōu)的下降方向，但至少可以保證函數(shù)下降。 FTRL(Follow-the-regularized-Leader)是一種適用于處理超大規(guī)模數(shù)據(jù)的,含大量稀疏特征的在線學習的常見優(yōu)化算法，方便實用，而且效果很好，常用于更新在線的CTR預估模型；FTRL在處理帶非光滑正則項（如L1正則）的凸優(yōu)化問題上表現(xiàn)非常出色，不僅可以通過L1正則控制模型的稀疏度，而且收斂速度快；
在一定程度上解決了傳統(tǒng)RNN梯度消失或梯度爆炸的問題 相比于全連接的優(yōu)勢之一是模型復雜度低，緩解過擬合 C.只要參數(shù)設置合理，深度學習的效果至少應優(yōu)于隨機算法 D.隨機梯度下降法可以緩解網(wǎng)絡訓練過程中陷入鞍點的問題
實際上，現(xiàn)在有很多針對小目標的措施和改良，如下：
最常見的是Upsample來Rezie網(wǎng)絡輸入圖像的大??；
用dilated/astrous等這類特殊的卷積來提高檢測器對分辨率的敏感度；（空洞卷積是針對圖像語義分割問題中下采樣會降低圖像分辨率、丟失信息而提出的一種卷積思路。利用添加空洞擴大感受野，讓原本3 x3的卷積核，在相同參數(shù)量和計算量下?lián)碛?x5（dilated rate =2）或者更大的感受野，從而無需下采樣。在保持參數(shù)個數(shù)不變的情況下增大了卷積核的感受野）
有比較直接的在淺層和深層的Feature Map上直接各自獨立做預測的，這個就是我們常說的尺度問題。
用FPN這種把淺層特征和深層特征融合的，或者最后在預測的時候，用淺層特征和深層特征一起預測；
SNIP（Scale Normalization for Image Pyramids）主要思路：
在訓練和反向傳播更新參數(shù)時，只考慮那些在指定的尺度范圍內(nèi)的目標，由此提出了一種特別的多尺度訓練方法。
pangdaxiang
上采樣upsampling的主要目的是放大圖像，幾乎都是采用內(nèi)插值法，即在原有圖像像素的基礎上，在像素點值之間采用合適的插值算法插入新的元素。 線性插值法是指使用連接兩個已知量的直線來確定在這個兩個已知量之間的一個未知量的值的方法。 假設已知兩個坐標(x0,y0)和(x1,y1)，要得到[x0,x1]區(qū)間內(nèi)某一位置x在直線上的值。 該直線的方程可表示為： 這樣 雙線性插值是插值算法中的一種，是線性插值的擴展。利用原圖像中目標點四周的四個真實存在的像素值來共同決定目標圖中的一個像素值，其核心思想是在兩個方向分別進行一次線性插值。 已知的紅色數(shù)據(jù)點和待插值的綠色數(shù)據(jù)點 假如我們想得到未知函數(shù)f在點P= (x,y) 的值，假設我們已知函數(shù)f在 四個點的值。 在x與y方向上，z值成單調性特性的應用中，此種方法可以做外插運算，即可以求解Q11~Q22所構成的正方形以外的點的值。 總結：線性插值法利用原圖像中兩個點計算像素值進行插值，雙線性插值法利用原圖像中四個點計算目標像素值進行插值。 這是最簡單的一種插值方法，不需要計算，在待求象素的四鄰象素中，將距離待求象素最近的鄰象素灰度賦給待求象素。設i+u, j+v(i, j為正整數(shù)， u, v為大于零小于1的小數(shù)，下同)為待求象素坐標，則待求象素灰度的值 f(i+u, j+v)如下圖所示： 如果(i+u, j+v)落在A區(qū)，即u<, v<，則將左上角象素的灰度值賦給待求象素，同理，落在B區(qū)則賦予右上角的象素灰度值，落在C區(qū)則賦予左下角象素的灰度值，落在D區(qū)則賦予右下角象素的灰度值。 最鄰近元法計算量較小，但可能會造成插值生成的圖像灰度上的不連續(xù)，在灰度變化的地方可能出現(xiàn)明顯的鋸齒狀。 雙線性內(nèi)插法是利用待求象素四個鄰象素的灰度在兩個方向上作線性內(nèi)插。 如下圖所示： 對于 (i, j+v)，f(i, j) 到 f(i, j+1) 的灰度變化為線性關系，則有： f(i, j+v) = [f(i, j+1) - f(i, j)] * v + f(i, j) 同理對于 (i+1, j+v) 則有： f(i+1, j+v) = [f(i+1, j+1) - f(i+1, j)] * v + f(i+1, j) 從f(i, j+v) 到 f(i+1, j+v) 的灰度變化也為線性關系，由此可推導出待求象素灰度的計算式如下： f(i+u, j+v) = (1-u) * (1-v) * f(i, j) + (1-u) * v * f(i, j+1) + u * (1-v) * f(i+1, j) + u * v * f(i+1, j+1) 雙線性內(nèi)插法的計算比最鄰近點法復雜，計算量較大，但沒有灰度不連續(xù)的缺點，結果基本令人滿意。它具有低通濾波性質，使高頻分量受損，圖像輪廓可能會有一點模糊。 該方法利用三次多項式S(x)求逼近理論上最佳插值函數(shù)sin(x)/x, 其數(shù)學表達式為： 待求像素(x, y)的灰度值由其周圍16個灰度值加權內(nèi)插得到，如下圖： 待求像素的灰度計算式如下： f(x, y) = f(i+u, j+v) = ABC 其中: 三次曲線插值方法計算量較大，但插值后的圖像效果最好。
天權STAR
算法是比較復雜又基礎的學科，每個學編程的人都會學習大量的算法。而根據(jù)統(tǒng)計，以下這18個問題是面試中最容易遇到的，本文給出了一些基本答案，供算法方向工程師或對此感興趣的程序員參考。1)請簡單解釋算法是什么?算法是一個定義良好的計算過程，它將一些值作為輸入并產(chǎn)生相應的輸出值。簡單來說，它是將輸入轉換為輸出的一系列計算步驟。2)解釋什么是快速排序算法?快速排序算法能夠快速排序列表或查詢。它基于分割交換排序的原則，這種類型的算法占用空間較小，它將待排序列表分為三個主要部分：·小于Pivot的元素·樞軸元素Pivot(選定的比較值)·大于Pivot的元素3)解釋算法的時間復雜度?算法的時間復雜度表示程序運行完成所需的總時間，它通常用大O表示法來表示。4)請問用于時間復雜度的符號類型是什么?用于時間復雜度的符號類型包括：·Big Oh：它表示小于或等于目標多項式·Big Omega：它表示大于或等于目標多項式·Big Theta：它表示與目標多項式相等·Little Oh：它表示小于目標多項式·Little Omega：它表示大于目標多項式5)解釋二分法檢索如何工作?在二分法檢索中，我們先確定數(shù)組的中間位置，然后將要查找的值與數(shù)組中間位置的值進行比較，若小于數(shù)組中間值，則要查找的值應位于該中間值之前，依此類推，不斷縮小查找范圍，直至得到最終結果。6)解釋是否可以使用二分法檢索鏈表?由于隨機訪問在鏈表中是不可接受的，所以不可能到達O(1)時間的中間元素。因此，對于鏈表來說，二分法檢索是不可以的(對順序鏈表或排序后的鏈表是可以用的)。7)解釋什么是堆排序?堆排序可以看成是選擇排序的改進，它可以定義為基于比較的排序算法。它將其輸入劃分為未排序和排序的區(qū)域，通過不斷消除最小元素并將其移動到排序區(qū)域來收縮未排序區(qū)域。8)說明什么是Skip list?Skip list數(shù)據(jù)結構化的方法，它允許算法在符號表或字典中搜索、刪除和插入元素。在Skip list中，每個元素由一個節(jié)點表示。搜索函數(shù)返回與key相關的值的內(nèi)容。插入操作將指定的鍵與新值相關聯(lián)，刪除操作可刪除指定的鍵。9)解釋插入排序算法的空間復雜度是多少?插入排序是一種就地排序算法，這意味著它不需要額外的或僅需要少量的存儲空間。對于插入排序，它只需要將單個列表元素存儲在初始數(shù)據(jù)的外側，從而使空間復雜度為O(1)。10)解釋什么是“哈希算法”，它們用于什么?“哈希算法”是一個哈希函數(shù)，它使用任意長度的字符串，并將其減少為唯一的固定長度字符串。它用于密碼有效性、消息和數(shù)據(jù)完整性以及許多其他加密系統(tǒng)。11)解釋如何查找鏈表是否有循環(huán)?要知道鏈表是否有循環(huán)，我們將采用兩個指針的方法。如果保留兩個指針，并且在處理兩個節(jié)點之后增加一個指針，并且在處理每個節(jié)點之后，遇到指針指向同一個節(jié)點的情況，這只有在鏈表有循環(huán)時才會發(fā)生。12)解釋加密算法的工作原理?加密是將明文轉換為稱為“密文”的密碼格式的過程。要轉換文本，算法使用一系列被稱為“鍵”的位來進行計算。密鑰越大，創(chuàng)建密文的潛在模式數(shù)越多。大多數(shù)加密算法使用長度約為64到128位的固定輸入塊，而有些則使用流方法。13)列出一些常用的加密算法?一些常用的加密算法是：·3-way·Blowfish·CAST·CMEA·GOST·DES 和Triple DES·IDEA·LOKI等等14)解釋一個算法的最佳情況和最壞情況之間有什么區(qū)別?·最佳情況：算法的最佳情況解釋為算法執(zhí)行最佳的數(shù)據(jù)排列。例如，我們進行二分法檢索，如果目標值位于正在搜索的數(shù)據(jù)中心，則這就是最佳情況，最佳情況時間復雜度為0?！ぷ畈钋闆r：給定算法的最差輸入?yún)⒖?。例如快速排序，如果選擇關鍵值的子列表的最大或最小元素，則會導致最差情況出現(xiàn)，這將導致時間復雜度快速退化到O(n2)。15)解釋什么是基數(shù)排序算法?基數(shù)排序又稱“桶子法”，是通過比較數(shù)字將其分配到不同的“桶里”來排序元素的。它是線性排序算法之一。16)解釋什么是遞歸算法?遞歸算法是一個解決復雜問題的方法，將問題分解成較小的子問題，直到分解的足夠小，可以輕松解決問題為止。通常，它涉及一個調用自身的函數(shù)。17)提到遞歸算法的三個定律是什么?所有遞歸算法必須遵循三個規(guī)律：·遞歸算法必須有一個基點·遞歸算法必須有一個趨向基點的狀態(tài)變化過程·遞歸算法必須自我調用18)解釋什么是冒泡排序算法?冒泡排序算法也稱為下沉排序。在這種類型的排序中，要排序的列表的相鄰元素之間互相比較。如果它們按順序排列錯誤，將交換值并以正確的順序排列，直到最終結果“浮”出水面。滿意記得采納哈
優(yōu)質工程師考試問答知識庫
