東北小茬子521
上采樣upsampling的主要目的是放大圖像，幾乎都是采用內(nèi)插值法，即在原有圖像像素的基礎(chǔ)上，在像素點(diǎn)值之間采用合適的插值算法插入新的元素。 線性插值法是指使用連接兩個(gè)已知量的直線來(lái)確定在這個(gè)兩個(gè)已知量之間的一個(gè)未知量的值的方法。 假設(shè)已知兩個(gè)坐標(biāo)(x0,y0)和(x1,y1)，要得到[x0,x1]區(qū)間內(nèi)某一位置x在直線上的值。 該直線的方程可表示為： 這樣 雙線性插值是插值算法中的一種，是線性插值的擴(kuò)展。利用原圖像中目標(biāo)點(diǎn)四周的四個(gè)真實(shí)存在的像素值來(lái)共同決定目標(biāo)圖中的一個(gè)像素值，其核心思想是在兩個(gè)方向分別進(jìn)行一次線性插值。 已知的紅色數(shù)據(jù)點(diǎn)和待插值的綠色數(shù)據(jù)點(diǎn) 假如我們想得到未知函數(shù)f在點(diǎn)P= (x,y) 的值，假設(shè)我們已知函數(shù)f在 四個(gè)點(diǎn)的值。 在x與y方向上，z值成單調(diào)性特性的應(yīng)用中，此種方法可以做外插運(yùn)算，即可以求解Q11~Q22所構(gòu)成的正方形以外的點(diǎn)的值。 總結(jié)：線性插值法利用原圖像中兩個(gè)點(diǎn)計(jì)算像素值進(jìn)行插值，雙線性插值法利用原圖像中四個(gè)點(diǎn)計(jì)算目標(biāo)像素值進(jìn)行插值。 這是最簡(jiǎn)單的一種插值方法，不需要計(jì)算，在待求象素的四鄰象素中，將距離待求象素最近的鄰象素灰度賦給待求象素。設(shè)i+u, j+v(i, j為正整數(shù)， u, v為大于零小于1的小數(shù)，下同)為待求象素坐標(biāo)，則待求象素灰度的值 f(i+u, j+v)如下圖所示： 如果(i+u, j+v)落在A區(qū)，即u<, v<，則將左上角象素的灰度值賦給待求象素，同理，落在B區(qū)則賦予右上角的象素灰度值，落在C區(qū)則賦予左下角象素的灰度值，落在D區(qū)則賦予右下角象素的灰度值。 最鄰近元法計(jì)算量較小，但可能會(huì)造成插值生成的圖像灰度上的不連續(xù)，在灰度變化的地方可能出現(xiàn)明顯的鋸齒狀。 雙線性內(nèi)插法是利用待求象素四個(gè)鄰象素的灰度在兩個(gè)方向上作線性內(nèi)插。 如下圖所示： 對(duì)于 (i, j+v)，f(i, j) 到 f(i, j+1) 的灰度變化為線性關(guān)系，則有： f(i, j+v) = [f(i, j+1) - f(i, j)] * v + f(i, j) 同理對(duì)于 (i+1, j+v) 則有： f(i+1, j+v) = [f(i+1, j+1) - f(i+1, j)] * v + f(i+1, j) 從f(i, j+v) 到 f(i+1, j+v) 的灰度變化也為線性關(guān)系，由此可推導(dǎo)出待求象素灰度的計(jì)算式如下： f(i+u, j+v) = (1-u) * (1-v) * f(i, j) + (1-u) * v * f(i, j+1) + u * (1-v) * f(i+1, j) + u * v * f(i+1, j+1) 雙線性內(nèi)插法的計(jì)算比最鄰近點(diǎn)法復(fù)雜，計(jì)算量較大，但沒(méi)有灰度不連續(xù)的缺點(diǎn)，結(jié)果基本令人滿意。它具有低通濾波性質(zhì)，使高頻分量受損，圖像輪廓可能會(huì)有一點(diǎn)模糊。 該方法利用三次多項(xiàng)式S(x)求逼近理論上最佳插值函數(shù)sin(x)/x, 其數(shù)學(xué)表達(dá)式為： 待求像素(x, y)的灰度值由其周?chē)?6個(gè)灰度值加權(quán)內(nèi)插得到，如下圖： 待求像素的灰度計(jì)算式如下： f(x, y) = f(i+u, j+v) = ABC 其中: 三次曲線插值方法計(jì)算量較大，但插值后的圖像效果最好。
AlpacaZhou
參考：
反卷積也稱為轉(zhuǎn)置卷積，如果用矩陣乘法實(shí)現(xiàn)卷積操作，將卷積核平鋪為矩陣，則轉(zhuǎn)置卷積在正向計(jì)算時(shí)左乘這個(gè)矩陣的轉(zhuǎn)置WT，在反向傳播是左乘W，與卷積操作剛好相反，需要注意的是，反卷積不是卷積的逆運(yùn)算。 [知乎問(wèn)題+caffe實(shí)現(xiàn)]
實(shí)現(xiàn)上采樣；近似重構(gòu)輸入圖像，卷積層可視化。
只要激活函數(shù)選擇得當(dāng)，神經(jīng)元的數(shù)量足夠，至少有一個(gè)隱含層的神經(jīng)網(wǎng)絡(luò)可以 逼近閉區(qū)間上任意一個(gè)連續(xù)函數(shù)到任意指定的精度。
判別模型，直接輸出類別標(biāo)簽，或者輸出類后驗(yàn)概率p(y|x) [ ] [ ] [ ]
BN是在 batch這個(gè)維度上進(jìn)行歸一化，GN是計(jì)算channel方向每個(gè)group的均值方差.
檢測(cè)結(jié)果與 Ground Truth 的交集比上它們的并集，即為檢測(cè)的準(zhǔn)確率 IoU
內(nèi)存/顯存占用；模型收斂速度等
Hessian矩陣是n*n， 在高維情況下這個(gè)矩陣非常大，計(jì)算和存儲(chǔ)都是問(wèn)題。
mini-batch太小會(huì)導(dǎo)致收斂變慢，太大容易陷入sharp minima，泛化性不好。
可以把dropout看成是 一種ensemble方法，每次做完dropout相當(dāng)于從原網(wǎng)絡(luò)中找到一個(gè)更瘦的網(wǎng)絡(luò)。
pooling操作雖然能增大感受野，但是會(huì)丟失一些信息。空洞卷積在卷積核中插入權(quán)重為0的值，因此每次卷積中會(huì)skip掉一些像素點(diǎn)；
空洞卷積增大了卷積輸出每個(gè)點(diǎn)的感受野，并且不像pooling會(huì)丟失信息，在圖像需要全局信息或者需要較長(zhǎng)sequence依賴的語(yǔ)音序列問(wèn)題上有著較廣泛的應(yīng)用。
表達(dá)式為：
使用BN的原因是網(wǎng)絡(luò)訓(xùn)練中每一層不斷改變的參數(shù)會(huì)導(dǎo)致后續(xù)每一層輸入的分布發(fā)生變化，而學(xué)習(xí)的過(guò)程又要使每一層去適應(yīng)輸入的分布，因此不得不降低網(wǎng)絡(luò)的學(xué)習(xí)率，并且要小心得初始化（internal covariant shift） 如果僅通過(guò)歸一化方法使得數(shù)據(jù)具有零均值和單位方差，則會(huì)降低層的表達(dá)能力（如使用Sigmoid函數(shù)時(shí)，只使用線性區(qū)域） BN的具體過(guò)程（注意第三個(gè)公式中分母要加上epsilon）
最好的解釋是通過(guò)1 * 1卷積核能實(shí)現(xiàn)多個(gè)channel間的解耦合，解耦cross-channel correlation和spatial correlation。 【但是因?yàn)榻怦畈粡氐?，因此后續(xù)有了mobile net的組卷積方式和shuffle net組卷積方式】
由于 1×1 并不會(huì)改變 height 和 width，改變通道的第一個(gè)最直觀的結(jié)果，就是可以將原本的數(shù)據(jù)量進(jìn)行增加或者減少。改變的只是 height × width × channels 中的 channels 這一個(gè)維度的大小而已。
1*1卷積核，可以在保持feature map尺度不變的（即不損失分辨率）的前提下大幅增加非線性特性（利用后接的非線性激活函數(shù)），把網(wǎng)絡(luò)做的很deep。
備注：一個(gè)filter對(duì)應(yīng)卷積后得到一個(gè)feature map，不同的filter(不同的weight和bias)，卷積以后得到不同的feature map，提取不同的特征，得到對(duì)應(yīng)的specialized neuron。
例子：使用1x1卷積核，實(shí)現(xiàn)降維和升維的操作其實(shí)就是channel間信息的線性組合變化，3x3，64channels的卷積核后面添加一個(gè)1x1，28channels的卷積核，就變成了3x3，28channels的卷積核，原來(lái)的64個(gè)channels就可以理解為跨通道線性組合變成了28channels，這就是通道間的信息交互
注意：只是在channel維度上做線性組合，W和H上是共享權(quán)值的sliding window
并不能說(shuō)明這個(gè)模型無(wú)效導(dǎo)致模型不收斂的原因可能有
A. 在實(shí)際場(chǎng)景下，應(yīng)盡量使用ADAM，避免使用SGD B. 同樣的初始學(xué)習(xí)率情況下，ADAM的收斂速度總是快于SGD方法 C. 相同超參數(shù)數(shù)量情況下，比起自適應(yīng)的學(xué)習(xí)率調(diào)整方式，SGD加手動(dòng)調(diào)節(jié)通常會(huì)取得更好效果 D. 同樣的初始學(xué)習(xí)率情況下，ADAM比SGD容易過(guò)擬合
A.保證每一層的感受野不變，網(wǎng)絡(luò)深度加深，使得網(wǎng)絡(luò)的精度更高 B.使得每一層的感受野增大，學(xué)習(xí)小特征的能力變大 C.有效提取高層語(yǔ)義信息，且對(duì)高層語(yǔ)義進(jìn)行加工，有效提高網(wǎng)絡(luò)準(zhǔn)確度 D.利用該結(jié)構(gòu)有效減輕網(wǎng)絡(luò)的權(quán)重
A.計(jì)算簡(jiǎn)單 B.非線性 C.具有飽和區(qū) D.幾乎處處可微 【relu函數(shù)在0處是不可微的?！?/p>
的收斂速度比RMSprop慢 B.相比于SGD或RMSprop等優(yōu)化器，Adam的收斂效果是最好的 C.對(duì)于輕量級(jí)神經(jīng)網(wǎng)絡(luò)，使用Adam比使用RMSprop更合適 D.相比于Adam或RMSprop等優(yōu)化器，SGD的收斂效果是最好的 【SGD通常訓(xùn)練時(shí)間更長(zhǎng)，容易陷入鞍點(diǎn)，但是在好的初始化和學(xué)習(xí)率調(diào)度方案的情況下，結(jié)果更可靠。如果在意更快的收斂，并且需要訓(xùn)練較深較復(fù)雜的網(wǎng)絡(luò)時(shí)，推薦使用學(xué)習(xí)率自適應(yīng)的優(yōu)化方法?！?/p>
A.使用ReLU做為激活函數(shù)，可有效地防止梯度爆炸 B.使用Sigmoid做為激活函數(shù)，較容易出現(xiàn)梯度消失 C.使用Batch Normalization層，可有效的防止梯度爆炸 D.使用參數(shù)weight decay，在一程度上可防止模型過(guò)擬合
對(duì)結(jié)果存疑。認(rèn)為二者皆可防止。
L-BFGS（Limited-memory BFGS，內(nèi)存受限擬牛頓法）方法： 所有的數(shù)據(jù)都會(huì)參與訓(xùn)練，算法融入方差歸一化和均值歸一化。大數(shù)據(jù)集訓(xùn)練DNN，容易參數(shù)量過(guò)大 (牛頓法的進(jìn)化版本，尋找更好的優(yōu)化方向，減少迭代輪數(shù)）從LBFGS算法的流程來(lái)看，其整個(gè)的核心的就是如何快速計(jì)算一個(gè)Hesse的近似：重點(diǎn)一是近似，所以有了LBFGS算法中使用前m個(gè)近似下降方向進(jìn)行迭代的計(jì)算過(guò)程；重點(diǎn)二是快速，這個(gè)體現(xiàn)在不用保存Hesse矩陣上，只需要使用一個(gè)保存后的一階導(dǎo)數(shù)序列就可以完成，因此不需要大量的存儲(chǔ)，從而節(jié)省了計(jì)算資源；重點(diǎn)三，是在推導(dǎo)中使用秩二校正構(gòu)造了一個(gè)正定矩陣，即便這個(gè)矩陣不是最優(yōu)的下降方向，但至少可以保證函數(shù)下降。 FTRL(Follow-the-regularized-Leader)是一種適用于處理超大規(guī)模數(shù)據(jù)的,含大量稀疏特征的在線學(xué)習(xí)的常見(jiàn)優(yōu)化算法，方便實(shí)用，而且效果很好，常用于更新在線的CTR預(yù)估模型；FTRL在處理帶非光滑正則項(xiàng)（如L1正則）的凸優(yōu)化問(wèn)題上表現(xiàn)非常出色，不僅可以通過(guò)L1正則控制模型的稀疏度，而且收斂速度快；
在一定程度上解決了傳統(tǒng)RNN梯度消失或梯度爆炸的問(wèn)題 相比于全連接的優(yōu)勢(shì)之一是模型復(fù)雜度低，緩解過(guò)擬合 C.只要參數(shù)設(shè)置合理，深度學(xué)習(xí)的效果至少應(yīng)優(yōu)于隨機(jī)算法 D.隨機(jī)梯度下降法可以緩解網(wǎng)絡(luò)訓(xùn)練過(guò)程中陷入鞍點(diǎn)的問(wèn)題
實(shí)際上，現(xiàn)在有很多針對(duì)小目標(biāo)的措施和改良，如下：
最常見(jiàn)的是Upsample來(lái)Rezie網(wǎng)絡(luò)輸入圖像的大?。?/p>
用dilated/astrous等這類特殊的卷積來(lái)提高檢測(cè)器對(duì)分辨率的敏感度；（空洞卷積是針對(duì)圖像語(yǔ)義分割問(wèn)題中下采樣會(huì)降低圖像分辨率、丟失信息而提出的一種卷積思路。利用添加空洞擴(kuò)大感受野，讓原本3 x3的卷積核，在相同參數(shù)量和計(jì)算量下?lián)碛?x5（dilated rate =2）或者更大的感受野，從而無(wú)需下采樣。在保持參數(shù)個(gè)數(shù)不變的情況下增大了卷積核的感受野）
有比較直接的在淺層和深層的Feature Map上直接各自獨(dú)立做預(yù)測(cè)的，這個(gè)就是我們常說(shuō)的尺度問(wèn)題。
用FPN這種把淺層特征和深層特征融合的，或者最后在預(yù)測(cè)的時(shí)候，用淺層特征和深層特征一起預(yù)測(cè)；
SNIP（Scale Normalization for Image Pyramids）主要思路：
在訓(xùn)練和反向傳播更新參數(shù)時(shí)，只考慮那些在指定的尺度范圍內(nèi)的目標(biāo)，由此提出了一種特別的多尺度訓(xùn)練方法。
加杰特偵探
2019研究生秋招的話，獲得北京小米杭州新浪微博和南京oppo三個(gè)的話，歐惠線的話，那我建議你去北京小米吧，北京小米她們的技術(shù)較成熟，而且是創(chuàng)新崗位
不想吃成胖嘟嘟
推薦北京小米和杭州新浪，因?yàn)槌鞘械陌l(fā)展對(duì)個(gè)人的影響也挺重要的，這點(diǎn)來(lái)說(shuō)，南京比不上北京和杭州，至于北京杭州這兩個(gè)如何選擇就要看題主對(duì)南北方飲食習(xí)慣，生活習(xí)慣，家鄉(xiāng)，人脈關(guān)系這些的考慮了
司馬懿砸缸
初級(jí)java工程師多數(shù)是剛畢業(yè)或者工作1,2年的新人。對(duì)于新人，面試中基礎(chǔ)問(wèn)題會(huì)問(wèn)道很多，因?yàn)橄纫疾爝@個(gè)人的基礎(chǔ)。
關(guān)于基礎(chǔ)類的題目，我在面試初級(jí)java工程師的時(shí)候一般會(huì)問(wèn)下面兩大類問(wèn)題，每類5個(gè)題目，這樣下來(lái)我就基本可以了解這位工程師的程度了。
java基礎(chǔ)類
面向?qū)ο蠡A(chǔ)類
java基礎(chǔ)類
1.描述一下java的訪問(wèn)修飾符，和它們之間的區(qū)別？
回答：如果可以回到出public，private，protected，就算是ok；回答出default的，加分。
2. int和Integer 區(qū)別？
回答：如果回答出Integer是int的包裝類，就算ok；回答出其他的基本類型和它們相應(yīng)的包裝類，加分。
3.如何定義一個(gè)單精度浮點(diǎn)類型的變量？
回答：float 變量名= ；回答出不加最后的f為雙精度浮點(diǎn)類型，加分
4. equals和==的區(qū)別？
回答： equals是值比較（一般處理java開(kāi)發(fā)都會(huì)這么說(shuō)，算是ok的）而==是引用比較（或者對(duì)象比較）；回答equals是可以自定義的，加分
5.將一個(gè)數(shù)組作為參數(shù)傳遞到一個(gè)方法中，在方法中，數(shù)組內(nèi)的元素值被改變了，那么在方法外部，這個(gè)數(shù)組內(nèi)的元素是否也被改編了？
回答：是，因?yàn)閖ava方法中傳遞的是引用，就ok。如果回答中，將引用說(shuō)明了自己的理解，加分。
面向?qū)ο蠡A(chǔ)類
1.重載和重寫(xiě)的區(qū)別？
回答：這個(gè)看個(gè)人理解，理解沒(méi)有什么大的偏差就ok；回答出多態(tài)相關(guān)的，加分。
2.構(gòu)造方法能不能重載？
回答：可以重載，ok；回答構(gòu)造方法時(shí)不能繼承的，所以如果要調(diào)用指定父類構(gòu)造器就必須重寫(xiě)子類構(gòu)造方法，加分。
3.抽象方法（abstract）是否可以被final、static、native修飾？
回答：都不可以，因?yàn)槌橄蠓椒ㄊ潜仨氉宇悓?shí)現(xiàn)的，final方法時(shí)不可以被重寫(xiě)的，static是父類必須實(shí)現(xiàn)的方法，native是本地語(yǔ)言實(shí)現(xiàn)的方法?；卮鸪龇庋b和繼承相關(guān)的，加分
4.當(dāng)父類引用指向子類對(duì)象的時(shí)候，子類重寫(xiě)了父類方法和屬性，那么當(dāng)訪問(wèn)屬性的時(shí)候，訪問(wèn)是誰(shuí)的屬性？調(diào)用方法時(shí)，調(diào)用的是誰(shuí)的方法？
回答：訪問(wèn)的是父類的屬性，調(diào)用的是子類的方法，ok；如果可以畫(huà)圖解釋的話，加分
5.抽象類和接口有什么異同？
回答：一些類定義上的區(qū)別，ok；回答在應(yīng)用過(guò)程中，如何根據(jù)業(yè)務(wù)定義接口，加很多分
最后，如果前面問(wèn)題回答的不錯(cuò)，會(huì)補(bǔ)充兩個(gè)編程習(xí)慣問(wèn)題。
1.在你寫(xiě)過(guò)的代碼中，你寫(xiě)過(guò)超過(guò)2層的循環(huán)嗎，怎么實(shí)現(xiàn)的？
回答：沒(méi)有，就算ok；如果回答有，聽(tīng)一下實(shí)現(xiàn)，如果原因說(shuō)不出來(lái)，扣分。
2.在你寫(xiě)過(guò)的代碼中，if語(yǔ)句最多嵌套了幾層，最多有多少分支，怎么實(shí)現(xiàn)的？
回答：3層以下，就算ok；如果回答3層以上，聽(tīng)一下實(shí)現(xiàn)，如果原因說(shuō)不出來(lái)，扣分。
4，5個(gè)分支，就算ok；如果回答5個(gè)分支以上，聽(tīng)一下實(shí)現(xiàn)，如果原因說(shuō)不出來(lái)，扣分。
最后兩個(gè)題其實(shí)比較陷阱，但是正是一個(gè)反向的思考才能了解面試者之前的工作狀態(tài)。
如果面試者在平日里就有好的習(xí)慣，自然不用擔(dān)心。
優(yōu)質(zhì)工程師考試問(wèn)答知識(shí)庫(kù)
