一、Map端的shuffle Map端會(huì)處理輸入數(shù)據(jù)并產(chǎn)生中間結(jié)果，這個(gè)中間結(jié)果會(huì)寫到本地磁盤，而不是HDFS。每個(gè)Map的輸出會(huì)先寫到內(nèi)存緩沖區(qū)中，當(dāng)寫入的數(shù)據(jù)達(dá)到設(shè)定的閾值時(shí)，系統(tǒng)將會(huì)啟動(dòng)一個(gè)線程將緩沖區(qū)的數(shù)據(jù)寫到磁盤，這個(gè)過(guò)程叫做spill。 在spill寫入之前，會(huì)先進(jìn)行二次排序，首先根據(jù)數(shù)據(jù)所屬的partition進(jìn)行排序，然后每個(gè)partition中的數(shù)據(jù)再按key來(lái)排序。partition的目的是將記錄劃分到不同的Reducer上去，以期望能夠達(dá)到負(fù)載均衡，以后的Reducer就會(huì)根據(jù)partition來(lái)讀取自己對(duì)應(yīng)的數(shù)據(jù)。接著運(yùn)行combiner(如果設(shè)置了的話)，combiner的本質(zhì)也是一個(gè)Reducer，其目的是對(duì)將要寫入到磁盤上的文件先進(jìn)行一次處理，這樣，寫入到磁盤的數(shù)據(jù)量就會(huì)減少。最后將數(shù)據(jù)寫到本地磁盤產(chǎn)生spill文件(spill文件保存在{}指定的目錄中，Map任務(wù)結(jié)束后就會(huì)被刪除)。 最后，每個(gè)Map任務(wù)可能產(chǎn)生多個(gè)spill文件，在每個(gè)Map任務(wù)完成前，會(huì)通過(guò)多路歸并算法將這些spill文件歸并成一個(gè)文件。至此，Map的shuffle過(guò)程就結(jié)束了。 二、Reduce端的shuffle Reduce端的shuffle主要包括三個(gè)階段，copy、sort(merge)和reduce。 首先要將Map端產(chǎn)生的輸出文件拷貝到Reduce端，但每個(gè)Reducer如何知道自己應(yīng)該處理哪些數(shù)據(jù)呢？因?yàn)镸ap端進(jìn)行partition的時(shí)候，實(shí)際上就相當(dāng)于指定了每個(gè)Reducer要處理的數(shù)據(jù)(partition就對(duì)應(yīng)了Reducer)，所以Reducer在拷貝數(shù)據(jù)的時(shí)候只需拷貝與自己對(duì)應(yīng)的partition中的數(shù)據(jù)即可。每個(gè)Reducer會(huì)處理一個(gè)或者多個(gè)partition，但需要先將自己對(duì)應(yīng)的partition中的數(shù)據(jù)從每個(gè)Map的輸出結(jié)果中拷貝過(guò)來(lái)。 接下來(lái)就是sort階段，也稱為merge階段，因?yàn)檫@個(gè)階段的主要工作是執(zhí)行了歸并排序。從Map端拷貝到Reduce端的數(shù)據(jù)都是有序的，所以很適合歸并排序。最終在Reduce端生成一個(gè)較大的文件作為Reduce的輸入。 最后就是Reduce過(guò)程了，在這個(gè)過(guò)程中產(chǎn)生了最終的輸出結(jié)果，并將其寫到HDFS上。 ?讀： 1、跟namenode通信查詢?cè)獢?shù)據(jù)，找到文件塊所在的datanode服務(wù)器 2、挑選一臺(tái)datanode（就近原則，然后隨機(jī)）服務(wù)器，請(qǐng)求建立socket流 3、datanode開(kāi)始發(fā)送數(shù)據(jù)（從磁盤里面讀取數(shù)據(jù)放入流，以packet為單位來(lái)做校驗(yàn)） 4、客戶端以packet為單位接收，現(xiàn)在本地緩存，然后寫入目標(biāo)文件 ? 寫： 1、與namenode通信請(qǐng)求上傳文件，namenode檢查目標(biāo)文件是否已存在，父目錄是否存在 2、namenode返回是否可以上傳 3、client請(qǐng)求第一個(gè) block該傳輸?shù)侥男ヾatanode服務(wù)器上 4、namenode返回3個(gè)datanode服務(wù)器ABC 5、client請(qǐng)求3臺(tái)dn中的一臺(tái)A上傳數(shù)據(jù)（本質(zhì)上是一個(gè)RPC調(diào)用，建立pipeline），A收到請(qǐng)求會(huì)繼續(xù)調(diào)用B，然后B調(diào)用C，將真?zhèn)€pipeline建立完成，逐級(jí)返回客戶端 6、client開(kāi)始往A上傳第一個(gè)block（先從磁盤讀取數(shù)據(jù)放到一個(gè)本地內(nèi)存緩存），以packet為單位，A收到一個(gè)packet就會(huì)傳給B，B傳給C；A每傳一個(gè)packet會(huì)放入一個(gè)應(yīng)答隊(duì)列等待應(yīng)答 7、當(dāng)一個(gè)block傳輸完成之后，client再次請(qǐng)求namenode上傳第二個(gè)block的服務(wù)器