一、mapreduce是根據(jù)map函數(shù)里調(diào)用的emit函數(shù)的第一個(gè)參數(shù)來(lái)進(jìn)行分組的
Map-Reduce是一種計(jì)算模型,簡(jiǎn)單的說(shuō)就是將大批量的工作(數(shù)據(jù))分解(MAP)執(zhí)行,然后再將結(jié)果合并成最終結(jié)果(REDUCE)。
使用 MapReduce 要實(shí)現(xiàn)兩個(gè)函數(shù) Map 函數(shù)和 Reduce 函數(shù), Map 函數(shù)調(diào)用 emit(key, value), 遍歷 collection 中所有的記錄, 將key 與 value 傳遞給 Reduce 函數(shù)進(jìn)行處理。Map 函數(shù)必須調(diào)用 emit(key, value) 返回鍵值對(duì)。
參數(shù)說(shuō)明:
1. map :映射函數(shù) (生成鍵值對(duì)序列,作為 reduce 函數(shù)參數(shù))。
2. reduce 統(tǒng)計(jì)函數(shù),reduce函數(shù)的任務(wù)就是將key- values變成key-value,也就是把values數(shù)組變成一個(gè)單一的值value。
3. out 統(tǒng)計(jì)結(jié)果存放集合 (不指定則使用臨時(shí)集合,在客戶(hù)端斷開(kāi)后自動(dòng)刪除)。
4. query 一個(gè)篩選條件,只有滿(mǎn)足條件的文檔才會(huì)調(diào)用map函數(shù)。(query。limit,sort可以隨意組合)
5. sort 和limit結(jié)合的sort排序參數(shù)(也是在發(fā)往map函數(shù)前給文檔排序),可以?xún)?yōu)化分組機(jī)制
6. limit 發(fā)往map函數(shù)的文檔數(shù)量的上限(要是沒(méi)有l(wèi)imit,單獨(dú)使用sort的用處不大)
//測(cè)試數(shù)據(jù)準(zhǔn)備 db.user.drop(); for(var i=10; i 100; i++) { db.user.insert({ name:"user" + i, age : Math.floor(Math.random()*10)+ 20, sex : Math.floor(Math.random()*3)%2 ==0 ? 'M' : 'F', chinese : Math.floor(Math.random()*50)+50, math : Math.floor(Math.random()*50)+50, english : Math.floor(Math.random()*50)+50, class : "C" + i%5 }) } // runCommand運(yùn)行方式 db.sales.runCommand({ mapreduce: "user", map: function(){ if(this.class == "C1") { emit(this.age, this.age); } }, reduce: function(key,values){ var maxValue = Max(key, values); return maxValue; }, { out: {inline: 1}, query : "", sort: "", limit: "", } }) db.user.mapReduce( // 映射函數(shù),里面會(huì)調(diào)用emit(key,value),集合會(huì)按照你指定的key進(jìn)行映射分組。 function(){ // 按照emit函數(shù)的第一個(gè)參數(shù)進(jìn)行分組 // 第二個(gè)參數(shù)的值會(huì)傳遞給reduce emit(this.age, this); }, // 簡(jiǎn)化函數(shù),會(huì)對(duì)map分組后的數(shù)據(jù)進(jìn)行分組簡(jiǎn)化 // 在reduce(key,value)中的key就是emit中的key, vlaues為emit分組后的emit(value)的集合 function(key, values){ var maxValue = Math.max(key, values); return maxValue; }, // 可選參數(shù) { query: {sex: "F"}, out: "result", sort : {}, limit : 0 } )
執(zhí)行結(jié)果:
{ "result" : "result", // 存放的集合名 "timeMillis" : 23, "counts" : { "input" : 29, // 傳入文檔的個(gè)數(shù) "emit" : 29, // 此函數(shù)被調(diào)用的次數(shù) "reduce" : 6, // 此函數(shù)被調(diào)用的次數(shù) "output" : 8 // 最后返回文檔的個(gè)數(shù) }, "ok" : 1 }
查看返回的結(jié)果:
db.result.find()
標(biāo)簽:本溪 鶴崗 邯鄲 丹東 昭通 大理 景德鎮(zhèn) 吉安
巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《MongoDB學(xué)習(xí)筆記之MapReduce使用示例》,本文關(guān)鍵詞 MongoDB,學(xué)習(xí),筆記,之,MapReduce,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問(wèn)題,煩請(qǐng)?zhí)峁┫嚓P(guān)信息告之我們,我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無(wú)關(guān)。