MapReduce方法的理解和遇到的問題總結
昨天聯系了一個用map和reduce來編寫wordcount當時寫出來感覺自己有點懂了,但是今天做到天氣站求天氣平均數的時候遇到了問題。自己摸索出來了一點歪門邪道。所謂map只管數據中一行,確定要傳的key和value。而reduce則是對所有的value值進行計算,而不是只有一行的。在問題中出現類型的錯誤。通過將Doule換成Int類型解決。
在對數據進行可視化的時候,tomcat突然就炸了,就連普通的網頁就不能跑,後來就開始打不開tomcat。後來發現是maven中導入的tomcat包,和本地引入的tomcat是沖突的,所以發生矛盾,從中除去一個就可以解決,最好修改 tomcat的配置文件。
在ercharts顯示的時候,從後臺獲取數據之後不能顯示出來,檢查許久,數據確實是從後臺傳回來了已經,確保無誤。這個問題在於有些echarts可以直接用mychart.setOption執行,而有的要用先寫一個option方法,在下面用mychart.setOption(option)來進行實現。
還有在將項目部署在虛擬機的tomcat的時候,一定要慎重,用maven部署之後,虛擬機的tomcat原有的root文件內容被覆蓋,本機就會出現不能訪問虛擬機tomcat的問題。刪除虛擬機的root文件,將對應版本號的root文件復制進去即可。
還有就是MapReduce在計算過程中可能會提示winutils不存在,如果不能跑則配置環境變量,將hadoop.dll winutils libwinutils 拷入system32中,並且把winutils拷入在hadoop的bin目錄下即可
MapReduce方法的理解和遇到的問題總結