大資料技術介紹（一）
早在上世紀八十年代，著名未來學家托夫勒在所著的《第三次浪潮》中提出了“大資料”的概念。《自然》雜誌在2008年9月推出了名為“大資料”的封面專欄。從2009年開始“大資料”開始成為網際網路技術行業中的熱門詞彙。在中國，是從2012開始，大資料的時代才真正大面積的開始流行，為人們所知的。
在這裡我還是要推薦下我自己建的大資料學習交流qq裙： 957205962， 裙 裡都是學大資料開發的，如果你正在學習大資料 ，小編歡迎你加入，大家都是軟體開發黨，不定期分享乾貨（只有大資料開發相關的），包括我自己整理的一份2018最新的大資料進階資料和高階開發教程，歡迎進階中和進想深入大資料的小夥伴
雖然大資料是最近十年才出現的一個詞彙，但它的本質早已為人們所知，而且幾千年以來，人們都在利用它為自己服務。
大資料的本質就是資料、資訊、情報，只不過隨著歷史發展，科技進步，人們在利用它的時候，採取的手段和方法在不斷進化，不斷完善。而且隨著時代變遷和其內涵的外延以及處理手段的日益技術化、科學化，人們對它的稱謂也不斷改變。
第一章 從遠古到當代人們的資料觀
遠在我國的春秋時期，百世兵家之師就提出了“知己知彼，百戰不殆”。什麼意思呢？就是要清醒的認識自己的情況，準確地摸清敵人的情況，就能打勝仗。要了解哪些情況呢？ 肯定是要了解軍隊的情況，國家的情況，民眾的情況。尤其是軍隊的情況，包括有多少人馬，步兵多少，戰車多少，糧草如何，將帥能力如何，士兵士氣如何，等等。瞭解了這些情況後，更重要的是要加以分析，分析完了後作出判斷，然後按照判斷做出部署，然後就是按照部署好的軍力去打擊對方，將對方擊敗。這不就是資料收集、資料整理和資料分析的套路嘛。
大家都知道諸葛孔明未出茅廬而有三分天下的斷言。他是神仙嗎？顯然不是。他何以知之？其實他是利用資料分析的套路得到的，只是在當時那個時代，訊息閉塞，也沒有像樣的分析技術和科學的分析方法，得到相關資料資訊雖有可能，但能夠對得到的資訊進行分析判斷就是個人能力和眼界的問題了。諸葛亮小時候從山東沂南縣就去投奔他的叔父了，他叔父是豫章太守，也就是現在的南昌市委書記和市長。家裡藏書肯定多，全國各地官僚情況資訊和當時各地的形勢變化情況的資訊應該都能搞到，諸葛先生是個喜歡讀書的人，又喜歡糾結一夥人沒事就談論天下大勢，久而久之，能不對全國情況有個瞭解？北有曹操強權，已經很穩固了。東南有孫權勢力，而且歷經三代，也很鞏固了。而荊襄九郡的主人劉表和益州的主人劉璋，都是沒有能力的官宦之家，在天下鉅變的時代，他們是很難守得住地盤的，如果這時候有強人能夠出現，還是很可能把這些地方收歸囊中，獨立門戶，而與北方曹操，東南孫權形成三足鼎立之勢的。所以諸葛亮有資訊渠道，有分析判斷的能力，即使沒有現代的分析技術，用他聰明的大腦，睿智的智商，擴開的眼界，做出三分天下的預言，也是很自然的事情。但歸根結底，也是走的資料收集、資料整理和資料分析的套路。
大家都知道我們的徐向前元帥和粟裕將軍打仗都很有一套，敗仗很少。他們打仗對情報的收集和分析可不是一般泛泛的做法，據說他們對敵我雙方瞭解都很深入，有多少支部隊，每支部隊有多少士兵，多少火炮，多少重機槍，多少輕機槍，多少步槍，等等，都深入瞭解，然後按照分析，進行排兵佈陣，這樣的打法肯定能勝利啊。
再舉個特別突出的例子，是林彪元帥運用資料分析迅速取得了戰役勝利。遼瀋戰役期間，東北野戰軍以雷霆之勢攻克錦州後，迅速揮師北上與趕來增援的廖耀湘幾十萬人馬的兵團在遼西碰面，一時間雙方形成了混戰局面。按照林彪的一貫要求，所屬各縱隊及師團每天都必須上報當日的戰況和繳獲情況。在一天深夜，值班參謀正宣讀某師上報的資料，林彪猛然叫停，問道：“剛才唸的在胡家窩棚那場戰鬥的繳獲，你們聽到了嗎？”林彪見無人出聲，便連問了三句：為什麼那裡繳獲的短槍與長槍的比例比其他戰鬥高？為什麼那裡繳獲和擊毀的小車與大車的比例比其他戰鬥高？為什麼在那裡俘虜和擊斃的軍官與士兵的比例比其他戰鬥高？人們還沒來得及思索和回答，林彪就指著地圖上的那個點說：“我斷定，敵人的指揮所就在這裡！”。然後命令所有的部隊向胡家窩棚衝擊。果不其然，廖耀湘這條“大魚”在胡家窩棚附近被逮個正著，他之前還在沾沾自喜從上一次衝突中跑掉了呢。
在這裡我還是要推薦下我自己建的大資料學習交流qq裙： 957205962， 裙 裡都是學大資料開發的，如果你正在學習大資料 ，小編歡迎你加入，大家都是軟體開發黨，不定期分享乾貨（只有大資料開發相關的），包括我自己整理的一份2018最新的大資料進階資料和高階開發教程，歡迎進階中和進想深入大資料的小夥伴
縱觀歷史長河，人們早就知道進行資料資訊的收集、整理、分析，然後據此進行部署行動，從而達到自己的目標。這與當前的大資料分析套路完全一致，沒有本質區別。只是當時侷限於資訊來源缺乏、分析方法簡陋、沒有分析工具可用，只能靠優秀人物的大腦來進行單機分析，導致資料分析效果受侷限而已。當然如果領頭大哥沒有分析透徹或者根本就不進行資料資訊的分析，那失敗肯定是難以避免的了。歷史上有多少成王敗寇的故事啊。而其中很多失敗的悲劇，無不是資料分析不足，判斷失誤，釀成了歷史悲劇，讓人扼腕痛惜！