1. 程式人生 > >大資料的四大特點與六大行業領域應用

大資料的四大特點與六大行業領域應用

說起大資料,估計大家都覺得只聽過概念,但是具體是什麼東西,怎麼定義,沒有一個標準的東西,因為在我們的印象中好像很多公司都叫大資料公司,業務形態則有幾百種,感覺不是很好理解,所以我建議還是從字面上來理解大資料,在維克托邁爾-舍恩伯格及肯尼斯庫克耶編寫的《大資料時代》提到了大資料的4個特徵:

很多初學者,對大資料的概念都是模糊不清的,大資料是什麼,能做什麼,學的時候,該按照什麼線路去學習,學完往哪方面發展,想深入瞭解,想學習的同學歡迎加入大資料學習qq群:957205962,有大量乾貨(零基礎以及進階的經典實戰)分享給大家,並且有清華大學畢業的資深大資料講師給大家免費授課,給大家分享目前國內最完整的大資料高階實戰實用學習流程體系

1.大量

 

大資料的特徵首先就體現為“大”,從先Map3時代,一個小小的MB級別的Map3就可以滿足很多人的需求,然而隨著時間的推移,儲存單位從過去的GB到TB,乃至現在的PB、EB級別。只有資料體量達到了PB級別以上,才能被稱為大資料。1PB等於1024TB,1TB等於1024G,那麼1PB等於1024*1024個G的資料。隨著資訊科技的高速發展,資料開始爆發性增長。社交網路(微博、推特、臉書)、行動網路、各種智慧工具,服務工具等,都成為資料的來源。淘寶網近4億的會員每天產生的商品交易資料約20TB;臉書約10億的使用者每天產生的日誌資料超過300TB。迫切需要智慧的演算法、強大的資料處理平臺和新的資料處理技術,來統計、分析、預測和實時處理如此大規模的資料。

 

2.高速

 

就是通過演算法對資料的邏輯處理速度非常快,1秒定律,可從各種型別的資料中快速獲得高價值的資訊,這一點也是和傳統的資料探勘技術有著本質的不同。大資料的產生非常迅速,主要通過網際網路傳輸。生活中每個人都離不開網際網路,也就是說每天個人每天都在向大資料提供大量的資料。並且這些資料是需要及時處理的,因為花費大量資本去儲存作用較小的歷史資料是非常不划算的,對於一個平臺而言,也許儲存的資料只有過去幾天或者一個月之內,再遠的資料就要及時清理,不然代價太大。基於這種情況,大資料對處理速度有非常嚴格的要求,伺服器中大量的資源都用於處理和計算資料,很多平臺都需要做到實時分析。資料無時無刻不在產生,誰的速度更快,誰就有優勢。

 

3.多樣

 

如果只有單一的資料,那麼這些資料就沒有了價值,比如只有單一的個人資料,或者單一的使用者提交資料,這些資料還不能稱為大資料。廣泛的資料來源,決定了大資料形式的多樣性。比如當前的上網使用者中,年齡,學歷,愛好,性格等等每個人的特徵都不一樣,這個也就是大資料的多樣性,當然瞭如果擴充套件到全國,那麼資料的多樣性會更強,每個地區,每個時間段,都會存在各種各樣的資料多樣性。任何形式的資料都可以產生作用,目前應用最廣泛的就是推薦系統,如淘寶,網易雲音樂、今日頭條等,這些平臺都會通過對使用者的日誌資料進行分析,從而進一步推薦使用者喜歡的東西。日誌資料是結構化明顯的資料,還有一些資料結構化不明顯,例如圖片、音訊、視訊等,這些資料因果關係弱,就需要人工對其進行標註。

 

4.價值

 

這也是大資料的核心特徵。現實世界所產生的資料中,有價值的資料所佔比例很小。相比於傳統的小資料,大資料最大的價值在於通過從大量不相關的各種型別的資料中,挖掘出對未來趨勢與模式預測分析有價值的資料,並通過機器學習方法、人工智慧方法或資料探勘方法深度分析,發現新規律和新知識。你如果有1PB以上的全國所有20-35年輕人的上網資料的時候,那麼它自然就有了商業價值,比如通過分析這些資料,我們就知道這些人的愛好,進而指導產品的發展方向等等。如果有了全國幾百萬病人的資料,根據這些資料進行分析就能預測疾病的發生,這些都是大資料的價值。大資料運用之廣泛,如運用於農業、金融、醫療等各個領域,從而最終達到改善社會治理、提高生產效率、推進科學研究的效果。

 

大資料已經成為過去幾年中大部分行業的遊戲規則,行業領袖,學者和其他知名的利益相關者都同意這一點, 隨著大資料繼續滲透到我們的日常生活中,圍繞大資料的炒作正在轉向實際使用中的真正價值。

很多初學者,對大資料的概念都是模糊不清的,大資料是什麼,能做什麼,學的時候,該按照什麼線路去學習,學完往哪方面發展,想深入瞭解,想學習的同學歡迎加入大資料學習qq群:957205962,有大量乾貨(零基礎以及進階的經典實戰)分享給大家,並且有清華大學畢業的資深大資料講師給大家免費授課,給大家分享目前國內最完整的大資料高階實戰實用學習流程體系