你想知道的大數據知識都在這裏
歡迎大家前往騰訊雲+社區，獲取更多騰訊海量技術實踐幹貨哦~
毋庸置疑，現如今是屬於大數據（Big Data）的，革命性的時代。從社交媒體到企業，每時每刻都在產生大量的數據。無所作為，從而把這樣的寶藏白白浪費掉是及其愚蠢的。企業已經學會了收集大數據以獲取更高的利潤，並提供更好的服務以及更深入地了解其目標客戶。
大數據主要是指企業中日常生成的，大量的有組織以及無組織的數據。在這種情況下，組織如何處理這些數據，與數據量是無關的。對大數據分析可以產生改善戰略商務決策（Strategic business decision-making）的洞察力。
大數據的重要性
如前所述，大數據的價值不在於您擁有多少信息，而在於您要如何利用它。您可以從任何一個點收集數據（並對其進行檢查），以找到下面四種情況的解決方案：
- 物價回降（Price reductions）
- 時間縮減（Time reductions）
- 新產品開發，以及改進產品
- 做出明智的判斷
當您耗費大量精力分析聚合大數據時，下面這些業務關聯的任務就可能實現：
- 實時識別故障原因、問題以及缺陷。
- 根據客戶的購買歷史，在銷售端（Point-of-sale）生成憑證（Voucher）。
- 在幾分鐘內計算出特定功能的全部風險。
- 在欺騙行為影響到您的組織之前，將其檢測出來。
圖1 大數據基礎結構
大數據實例
- 汽車行業：福特現代混合動力車型 Fusion，它每小時產生高達 25GB 的數據。這些數據可以用於解釋駕駛習慣和駕駛模式，以預防意外事故，轉向碰撞等情況。
- 娛樂：電子遊戲行業每天都在使用大數據技術來檢查超過 500GB 的有組織數據，以及 4TB 的功能性積壓（Functional backlogs）。
- 社交媒體效應：每天，社交媒體網站 Facebook 的數據庫中都會增加大約 500TB 的新數據。
大數據類型
大數據可以分為以下三大類。
- 結構化：可以以固定數據格式存儲、處理和改進的數據稱為結構化數據。隨著時間的推移，如今計算機科學已經能夠開發使用這些數據的方法，並從中獲得價值。不過近來我們正預測與龐大數量的這類數據相關的問題，這些數據量將成為 ZB（10 億 TB 等於 1ZB）級別的。
- 非結構化：非映射（Unmapped）形式的數據稱為非結構化數據。如何從大量的非結構化數據中獲取價值，這其中充滿挑戰。例如，包含了簡單文本文件、圖片、音頻，以及視頻錄像之集合的異構數據源（Heterogeneous data source），這些數據將難以進行分析。當下，組織擁有大量可用的數據，但不幸的是，他們並何從下手以提取數據的價值，因為這些數據是未經處理的形式。
- 半結構化：這可以包含兩種形式的數據。另外，我們可以將半結構化數據視為一種形式上的結構，但實際上數據本身並未定義。例如，XML 文件中所描述的數據。
大數據的四個 "V" 值
一些共同特征如圖 2 所示。
- 體積（Volume）：數據量是決定大數據價值的重要因素。因此，體積是處理大數據時需要考慮的一個屬性。
- 種類（Variety）：指的是各種數據源以及數據的性質，這其中既有結構的，也有非結構化的。曾經，電子表格和數據庫是大多數實際應用中唯一考慮的數據來源。但現在，調查應用中還會考慮到電子郵件，圖片，錄音，以及監控設備等形式的數據。
- 速率（Velocity）：該術語是指 “數據是如何迅速生成的”。數據創建和提煉的速率要有多快，才能滿足特定需求，這決定了它的真正潛力。大數據的速率是數據從業務流程、應用程序日誌、網站等來源流出的速度。大數據流動的速度非常高，幾乎從不間斷。
- 精確性（Veracity）：這是指所生成數據的各種格式之間的不兼容性，這限制了挖掘或管理數據的過程。
圖2 大數據的特征
大數據架構
大數據架構包含一致的、可擴展的，以及完全計算機化的數據管道（Data pipelines）。構建這種基礎架構需要具有深入了解堆中的每一層的能力，即從集群設計（Cluster design）開始，直到設置負責處理數據的頂級鏈（Top chain）。圖 3 展示了堆棧的復雜性以及數據管道工程如何觸及其每個部分。
在圖 3 中，數據管道收集原始數據並將其轉化為有價值的東西。同時，大數據工程師必須計劃好數據會發生什麽情況，數據存儲在集群中的方式，內部許可的訪問方式，用於處理數據的設備，以及提供給外界訪問的模式。那些設計和實現這種架構的人被稱為大數據工程師。
大數據技術
眾所周知，大數據的主題非常廣泛，並且滲透到了許多新技術的發展中。以下對一些技術的概述旨在幫助用戶對大數據進行改造。
1. MapReduce（映射化簡）：這使得任務的實現具有能夠跨越數千臺服務器的可擴展性。
- Map：將輸入數據集轉換為一組不同的值。
- Reduce： 將 Map 任務的輸出聯合起來，形成一組簡化的值。
2. Hadoop：這是 MapReduce 最令人欽佩的執行方式，它是一個完全開源的處理大數據的平臺。Hadoop 足夠靈活，它能夠處理多種數據源，例如聚合數據以進行大規模處理，從數據庫讀取數據等。
3. Hive：這是一個類似 SQL 的鏈接，允許 BI（商業智能） 應用程序在 Hadoop 集群旁運行查詢。這是由 Facebook 開發的，它已經被開源了一段時間，並且它還是 Hadoop 框架的更高層次的概念。此外，它允許每個人對存儲在 Hadoop 集群中的數據進行查詢，並改進了 Hadoop 的功能，使其成為了 BI 用戶的理想選擇。
圖3 大數據體系結構
大數據處理的優勢
處理大數據的能力具有多種益處。
- 企業可以在進行決策時利用外腦（Outside brainpower）：使用來自搜索引擎以及 Facebook 和 Twitter 等網站的社交數據的權利，可以幫助企業改進商務戰略。
- 增強客戶服務：客戶響應系統正在被使用了大數據技術的新系統所取代。在這些新系統中，大數據技術用於理解與評估消費者的反應。
- 在早期識別服務風險：可以事先識別風險因素，以提供完美的數據。
- 提高操作能力：大數據技術可用於在決定將哪些數據移入數據倉庫之前，為新數據構建暫存區（Staging areas）或著陸區（Landing zones）。此外，這種大數據和數據倉庫技術的結合可幫助企業繞過不經常訪問的數據。
挑戰
雖然很容易陷入各種關於大數據的炒作之中，但它未得到充分利用的原因之一就是，在使用到它的技術中仍有許多挑戰需要解決。其中一些挑戰如下：
- 公司面臨著的問題是：識別正確的數據，以及審查如何最好地利用它們。構建與數據有關的商業案例，這往往意味著形成 “開箱即用（Out-of-the-box）” 的意見，以及尋找與傳統商業模式截然不同的收入模式。
- 公司不情願去挑選同時具有使用新技術和審查數據（以發掘重要的商業洞察）能力的優秀人才。
- 大量數據點還沒有進行鏈接，公司通常沒有合適的平臺來整合和管理整個企業的數據。
- 數據世界的技術發展日新月異。借用數據之力，意味著能夠與良好的、具有開拓性的夥伴一起運營 —— 這些公司可以幫助創建正確的 IT 設計，從而以良好的組織方式適應環境的變化。
大數據的可訪問性（Accessibility），便宜的硬件產品，以及新的信息管理和分析軟件聚合在一起，在數據分析的歷史中創造了獨特的時刻。我們現在有能力快速且經濟高效地審查這些驚人的數據集，這是有史以來的第一次。這種能力象征著真正的飛躍，同時也象征著一個在工作效率、收入和成功方面大幅進步的機會。
問答
Pandas“Group By”如何查詢HDFStore中的大數據？
相關閱讀
大數據安全市場現狀和需求分析
NBA＋大數據，數字經濟重塑體育帝國！
大數據與互聯網醫療之發展淺談
此文已由作者授權騰訊雲+社區發布，原文鏈接：https://cloud.tencent.com/developer/article/1131358?fromSource=waitui
你想知道的大數據知識都在這裏