大資料概述
阿新 • • 發佈:2020-10-21
大資料概述
1.大資料時代
1.1三次資訊化浪潮
資訊化浪潮 | 發生時間 |
---|---|
第一次浪潮(個人計算機) | 1980年前後 |
第二次浪潮(網際網路) | 1995年前後 |
第三次浪潮(網際網路、雲端計算和大資料) | 2010年前後 |
1.2資訊科技為大資料時代提供技術支撐
- 儲存裝置容量不斷增加
- CPU處理能力大幅提升
- 網路頻寬不斷增加
1.3資料產生方式的變革促成大資料時代的來臨
- 運營式系統階段(資料庫的出現使得資料管理的複雜度大大降低)
- 使用者原創內容階段
- 感知式系統階段
2.大資料概念
- 資料量大
- 資料型別繁多
- 處理速度快
- 價值密度低
3.大資料的影響
1. 在思維方式方面,大資料顛覆了傳統的思維方式
- 全樣而非抽樣
- 效率而非精確
- 相關而非因果
2.社會發展,大資料決策逐漸成為一種新的決策方式
3.就業方面,使得資料科學家成為熱門職業
4.人才培養,將很大程度上改變中國高校資訊科技相關專業的現有教學和科研體制
4.大資料的應用
5.大資料關鍵技術
6.大資料計算模式
7.大資料產業
8.大資料與雲端計算、物聯網的關係
- 雲端計算、大資料和物聯網代表了IT領域最新的技術發展趨勢,三者相輔相成,既有聯絡又有區別
8.1雲端計算
8.1.1概念
雲端計算實現了通過網路提供可伸縮的、廉價的分散式計算能力,使用者只需要在具備網路接入條件的地方,就可以隨時隨地獲得所需的各種IT資源
8.1.2關鍵技術
雲端計算關鍵技術包括:虛擬化、分散式儲存、分散式計算、多租戶等
8.1.3雲端計算資料中心
- 雲端計算資料中心是一整套複雜的設施,包括刀鋒伺服器、寬頻網路連線、環境控制裝置、監控裝置以及各種安全裝置等
- 資料中心是雲端計算的重要載體,為雲端計算提供計算、儲存、頻寬等各種硬體資源,為各種平臺和應用提供執行支撐環境
- 全國各地推進資料中心建設
8.2物聯網
8.2.1概念
物聯網是物物相連的網際網路,是網際網路的延伸,它利用區域性網路或網際網路等通訊技術把感測器、控制器、機器、人員和物等通過新的方式聯在一起,形成人與物、物與物相聯,實現資訊化和遠端管理控制
8.2.2關鍵技術
物聯網中的關鍵技術包括識別和感知技術(二維碼、RFID、感測器等)、網路與通訊技術、資料探勘與融合技術等