顯然，對於大數據行業的生態，未來大數據領域都有哪些發展機會、不同崗位需要具備什麽能力，很多人都不了解。

　　大數據業務流程有4個基本環節，分別是業務理解、數據準備、數據挖掘、分析應用。在這個流程裏有三個職能領域：大數據系統研發，承擔整個運營系統的構建與維護、數據準備、平臺與工具開發;大數據挖掘，負責關鍵模型應用與研究工作;大數據分析應用：既是外部需求的接入者，也是解決方案的輸出者，很多時候也會承擔全盤統籌的角色。

　　大數據抽取轉換及加載過程(ETL)是大數據的一個重要處理環節，Extract即是從業務數據庫中抽取數據，Transform即是根據業務邏輯規則對數據進行加工的過程，Load即是把數據加載到數據倉庫的過程。

　　數據抽取工具實現db到hdfs數據導入功能，提供高效的分布式並行處理能力，可以采用數據庫分區、按字段分區、分頁方式並行批處理抽取db數據到hdfs文件系統中，能有效解決按字段分區數據導致各分區數據不均勻導致作業負載不均衡的問題。

　　數據采集可以是歷史數據采集也可以是實時數據采集，可以采集存儲在數據庫這種結構化數據，也可以采集各類文本、圖片、圖像和音頻、視頻 等等非結構化數據，另外還可以采集結構變化很大的半結構化數據，數據采集完畢後可以直接存儲在交通狀態分析平臺上(存儲方式有兩種：關系型存儲、非關系型存儲)，經過處理、存儲的數據可以進行批量輸出、實時輸出以及高並發輸出接口。

很多初學者，對大數據的概念都是模糊不清的，大數據是什麽，能做什麽，學的時候，該按照什麽線路去學習，學完往哪方面發展，想深入了解，想學習的同學歡迎加入大數據學習qq群：458345782，有大量幹貨（零基礎以及進階的經典實戰）分享給大家，並且有清華大學畢業的資深大數據講師給大家免費授課，給大家分享目前國內最完整的大數據高端實戰實用學習流程體系。

　　1) 數據采集

　　支持使用傳統ETL的方式從關系數據庫(Oracle、DB2、SQL Server、MySQL、PostgreSQL)獲取關系型數據，保存到分布式存儲系統中。支持使用自主研發的適配器、組件從Excel、文本文件解析數據，保存到分布式存儲，以及使用適配器采集視頻、音頻等。

　　支持從Kafka實時接收業務數據，保存到分布式存儲系統中。

　　支持通過Flume實時獲取日誌數據包括從Linux console、RPC(Thrift-RPC)、文本文件、Unix tail、syslog日誌系統獲取日誌數據，並保存到分布式數據庫中。

　　2)分布式存儲和訪問

　　分布式存儲系統用於將數據分散存儲在多臺獨立的設備上，以避免傳統的集中式存儲導致系統性能、可靠性瓶頸的產生的問題，以滿足大規模存儲應用的需要。

　　支持采用HDFS(hadoop Distribution File System)、Hive、HBase作為分布式存儲系統。這些Hadoop核心組件同時也提供了底層的訪問接口，用於數據訪問。

　　3)數據處理

　　可為每個作業分配獨立的作業任務處理工作線程和任務執行隊列，作業之間互不幹擾 。分布式計算將該應用分解成許多小的部分，分配給多臺計算機進行處理，以達到節約整體計算時間，大大提高計算效率的目的。

　　4)數據分享

　　支持以HTTP Restful接口方式、Web Service接口方式，以及JDBC/ODBC等方式分享數據。可采用批量輸出、實時輸出和高並發輸出的形式，不同的輸出形式可以使用不同的大數據組件來完成。

程序員轉行大數據需要具備什麽能力？