大數據與批量調度的緊密關系

當大數據在手機端花枝招展地跳躍時，你很自豪地說，我知道它是怎麽來的，它是從網絡另一端來的。可當碰到一個刨根問底的家夥，他又問，那網絡另一端的數據又是怎麽來的，你是否一臉蒙逼？不，你可能說，作為一枚IT男神，我知道很多情況下，它是一個叫調度的東東指揮著一大群小家夥程序從四面八方不斷鼓搗來的。沒錯，大數據不管你熟不熟，它總是天天在你面前晃動，而那個叫調度神秘的東西，只是和你隔了一張網。

實際上，站在技術的角度，很多時候，調度和大數據就是那麽如影相隨。如果說把大數據的應用分前臺與後臺的話，前臺就是怎麽展示數據、怎麽用數據，而後臺就是怎麽準備數據。要用東西，不正是先要準備好東西嗎？這是客觀基本邏輯道理，數據也如此。而這個數據的準備過程，很多時候，都是調度這個神秘的家夥，指揮這一大群小家夥程序，排好陣、列好隊，每個小家夥程序各司其職，把千千萬萬、形形色色的數據搬來搬去，變來變去。最後，終於把這些數據放到該放的地方，該洗的洗了，該計算的計算了，妝化好了，衣服穿好了，一切就緒！當大領導坐在辦公室，喝一口茶，理一下衣服，不經意在屏幕上輕輕一點，滿意地笑了。因為他看到了一組數據，他的宇宙集團今年銷售額一億億，同時系統還告訴他，我們宇宙集團健康運行，而且高速前進，如果在今後的集團運營中，只要在某個地方稍稍變動，明年銷售額一定會是兩億億。只是在領導滿意一笑的瞬間，不知那個叫調度的心情怎樣，不知領導是否知道，就是因為那個調度，天天帶領著一大群程序小兵，在後臺天天忙來忙去，算來算去，才有了領導那不經意的一笑。

這就是大數據與調度的關系，大數據是魅力無窮的，但調度是枯燥無邊的。當你因某個數據激蕩的背後，其實是由調度程序帶領無數小程序，從浩如星海般的大數據中，經過千錘百煉，大浪淘沙，為你做了大量精心的準備。這就好像你到餐廳，點了一份可口的菜，其實背後是相應的總管，帶領著很多員工，買原材料的買原材了，庫管的庫管、廚房打雜的打雜，總之，在你點菜的時候，鍋碗瓢盆、油鹽醬醋、豬肉牛肉大白菜都準備好，甚至洗好，切好了，你一點，大廚立馬揮動大勺，很快做好菜，由前臺服務員與你端上來而已。

其實，作位一枚IT男、技術工程師、數據專家，調度這個詞語，從來都沒離開過你，它經常出現在你方案當中，你用的工具當中。在一張張技術架構圖中，經常有一個大大的方框，叫作業調度，出現在最下邊、最左邊或者最右邊，貫穿著整個數據邏輯層。在你用的工具當中，比如ETL工具、BI工具，裏邊一般都有工作流（它就是調度）、調度器這樣的模塊。實際上，只要在整個應用體系後臺，調度這樣的技術體系，隨處可見，只是因為你的專註度不同，有時你對它視而不見而也。

沒錯，這個世界很復雜，技術世界也同樣復雜，生命有限，精力有限，你要專註，調度是什麽鬼與我無關。但是，你在專註你的領域的同時，一定要關註背後的簡單邏輯。數據，不論是小數據，還是大數據，都是未來的生產資料，我們對其關註的核心，不外乎就是怎麽用的問題。今天，我們可能更多在思索數據該怎麽用，發揮什麽樣的價值，而大量的數據還在數據生產原地停留，睡覺。如果，有一天，我們找到了更多數據的應用方法，那麽，大量的數據一定會被喚醒，而整個社會數據應用的後臺，一定是一片極具繁榮的數據準備場景。而作為數據準備的調度總長，你還不認識它嗎？

大數據與批量調度的緊密關系