1. 程式人生 > >2018年?現在學習大資料晚嗎?

2018年?現在學習大資料晚嗎?

摘要:作為一門對數學和計算機都有較高要求的一門交叉學科,從事大資料是有一定門檻的,但相對於10年以上的職業生涯(國外頂尖資料科學家50-60歲仍然十分活躍),預備半年的時間來學習這個最炙手可熱的技能還是很划算的。
2018年?現在學習大資料晚嗎?

在回答這個問題之前,先看一段對話:

很多初學者,對大資料的概念都是模糊不清的,大資料是什麼,能做什麼,學的時候,該按照什麼線路去學習,學完往哪方面發展,想深入瞭解,想學習的同學歡迎加入大資料學習扣群:458345782,有大量乾貨(零基礎以及進階的經典實戰)分享給大家,並且有清華大學畢業的資深大資料講師給大家免費授課,給大家分享目前國內最完整的大資料高階實戰實用學習流程體系

Q:你好老師,我想問下現在從事大資料相關的行業是不是有點晚了,

現在大資料這塊就業就是開發嗎?市場需求大嗎?

A:現在學不晚,大資料人才供不應求

Q:但是從智聯搜大資料也就是就是幾千個崗位

A:這個職位大部分行業都需要,市場、營銷、運營相關的需求很多。大資料不是職位,你要搜資料分析師、大資料工程師、演算法工程師、資料建模師

Q:哦這樣啊

Q:那請問 我想搞BI,現在和大資料結合的一般是怎樣呢

要會哪些技術呢?是在北京還是上海呢?

A:BI工程師和大資料工程師的要求差不多,需要熟悉資料庫,同時掌握開發工具。相對於傳統的BI工程師,大資料工程師還需要掌握資料倉庫和NoSql

北京提供的大資料相關職位基本佔到了全國的40%以上,是最多的,上海也超過了20%
2018年?現在學習大資料晚嗎?

(資料來源:LinkedIn:2016年中國網際網路最熱職位人才庫報告)

Q:我底子很差 做資料分析師好像沒戲哈哈

高數學的都忘記了,自己做演算法開發沒戲

A:數學往後學比較重要,入門用到了再去補吧.很多演算法不需要知道原理,剛開始知道怎麼用就可以了.

Q:嗯 但是這樣 面試人家一問 就露餡了 用入門的人的公司多嗎?

A:入門理解業務場景和掌握分析方法很重要,工具是其次,數學再次之。

但如果數學功底不行,會限制你到達的高度。

現在,讓我們再回到到第一個問題:現在學大資料晚嗎?這個問題我想從三個方面回答。第一個問題:

大資料是否過熱了?

很多時候我們急於回答問題,卻忽略了問題本身。Big Data這個詞翻譯過來就是大資料,在脫離了語境的情況下,這個詞可能代表“大資料技術”、“大資料集”、“大資料應用”等各種含義,所以要想回答這個問題,並不是件容易的事情。

就這個問題而言,我們可以把它分為“大資料技術是否過熱”和“大資料應用(或者大資料產業)”是否過熱?我們都知道技術和應用相輔相成,技術是基礎,應用是商業價值變現。他們有著各自的發展軌跡,彼此並不完全重合。讓我們先看一下大資料技術和大資料應用的發展階段和歷史趨勢:

概念階段

2011年,麥肯錫全球研究院釋出的《大資料:下一個創新、競爭和生產力的前沿》研究報告最早提出詞彙“Big Data”。

2012年,維克托·舍恩伯格《大資料時代:生活、工作與思維的大變革》的宣傳推廣,大資料概念開始風靡全球。

技術突破階段

2003至2006年,處於圍繞非結構化資料自由探索階段。非結構化資料的爆發帶動大資料技術的快速突破,以2004年Facebook創立為標誌,社交網路的流行直接導致大量非結構化資料的湧現,而傳統處理方法難以應對。此時的熱點關鍵詞較為分散,包括了“Systems”(系統)、“Networks”(網路)、“Evolution”(演化)等,高被引文獻也很少,說明學術界、企業界正從多角度對資料處理系統、資料庫架構進行重新思考,且尚未形成共識。

2006至2009年,大資料技術形成並行運算與分散式系統,為大資料發展的成熟期。Jeff Dean在BigTable基礎上開發了Spanner資料庫(2009)。此階段,大資料研究的熱點關鍵詞再次趨於集中,聚焦“Performance”(效能)、“CloudComputing”(雲端計算)、“MapReduce”(大規模資料集並行運算演算法)、“Hadoop”(開源分散式系統基礎架構)等。

應用階段

2010年以來,隨著智慧手機的應用日益廣泛,資料的碎片化、分散式、流媒體特徵更加明顯,移動資料急劇增長。 近年來大資料不斷地向社會各行各業***,使得大資料的技術領域和行業邊界愈來愈模糊和變動不居,應用創新已超越技術本身更受到青睞。大資料技術可以為每一個領域帶來變革性影響,並且正在成為各行各業顛覆性創新的原動力和助推器。

2012年,美國政府在白宮網站釋出《大資料研究和發展倡議》,這一倡議標誌著大資料已經成為重要的時代特徵。之後美國政府宣佈2億美元投資大資料領域,大資料技術從商業行為上升到國家科技戰略。聯合國在紐約釋出大資料政務白皮書,總結了各國政府如何利用大資料技術更好地服務和保護人民。

2013年,英國政府宣佈注資6億英鎊發展8類高新技術,其中,1.89億英鎊用來發展大資料技術。歐盟實施開放資料戰略,旨在開放歐盟公共管理部門的所有資訊。

2014年5月,美國白宮釋出了2014年全球“大資料”白皮書的研究報告《大資料:抓住機遇、守護價值》。全球大資料產業的日趨活躍,技術演進和應用創新的加速發展,使各國政府逐漸認識到大資料在推動經濟發展、改善公共服務,增進人民福祉,乃至保障國家安全方面的重大意義。

2014年,資料開放運動已覆蓋全球44個國家。×××通過《企業資訊公示暫行條例(草案)》,要求在企業部門間建立互聯共享資訊平臺,運用大資料技術等手段提升監管水平。

2015年,五中全會的“十三五”規劃中將大資料作為國家級戰略。

Gartner是一家領先的市場和技術研究公司,在Gartner 2015新興技術發展週期報告。自動駕駛汽車與物聯網處在頂峰部位,而大資料技術並未列入其中。

在2014年的報告中,我們卻可以清晰的看到大資料剛剛過了新興技術的頂峰。

許多人以此為依據,說大資料已近過時了,事實是,Gartner這張圖反應的是新興技術的發展趨勢,也就是說經過10年的發展,大資料的相關技術已近十分成熟,已近退出了新興技術的範疇。其實,早在2013年5月,麥肯錫全球研究所(McKinsey Global Institute)釋出了一份名為《顛覆性技術:技術進步改變生活、商業和全球經濟》的研究報告。報告確認的未來12種新興技術,有望在2025年帶來14萬億至33萬億美元的經濟效益。令人驚訝的是,最為熱門的大資料技術也未被列入其中。麥肯錫專門解釋稱,大資料技術已成為這些可能改變世界格局的12項技術中許多技術的基石,包括移動網際網路、知識工作自動化、物聯網、雲端計算、先進機器人、自動汽車、基因組學等都少不了大資料應用。

所以,大資料應用不存在所謂“過熱”和“虛火”的問題,事實恰恰相反,伴隨著大資料技術的成熟,大資料應用的普及和發展才剛剛開始,我們預計未來10年,甚至更長一段時間都是大資料黃金髮展階段,相關的行業將引來巨大的發展機遇。

第二個問題是:

大資料相關職位需求多嗎?

不管是國內還是國外,大資料相關的人才都是供不應求的局面。根據麥肯錫報告,僅僅在美國市場,2018年大資料人才和高階分析專家的人才缺口將高達19萬。此外美國企業還需要150萬位能夠提出正確問題、運用大資料分析結果的大資料相關管理人才。

根據根據Linkedin《2016年中國網際網路最熱職位人才庫報告》,資料分析人才被列為Top6的熱門職位。

可以看出,這些職位都是當下任何網際網路公司要建立發展必不可少的崗位,尤其是資料分析人才,伴隨著大資料在網際網路行業更多的應用而愈加重要。

在這份報告中,資料分析人才的供給指數最低,僅為0.05,相當於20個職位同時在競爭一個求職者。這在一定程度上反映了行業現狀,很多網際網路公司 都逐漸意識到了資料的重要性,但卻缺乏相關的專業人才來分析和管理資料。

資料來源:LinkedIn:2016年中國網際網路最熱職位人才庫報告

2018年?現在學習大資料晚嗎?

第三個問題

入行的學習時間?

這個問題其實是沒有標準答案的,取決於你的專業基礎和要從事的職位。以資料分析師為例,先看一下國內知名網際網路資料分析師的招聘要求:

  1. 計算機、統計學、數學等相關專業本科及以上學歷;

  2. 具有深厚的統計學、資料探勘知識,熟悉資料倉庫和資料探勘的相關技術,能夠熟練地使用SQL;

  3. 三年以上具有海量資料探勘、分析相關專案實施的工作經驗,參與過較完整的資料採集、整理、分析和建模工作;

  4. 對商業和業務邏輯敏感,熟悉傳統行業資料探勘背景、瞭解市場特點及使用者需求,有網際網路相關行業背景,有網站使用者行為研究和文字挖掘經驗尤佳;

  5. 具備良好的邏輯分析能力、組織溝通能力和團隊精神;

  6. 富有創新精神,充滿激情,樂於接受挑戰

前三個屬於硬體要求,一般而言,有專業基礎(計算機、統計學、數學等相關專業)入行需要3個月以上的學習,而要成為一個熟手(企業用工需求最多)則需要2-3年以上的專案經驗和行業經驗。對於非專業背景的同學,入行的時間可能需要的更長,建議給自己預留6-12月的時間。

Anyway,作為一門對數學和計算機都有較高要求的一門交叉學科,從事大資料是有一定門檻的,但相對於10年以上的職業生涯(國外頂尖資料科學家50-60歲仍然十分活躍),預備半年的時間來學習這個最炙手可熱的技能還是很划算的。

在職業規劃這個問題上有位哲學家說過,最重要的人際關係就是自己和自己的關係,知道自己要什麼,不要什麼。在轉行的問題上也是一樣。 有人會說,轉行是讓自己之前幾年的經驗積累全都作廢了,其實社會經驗和人生理念是不管改到哪一行都能發揮效用的。而之前的人際關係也是屬於“山不轉水轉”的問題,你很難說哪一類人際關係是有用的,哪一類是沒有用——基於這個道理,應該統統視作為有用的。 不怕失去,才可能會有更多收穫。只要有明確的發展規劃,當然應該義無反顧地去投入新的開始。人生的機會並不多,即使你已經到了30歲,對大多數人來說,只是職業生涯的前半部分,完全不必縮頭縮腦患得患失。

很多初學者,對大資料的概念都是模糊不清的,大資料是什麼,能做什麼,學的時候,該按照什麼線路去學習,學完往哪方面發展,想深入瞭解,想學習的同學歡迎加入大資料學習扣群:458345782,有大量乾貨(零基礎以及進階的經典實戰)分享給大家,並且有清華大學畢業的資深大資料講師給大家免費授課,給大家分享目前國內最完整的大資料高階實戰實用學習流程體系