1. 程式人生 > 其它 >大資料"已死"

大資料"已死"

   最近還是看到很多人在學習大資料,培訓大資料。但是我想說大資料”已死“不是瞎說。

  自己之前沒有時間寫部落格想寫一些東西給後來要從事軟體開發一些發展參考。畢業普通學院。到後來求職轉大資料,開始學習在伺服器搭建大資料叢集.搭建的軟體都是開源的且都是當時最火的大資料軟體。軟體例如:CDH,hadoop,spark,hbase,zookeeper,kafka,flume等。

  現在還在從事大資料工作。但是現在的大資料工作不像之前工作那樣。現在做大資料基本不需要你搭建叢集(現在公司都不自己建叢集),都是買雲,使用雲來做業務開發。所以雲導致大資料已死。  

  現在我來說下為什麼大資料被各種廠商雲替換"已死"的原因:

    1).雲產品更穩定可靠

    對於公司稍微重要的業務。經常出現數據庫壞了,出現報錯或程式崩了等一時半會修不好。領導是決定不容許的。但是雲就是特別穩定,雲監控報警做的做的那時一個牛逼,雲產品監控報警生態特別強大。對於普通的小公司,你讓大資料開發人員再去搞監控和報警,那開發人員都廢了。

    2).成本低

    對於中小公司買雲,使用雲。成本會更低。原因是:1).人的成本越來原來高。2).公司招的開發人員流動大,交接成本高,會有交接不到的。3).社會上正真可以優化修改原始碼的大牛特別少。但云廠商公司會有專門的人需改原始碼,優化原始碼,使程式更穩定。4).各種雜七雜八的應用服務例如:專線,域名,網路安全(這幾個之前在公司沒有買雲的東西,被政府掃描掃到,直接關停好多天)等。

    3).全天侯的技術支援

    之前大資料剛活時自己加了很多hbase,spark開源社群群(微信群,相信有很多人加過 哈哈哈)。1).群那是一個熱鬧,天天討論技術,提問問題,解決bug,分享技術。現在大部分開源社群群基本沒有人提問題分享技術,群給死了一樣。2).真人真事:之前在一個hbase中國社群群看到一個人問hbase的問題,大意是說他那邊使用自己搭建hbase崩了,一直在多個群求助發紅包解決。有1-2個人回覆了一下,還是沒有解決問題,那個人通宵沒有睡覺,因為明天公司要查資料,到第二天早上我再看群時,有人問他解決沒,他說還沒有解決。。。如果是在大的雲廠商,我自己知道一個數據,光開發維護就有80多人(就一個數據)。。。

    4).大資料現在基本就是在寫sql

    實時離線基本靠sql就能解決,例如實時業務:像我工作使用flink sql +自定義UDX 基本可以解決95%的業務場景(spark 也可以純寫sql,sql封裝成指令碼發生到spark中)。這樣成本更低。公司招人不是研究什麼框架原始碼,公司是希望開發人員實現更多的業務賺更多的錢。現在工作發現大資料真的就是在天天寫sql,個人理解的原因:1).資料中的價值更多更大,需要sql清洗計算挖掘。如果對於開發人員熱衷於技術,建議還是遠離大資料。2).寫sql成本更低要求更低,對開發人員要求降低。3).sql開發業務相比程式碼開發要快的多,公司一定是希望員工多實現業務為最大化。

    5).工作細節

    下面晒一張關於銀行(什麼保險金融等行業等都類似)的的招聘資訊:進去就是寫sql。不是說寫sql不好,但對很多軟體開發人員來說都不希望工作中絕大部分時間用來寫sql,不然就廢了,因為對對個人技術成長,技術拓廣,已學技術忘記等都是不利的(ps:寫sql對資料是最噁心的,能噁心毀)。當然如果有人喜歡寫sql就可以忽略這些。

(例如實時flink主要就是寫sql.(95%的場景可以用sql解決))

離線數倉+實時數倉+資料中臺+資料湖+資料海等一些高階名稱=SQL

    總之:為啥我說大資料已經”死“了吧。但是對於大廠或大大公司例如美團,京東等他們也在做自己的雲產品,但是像這些大公司很少有人進去,如果進去研發原始碼大資料,那可是能力特別強,因為畢竟研發原始碼網上資料很少.現在使用雲已經是一個趨勢,很多公司招大資料基本去了就是純寫sql,要麼就是80%在寫sql要麼20%在使用維護雲產品等。

    困難:1).最近看新聞發現網際網路屬於夕陽產業,還有很多人轉網際網路,程式設計師越來越難。2).現在很多公司也開始挑學歷。自己現在在南方城市打工。總的來說還是比較看重學歷的(大城市不缺缺學歷)。學歷那是各種歧視。最終讓我總結一句話:技術在學歷面前不值得一提。因為學歷可以跟人一生,技術天天變化。3).因為大資料雲平臺已經成為必然趨勢,導致大資料崗位要求極大降低(會sql就行),公司人員數量也大幅度銳減等,所以這就是為什麼我工作這麼久體會下來才說大資料已死的原因

    (例如下面的截圖隨便找的:如果學歷好,技術可以差點。當然靠技術能力強也有去大廠的,但畢竟是極少數)

    出路:1).在內陸城市中還是有些公司使用自建的大資料叢集,但都是小打小鬧。2).如果學歷不高例如像我本科或大專。可以做java web(例如:spring全家桶,說到這我不得不誇spring牛B,自從我上學到現在還是這麼多公司用,go等)做功能等開發,或java web與大資料結合(例如:某些小云廠商要與大資料普通結合。某些公司將hbase,ES等劃歸java web等)。學歷高的建議搞機器學習人工智慧啥的,工資高,有錢景

    寫這麼多希望要轉大資料或想從事大資料工作的人一些個人參考,如果有點用希望點贊或評論。

    ps:目前使用比較好用坑少的大廠雲:ax雲(為避免有做廣告嫌疑).