1. 程式人生 > >從金融行業轉型大數據,一路學習點滴的分享!

從金融行業轉型大數據,一路學習點滴的分享!

完全 zook 開發 虛擬機 書籍 簡介 shuffle 輕松 消費

大數據學習之路,很漫長,但是請放心,Java 轉大數據很輕松,零基礎學大數據也很輕松,我會陪著你們一起搞起來,幹就完事了。

本篇文章有點長,都是我的真實感受。分為:開始、轉折、成長、New Flag、關於此號、推薦、總結七個部分。

開始

我大學學的是軟件工程專業,2018 年畢業。據統計,近幾年畢業生中平均薪資最高的專業就是軟件工程!還好我沒有拉低平均水平,憑借自己努力和運氣畢業去了一家金融大廠(杭州)實習。

我所在的部門是最掙錢的部門--資管,我們的系統覆蓋了全部的金融業務,除了保險業務。每天完成正常的任務之後,也學了很多金融的業務,在這裏奉勸大家不懂股票的小白,千萬不要入市。這個行業,水太深了。具體的東西就不說了。

轉折

雖然金融行業薪水可觀,但是限於技術老套,甚至還在使用 delphi。做了一段時間之後,發現不適合自己,由於就有了離職的想法。去年經濟大形勢不大好,於是也不敢輕易裸辭。此時的心情是:不甘心就這樣下去。

當時還不確定之後要走什麽方向,看我公眾號的改名記錄就知道了,但是腦子真的一團糟!

2018 的 3 月 5 號,我給自己定了一個 Flag,下面是在碼農翻身的知識星球裏面發的半年目標。此時鬥誌滿滿。

事實證明,四個月業余時間學大數據是不夠的,堅持下來,時間超出了預期。Hadoop 生態 和 Spark 生態以及數據倉庫,數據建模,機器學習等等。有些資料來自於網上,還有來自一些教育機構的資料,剩下的可以從官網上找到文檔。

看完了《大型網站架構》、《深入理解Java虛擬機》這兩本書,《圖解HTTP》耽擱下了。畢業旅行也帶女朋友去了,只不過沒去四川,去了北京,天津,濟南和青島。

關於大數據方面的書籍,我看了《離線和實時大數據開發實戰》、《數據倉庫結構設計與實施》、《Spark技術內幕》、《推薦系統實踐》。挑重點部分看的,結合自己學的技術進行消化。

這個過程中,我聽得最多的是 Beyond 的歌。堅持不下的時候就打開音樂,聽一會再接著學。日日夜夜,也曾懷疑自己。

成長

直到目前,寫的文章數量不是很多,等到達一定裏程碑的時候,我會專門整理成一系列目錄的。目前的文章,暫且列一下:

簡述大數據技術

什麽是數據倉庫?談談我的理解

PageRank 算法,搜索引擎的關鍵技術

Sqoop 不完全實戰

Flume 原理,分析,架構

kafka 簡介、架構、安裝

Kafka 遇上 Spark Streaming

Kafka 的數據丟失和重復消費

HBase 架構分析

HBase RowKey 設計

HBase 數據模型,體系架構,組件功能說明等總結

Hbase 在微博中的表設計,部分

Zookeeper 的恢復模式,廣播模式,選舉流程

Hadoop HA 深度解剖

Spark 調優整合篇-匯總(長文)

Spark 的 數據本地化,提供最佳的計算節點,終於入門了

Spark 調優一瞥 | shuffle 調優

Spark 的 shuffle 文件尋址流程

從收集數據,集群分析數據,BI展示

Flink 幹貨來襲 | Flink Forward China 2018 大會資料整理

上面是 2018 年忙裏偷閑寫的 20 篇關於大數據技術的文章。

New Flag

2019 我也給自己定下了幾個目標,其中一個就是更新數量以及頻率要提上去。每篇文章盡量短而有用,給大家把大數據講清楚,這個任重而道遠啊。

2018 年,轉折。2019 年,蛻變。

三個原則:自我激勵,自我認知,自我驅動。

加入合適的圈子,比如「碼農翻身」、「帥張和他的朋友們」。

離開舒適區,不能回避痛苦。

剛來上海一周,面試了兩家公司。有一個給了 offer,年薪 23 w 對於剛畢業的我來說,比之前的金融崗位少,不過可以接受。那個公司我挺喜歡的,自身發展空間大一些。數據平臺要從頭開始創建,部門整合為中臺大數據部門。

目前我還沒有入職,打算繼續面試。

未來的計劃,「堅持」、「用心」完成每一篇文章,能幫到大家最好了。

對大數據以及人工智能概念都是模糊不清的,該按照什麽線路去學習,學完往哪方面發展,想深入了解,想學習的同學歡迎加入大數據學習qq群:458345782,有大量幹貨(零基礎以及進階的經典實戰)分享給大家,並且有清華大學畢業的資深大數據講師給大家免費授課,給大家分享目前國內最完整的大數據高端實戰實用學習流程體系 。從java和linux入手,其後逐步的深入到HADOOP-hive-oozie-web-flume-python-hbase-kafka-scala-SPARK等相關知識一一分享!

從金融行業轉型大數據,一路學習點滴的分享!