大資料和雲端計算技術週報(第164期)
導語
“大資料” 三個字其實是個marketing語言,從技術角度看,包含範圍很廣,計算、儲存、網路都涉及,知識點廣、學習難度高。
本期會給大家奉獻上精彩的:MongoDB、HDFS、訂單系統、AI、Dl、flink。全是乾貨,希望大家喜歡!!!
1MongoDB
本文講述了MongoDB基於範圍分片的模型、優點和缺點,如何選擇片健的使得範圍分片更高效,對集合分片操作方法;
https://mp.weixin.qq.com/s/9C5tCt13uSuydbdz416Crw
2HDFS
作為目前位元組跳動內部儲存量及叢集規模最大的分散式儲存系統,HDFS 一直伴隨著位元組跳動關鍵業務的飛速擴張而快速發展。本文會從 HDFS 發展歷程入手,介紹發展路徑上的重大挑戰及解決方案。
https://mp.weixin.qq.com/s/kgmiKE_747nT_lVMM-UxZQ
3訂單系統
訂單系統作為電商系統的“紐帶”貫穿了整個電商系統的關鍵流程。其他模組都是圍繞訂單系統進行構建的。訂單系統的演變也是隨著電商平臺的業務變化而逐漸演變進化著。
https://mp.weixin.qq.com/s/lzIZyjwKO00UR0Nir5TFzA
4DL
YOLO系列是基於深度學習的迴歸方法,本文詳細介紹了從YOLOv1至最新YOLOv5五種方法的主要思路、改進策略以及優缺點。
https://mp.weixin.qq.com/s/bGhmBkRXrjKlIqYWFu11bg
5Pulsar
Apache Pulsar 2.6.1 修復了 2.6.0 版本中的諸多問題,改進了一些功能,新增了對 OAuth2 的支援,覆蓋 Broker、Pulsar SQL、Pulsar Functions、Go Function、Java Client 和 C++ Client,進一步豐富了 Pulsar 作為雲原生流資料平臺的功能。
在 Pulsar 2.6.1 版本中,來自社群的 commit 有 102 個,越來越多的小夥伴開始參與到 Pulsar 社群建設中,成為 Contributor 的一員。下面一起來看看 2.6.1 版本有哪些更新吧。
https://www.iteblog.com/archives/9856.html
6Flink
本文主要總結了ClickHouse在攜程的應用實踐,講述了替換ES的歷程及踩過的坑,以及clickhouse的運維及相關優化。
https://m.sohu.com/a/423360258_411876/?pvid=000115_3w_a
7原始碼閱讀
正好結合對比讀完的兩本講解 Spring 原始碼的書《Spring 原始碼深度解析(第 2 版)》(簡稱《Spring》)和《深入理解 Spring MVC 原始碼》(簡稱《Spring MVC》),聊一聊閱讀的體驗,順便講一講閱讀分析怎麼做、怎麼寫這回事。
https://mp.weixin.qq.com/s/TNj-Ce_3Yt3yVgcv0NRSEA
8多執行緒
多執行緒總結
https://mp.weixin.qq.com/s/WRfvM94YaBiTPvabLw7vJQ
9DL
然而,這種情況下,神經網路其實成了“黑匣子”——具有一定的功能,但看不見是怎麼起作用的。
如果只做簡單的影象分類,其實還好;但如果用在醫學方向,對疾病進行預測,那麼神經網路下的“判斷”就不可輕信。
如果能瞭解它是怎麼工作的,就更好了。
出於這種考慮,來自牛津大學的博士生Oana-Maria Camburu撰寫了畢業論文《解釋神經網路(Explaining Deep Neural Networks)》。
在這篇論文中,她將這些“黑匣子”一個個開啟,對神經網路原理進行了詳細的解釋
https://mp.weixin.qq.com/s/PEcngTvlBuTPk6ULj2yXOw
11開心一刻
正在碼程式碼ing,醫院回來的同事一臉的苦逼樣子,問他怎麼了?他回答:得了類風溼性關節炎了,我怕會遺傳給下一代啊。我一臉的問號:誰說類風溼性關節炎能遺傳的?丫一臉詫異:類不是繼承的嗎
致謝:
周蓬勃、王在道、孫亞飛、馮藝帆、陳少軍、鄧開表、張少華、薛述強、劉彬、劉超、廖程鵬、董言、呂西金、朱潔、藍隨、黃文輝、郭飛
猜你喜歡
大資料和雲端計算技術週報(第56期)
加入技術討論群
《大資料和雲端計算技術》社群群人數已經6000+,歡迎大家加下面助手微信,拉大家進群,自由交流。
喜歡QQ群的,可以掃描下面二維碼:
歡迎大家通過二維碼打賞支援技術社群(英雄請留名,社群感謝您,打賞次數超過108+):