1. 程式人生 > 實用技巧 >大資料和雲端計算技術週報(第164期)

大資料和雲端計算技術週報(第164期)

導語

“大資料” 三個字其實是個marketing語言,從技術角度看,包含範圍很廣,計算、儲存、網路都涉及,知識點廣、學習難度高。


本期會給大家奉獻上精彩的:MongoDB、HDFS、訂單系統AI、Dl、flink。全是乾貨,希望大家喜歡!!!

1MongoDB

本文講述了MongoDB基於範圍分片的模型、優點和缺點,如何選擇片健的使得範圍分片更高效,對集合分片操作方法;

https://mp.weixin.qq.com/s/9C5tCt13uSuydbdz416Crw

2HDFS

作為目前位元組跳動內部儲存量及叢集規模最大的分散式儲存系統,HDFS 一直伴隨著位元組跳動關鍵業務的飛速擴張而快速發展。本文會從 HDFS 發展歷程入手,介紹發展路徑上的重大挑戰及解決方案。

https://mp.weixin.qq.com/s/kgmiKE_747nT_lVMM-UxZQ

3訂單系統

訂單系統作為電商系統的“紐帶”貫穿了整個電商系統的關鍵流程。其他模組都是圍繞訂單系統進行構建的。訂單系統的演變也是隨著電商平臺的業務變化而逐漸演變進化著。

https://mp.weixin.qq.com/s/lzIZyjwKO00UR0Nir5TFzA

4DL

YOLO系列是基於深度學習的迴歸方法,本文詳細介紹了從YOLOv1至最新YOLOv5五種方法的主要思路、改進策略以及優缺點。

https://mp.weixin.qq.com/s/bGhmBkRXrjKlIqYWFu11bg

5Pulsar

Apache Pulsar 2.6.1 修復了 2.6.0 版本中的諸多問題,改進了一些功能,新增了對 OAuth2 的支援,覆蓋 Broker、Pulsar SQL、Pulsar Functions、Go Function、Java Client 和 C++ Client,進一步豐富了 Pulsar 作為雲原生流資料平臺的功能。

在 Pulsar 2.6.1 版本中,來自社群的 commit 有 102 個,越來越多的小夥伴開始參與到 Pulsar 社群建設中,成為 Contributor 的一員。下面一起來看看 2.6.1 版本有哪些更新吧。

https://www.iteblog.com/archives/9856.html

6Flink

本文主要總結了ClickHouse在攜程的應用實踐,講述了替換ES的歷程及踩過的坑,以及clickhouse的運維及相關優化。

https://m.sohu.com/a/423360258_411876/?pvid=000115_3w_a

7原始碼閱讀

正好結合對比讀完的兩本講解 Spring 原始碼的書《Spring 原始碼深度解析(第 2 版)》(簡稱《Spring》)和《深入理解 Spring MVC 原始碼》(簡稱《Spring MVC》),聊一聊閱讀的體驗,順便講一講閱讀分析怎麼做、怎麼寫這回事。

https://mp.weixin.qq.com/s/TNj-Ce_3Yt3yVgcv0NRSEA

8多執行緒

多執行緒總結

https://mp.weixin.qq.com/s/WRfvM94YaBiTPvabLw7vJQ

9DL

然而,這種情況下,神經網路其實成了“黑匣子”——具有一定的功能,但看不見是怎麼起作用的。

如果只做簡單的影象分類,其實還好;但如果用在醫學方向,對疾病進行預測,那麼神經網路下的“判斷”就不可輕信。

如果能瞭解它是怎麼工作的,就更好了。

出於這種考慮,來自牛津大學的博士生Oana-Maria Camburu撰寫了畢業論文《解釋神經網路(Explaining Deep Neural Networks)》。

在這篇論文中,她將這些“黑匣子”一個個開啟,對神經網路原理進行了詳細的解釋

https://mp.weixin.qq.com/s/PEcngTvlBuTPk6ULj2yXOw

11開心一刻

正在碼程式碼ing,醫院回來的同事一臉的苦逼樣子,問他怎麼了?他回答:得了類風溼性關節炎了,我怕會遺傳給下一代啊。我一臉的問號:誰說類風溼性關節炎能遺傳的?丫一臉詫異:類不是繼承的嗎

致謝:

周蓬勃、王在道、孫亞飛、馮藝帆、陳少軍、鄧開表、張少華、薛述強、劉彬、劉超、廖程鵬、董言、呂西金、朱潔、藍隨、黃文輝、郭飛

猜你喜歡

#大資料和雲端計算機技術社群#部落格精選(2017)

NoSQL 還是 SQL ?這一篇講清楚

阿里的OceanBase解密

#大資料和雲端計算技術#: "四有"社群介紹

大資料和雲端計算技術週報(第56期)

新數倉系列:Hbase周邊生態梳理(1)

《大資料架構詳解》第2次修訂說明

簡單梳理跨資料中心資料庫

雲觀察系列:漫談運營商公有云發展史

雲觀察系列:百度雲的一波三折

雲觀察系列:阿里雲戰略觀察

超融合方案分析系列(7)思科超融合方案分析

加入技術討論群

《大資料和雲端計算技術》社群群人數已經6000+,歡迎大家加下面助手微信,拉大家進群,自由交流。

喜歡QQ群的,可以掃描下面二維碼:

歡迎大家通過二維碼打賞支援技術社群(英雄請留名,社群感謝您,打賞次數超過108+):