開啟一篇篇 IT 技術文章，你總能夠看到“大規模”、“海量請求”這些字眼。如今，這些功能強大的網際網路應用，都執行在大規模資料中心上。然而，對於大規模資料中心，你又瞭解多少呢？

實際上，除了閱讀一些科技文章之外，得到關於資料中心的資訊非常難得。資料中心每個機器的執行情況如何？這些機器上執行著什麼樣的應用？這些應用有什麼特點？對於這些問題，除了少數資深從業者之外，普通學生和企業的研究者很難了解其中細節。

什麼是 Alibaba Cluster Data?

2015 年，我們嘗試在阿里巴巴的資料中心，將延遲不敏感的批量離線計算任務和延遲敏感的線上服務部署到同一批機器上執行，讓線上服務用不完的資源充分被離線使用以提高機器的整體利用率。

經過 3 年多的試驗論證、架構調整和資源隔離優化，目前這個方案已經走向大規模生產。我們通過混部技術將叢集平均資源利用率從 10% 大幅度提高到 45%。另外，通過各種優化手段，可以讓更多工執行在資料中心，將“雙11”平均每萬筆交易成本下降了 17%。

那麼，實施了一系列優化手段之後的計算機叢集究竟是什麼樣子？混部的情況究竟如何？

為了讓有興趣的學生以及相關研究人員，可以從資料上更加深入地理解大規模資料中心，我們特別釋出了這份資料集（Alibaba Cluster Data V2018）。資料集中記錄了某個生產叢集中伺服器以及執行任務的詳細情況。我們希望這波資料的釋出可以拉近我們與學術研究、業界同行之間的距離。

在資料集中，你可以詳細瞭解到我們是如何通過混部把資源利用率提高到 45%；我們每天到底運行了多少任務；以及業務的資源需求有什麼特點。如何使用這份資料集，完全取決於你的需要。

這個資料可以做什麼？

剛剛釋出的 Alibaba Cluster Data V2018 包含 6 個檔案，壓縮後大小近 50GB（壓縮前 270+GB），裡面包含了 4000 臺伺服器、相應的線上應用容器和離線計算任務長達 8 天的執行情況。

通過這份資料，你可以：

瞭解當代先進資料中心的伺服器以及任務執行特點；

試驗你的排程、運籌等各種任務管理和叢集優化方面的各種演算法並撰寫論文；

利用這份資料學習如何進行資料分析，揭示更多我們自己都未曾發現的規律。

上面這幾點，沒有接觸過類似資料的朋友，可能對於這份資料的用處並沒有直觀的印象，下面我舉幾個簡單的例子：

電商業務在白天和晚上面臨的壓力不同，我們如何在業務存在波峰波谷的情況下提高整體資源利用率？

你知道我們最長的 DAG 有多少依賴嗎？

一個典型的容器存在時間是多久？

一個計算型任務的典型存在時間是多少？一個 Task 的多個 Instance 理論上彼此很相似，但是它們執行的時間都一樣嗎？

實際上，學者們甚至可以用這些資料作出更加精彩地分析。2017年，我們開放的第一波資料（Alibaba Cluster Data V2017），已經產生了多篇優秀的學術成果。

以下是學者們在論文中引用資料（Alibaba Cluster Data V2017）的例子，其中不乏被 OSDI 這樣頂級學術會議收錄的優秀文章。我們期待，未來你也能與我們共同分享你用這份資料產生的成果！

"LegoOS: A Disseminated, Distributed OS for Hardware Resource Disaggregation, Yizhou Shan, Yutong Huang, Yilun Chen, and Yiying Zhang, Purdue University. OSDI'18" (Best paper award!)

"Imbalance in the Cloud: an Analysis on Alibaba Cluster Trace, Chengzhi Lu et al. BIGDATA 2017"

"CharacterizingCo-located Datacenter Workloads: An Alibaba Case Study, Yue Cheng, Zheng Chai,Ali Anwar. APSys2018"



"The Elasticity and Plasticity in Semi-Containerized Co-locating Cloud Workload: aView from Alibaba Trace, Qixiao Liu and Zhibin Yu. SoCC2018"

Cluster Data V2018 更出色

新版本 V2018 與 V2017 存在兩個最大的區別：

DAG 資訊加入
我們加入了離線任務的 DAG 任務資訊，據瞭解，這是目前來自實際生產環境最大的 DAG 資料。

究竟什麼是 DAG？離線計算任務，例如 Map Reduce、Hadoop、Spark、Flink 中常用的任務，都是以有向無環圖（Directed Acyclic Graph，DAG）的形式進行編排的，其中涉及到任務之間的並行、依賴等方面。下面是一個 DAG 的例子。

規模更大

上一版資料包含了約 1300 臺機器在約 24 小時的內容資料，而新版 Cluster Data V2018 中包括了 4000 臺機器 8 天的資料。

原文釋出時間為：2018-12-20
本文作者：臨石
本文來自雲棲社群合作伙伴“阿里系統軟體技術”，瞭解相關資訊可以關注“阿里系統軟體技術”。