1. 程式人生 > >我在Hadoop雲端計算會議的演講

我在Hadoop雲端計算會議的演講


由中科院計算所主辦的“Hadoop 中國2010雲端計算大會”於9月4日在北京召開。淘寶網作為國內最大的Hadoop應用商之一讚助與參與了這次會議。我有幸代表淘寶在大會上分享了淘寶在分散式資料處理實踐的內容,下面是ppt的一個節選:

淘寶網目前有會員2億左右,日均UV高達4000萬,日交易量高達10億元,每天產生大量的資料,所以部署了一系列不同規模的Hadoop叢集。淘寶生產所使用的Hadoop叢集為目前國內規模最大的Hadoop叢集之一。在會議前一天,這個叢集的規模是
1.總容量為9.3PB,利用率77.09%。
2.共有1100臺機器。
3.每天處理約18000道hadoop作業
4. 使用者數474人,使用者組38個
5.約18000道作業/天,掃描資料:約500TB/天使用者數474人,使用者組38個

淘寶由於資料的快速增長,已經計劃擴容至1500機器的規模,總容量達到20+PB.