【7】天上究竟會有幾朵雲？

上一章長篇大論地討論，雲端計算是否能夠提供有效的加密措施，保障客戶的內容以及程式，不被雲端計算平臺的擁有者偷窺。

我們的結論是悲觀的。

既然雲端計算平臺無法提供有效的加密措施，那麼雲端計算平臺只能吸引那些對於自己的內容和程式的保密不那麼敏感的企業。

但是大型企業，包括銀行和電信，它們對雲端計算能夠提供的超大規模儲存能力，以及超大規模並行資料處理的能力，有天然的需求。

怎麼辦？

現實的解決辦法是幫助大型企業建設屬於它們自己的雲端計算平臺。

換而言之，未來的天空中，將漂浮著Google和Microsoft幾朵雲，這是幾朵大雲。在大雲的周圍，散落著一些小云。

如何構建雲端計算平臺？

說來也不很神祕。雲端計算平臺的基本思想，可以簡單概括為，設計一套作業系統，同時管理多臺電腦，尤其是把多臺電腦結合起來，當一臺超級電腦使用。

想深入瞭解雲端計算技術，以下論文是不能不看的。

1.  Google File System: http://research.google.com/archive/gfs-sosp2003.pdf

把多個電腦的硬碟組合起來，形成一個超大規模的硬碟，用來儲存海量資料，同時保障萬一有某些硬碟崩潰了，不至於遺禍整個系統。

2.  MapReduce: http://labs.google.com/papers/mapreduce-osdi04.pdf

如何實現平行計算。道理很簡單，但是用好卻不容易。下面兩篇論文，可以作為範例，指導如何正確使用MapReduce。

2.1.  Large Language Models in Machine Translation

http://acl.ldc.upenn.edu/D/D07/D07-1090.pdf

2.2.  Parallelizing Support Vector Machines on Distributed Computers

http://books.nips.cc/papers/files/nips20/NIPS2007_0435.pdf

3.  Chubby lock service: http://research.google.com/archive/chubby-osdi06.pdf

電腦操作經常要用到鎖機制，譬如用鎖防止兩個程序同時向同一個檔案寫資料。這篇論文談的是，在由多臺電腦組成的分散式系統中，集中管理鎖的機制。

4.  BigTable: http://research.google.com/archive/bigtable-osdi06.pdf

這篇文章既是講如何實現分散式資料庫，同時也可以把它看成範例，如何正確使用Chubby鎖機制，和GFS檔案系統。

5. The Google cluster architecture: http://www.computer.org/micro/mi2003/m2022.pdf

各個組成部分完成以後，如何組建一個計算中心。這是這篇文章的主題。

Google式雲端計算平臺有兩大特色，

1.  便宜。即使用幾臺窮人買得起的爛PC，也能構建一個麻雀雖小但是五臟俱全的Google式雲端計算平臺。其實，Google自己就是這麼起家的。

2.  穩定。便宜的機器經常宕機。Google式雲端計算平臺，能保證一部份機器宕機不會造成整個系統的崩潰。

A cluster consisting of many cheap PCs
Courtesy http://www.inria.fr/actualites/inedit/images/inedit29_parta.fr.jpg

以前CMU有個教授，說過這麼一段話，大意是：遇到一篇以前沒有讀過的論文，最好先蹲在廁所裡翻翻。很多論文無病呻吟，或者裝神弄鬼。對待這樣的論文，處 理的辦法是立刻沖掉。不幸的是，大多數論文都可以這樣處理。

後來，這段話被記者捅了出去。系主任不得以，不僅公開道歉，而且內部通報批評該教授，不該說這種politically incorrect的話。但是暗地裡，很多師生都非常認同教授的看法。

前面幾篇文章，不僅不能被沖掉，而且值得反覆讀，再三讀。讀完這些論文，你一定會對這兩個人感到親切，Jeffrey Dean和Sanjay Ghemawat。

如果說Google的兩位創始人Larry Page和Sergey Brin確定了Google搜尋引擎的演算法和資料結構，那麼奠定了Google後臺的集群系統，也就是我們今天耳熟能詳的Google雲端計算平臺，就是 Jeffrey Dean 和Sanjay Ghemawat這兩位。

Jeffrey Dean, Ph.D
Courtesy http://research.google.com/people/jeff/jeff.jpg

Sanjay Ghemawat, Ph.D
Courtesy http://research.google.com/people/sanjay/sanjay.jpg

但是，只讀這麼幾篇論文是不是就足夠了呢？

No!

對比一下傳統的單機的作業系統，如果把GFS理解為雲端計算版的檔案系統，把MapReduce理解為雲端計算版的程序管理，把Chubby理解為雲端計算版的 synchronization。

缺了什麼？

1. Memory management。2. Scheduling。

為什麼不列舉這兩個方面的論文，方便大家閱讀？

因為Google沒有發表。或許是Google把這兩個方面的技術，視為Google雲端計算的核心機密，所以才沒有發表論文公開介紹。

讀完論文後，想構建一個雲端計算平臺，是不是必須寫程式，從頭實現？

No!

Hadoop是一個開源專案，把前面提到的幾個Google式雲端計算技術，用Java實現了。

我們不妨站在Hadoop臺階上，把未盡的事業推向前進。

前進方向，

1.  Memory management。2.  Scheduling。