關於淘寶和12306的分析
轉載一篇某博主寫的關於淘寶和12306的分析
2012年在一家百強民企做電商副總,當時在極為艱苦的條件下帶隊開發了一個B2C(企業針對個人開展的電子商務活動——觀察者網注)網站,走支付寶和銀聯支付通道,年營業額千萬級(作者注:當然實在太少了,我只是說這個網站投入了實際的運營)。
也就在那個時候,我對12306嗤之以鼻,覺得他們做得太爛了,認為自己能帶隊花幾百萬半年時間做個好的出來。於是我狂妄地想做一個開源的訂票系統給他們。我花了一個星期時間思考建立資料模型,思考到庫存這一步的時候,我才發現,12306的庫存複雜性比淘寶、京東高很多倍,運算量也大很多倍。傳統的分散式資料庫、快取、負載均衡技術並不能恰好滿足12306的需求。
在平時,12306也就是個正常的電商網站。但一到黃金週,12306就是一個全站所有商品都秒殺,所有SKU都是動態庫存的變態。
即使不考慮線下既有的電話、代售點等渠道,要實現一個12306,最少最少也是千萬級別的硬體投入(作者注:這是當時的估算,沒有精算,可能與實際相差較大,總之,我說得不一定對,12306的業務也許沒我說的那麼複雜,但也絕不是某些人噴的那麼簡單),軟體和人力另算。那些叫囂只要40臺伺服器、只要2個架構師4個程式設計師、大談分庫分表和前端CDN的人們,只是紙上談兵罷了。所謂初生牛犢不怕虎,做了三年CMS和BBS,就以這個經驗來噴12306,未免太天真了。
媒體人噴12306,是他們不懂技術,沒有能力和耐心來分析背後的難度。技術人員噴,則是因為大部分的技術人員在短時間思考時,容易陷入過於樂觀的誤區,經典的例子就是估算工作量,程式設計師們往往容易估算出一個超短的工期,把寫程式的工作樂觀地想象成了打字員照稿敲鍵盤的工作。
知乎那篇文章,我覺得不是*河蟹*。排名第一和第二的答案都說得很客觀。淘寶技術是比12306強大很多倍,淘寶現在的系統也是花了10倍於12306的錢、時間和人才做起來的。根本原因還是鐵路運力不能滿足春運需求,淘寶也解決不了這個問題。
12306這一年來進步非常大。從前段動畫驗證碼、分時段搶票,到後端去小型機、虛擬化、記憶體資料庫的運用。可以說,12306是中國政府機關做的最強大的網站(電商系統),能在短短一兩年內做出這樣的改變,幾乎是個奇蹟,就連一些市場化的民企都望塵莫及,甚至一些上市公司都比不上它!(比如51job和ctrip)。
事非經過不知難,在網上批判12306的人,大部分還是形成了【國企=壟斷+腐敗+低效】的思維定勢。小部分是真的輕視了它的難度。
至於12306一期工程3個億(含硬體)貴不貴我不評價,我只提供一個數字供參考,百度一年的研發費用(不含硬體)是10億,這個數字來自百度財報。網上能查到。3億看起來好大一個數字,真用到超大型的電商系統、搜尋引擎系統裡面,其實也不算什麼天文數字了。
再解釋一下,為什麼秒殺壓力大,以及為什麼12306的動態庫存很複雜。
先說秒殺。
2013年12月25日前後,天貓搞了一個聖誕季積分兌換活動,持續幾天。25號上午10點12分,放出了15000個天貓魔盒(淘寶集市有人賣,大概190-230塊),從成交記錄上看,是19秒內全部搶完。
實際上,我也參加秒殺了,那天的題目特別簡單(請輸入xxx漢字的拼音首字母),我應該是5秒內答題完成並提交訂單,結果告訴我排隊的人太多,擠不進去,並提示14秒以後重試。人太多就是因為題目太簡單了,門檻越低,5秒內擠進去的人也越多嘛,如果題目換成【2克濃度為3%的U235在大亞灣核電站能發多少KW的電】,5分鐘之內也不會有1萬5千人跟我競爭。
我想,14秒以後哪還有我的事情呀,於是重新答題秒殺,結果出現了伺服器錯誤的頁面。反覆重新整理幾次,就告訴秒殺結束了。
在群裡問了一下同事,有不到10個人回答我,都說沒秒到(也可能秒到的人悶聲發大財,不回覆我)。
淘寶是什麼技術水平呢,淘寶有至少4000技術人員,至少4萬臺伺服器(這都是兩年前的公開資料了,按規定可以談論),2013年11月11日成交額351億,2012年全年成交額超過1萬億。
淘寶擁有各種自主研發團隊:伺服器、交換機(網上可以搜尋到淘寶公開的綠色伺服器開放標準);作業系統(LinuxKerneltaobao版,yunos手機作業系統是阿里雲的,暫時不計入)、Web伺服器(Tengine)、Java語言虛擬機器(JVMtaobao版)、資料庫(MySQL核心taobao版,google和facebook也有自己的版本,HBase淘寶版、還有自己全部從頭開發的OceanBase)、負載均衡器(LVS,LVS始創人就在淘寶,擔任研究員)、Java執行容器(Jboss,其創始人之一,王文彬,也在淘寶,擔任副總裁)。
淘寶還有數不清的開源專案和中介軟體,如高效能Java通訊中介軟體HSF、分散式資料庫中介軟體TDDL、非同步訊息系統notify等等等等。
以淘寶這樣的技術水平,也不能做到秒殺時讓每個使用者都沒有擁擠感,為什麼呢?
一是要尊重物理原理,一臺伺服器一秒鐘能承受的計算量是有極限的,任你怎麼優化,採用多高效的演算法和程式語言,都突破不了某個極限,比方說汽車發動機驅動的F1賽車至今也不能突破400公里的時速(超音速推進號那個1千多公里的時速不能算,那是飛機引擎驅動的)。再往深了說,就不容易懂了。感興趣的可以從著名的C10K問題開始看起。
二是要考慮經濟效益,十一黃金週的時候,北京主城區到八達嶺長城的路堵得嚴嚴實實,但不能因為黃金週的高峰,就把這段路修成長安街那樣10車道的高速公路。否則的話,花費天文數字(真的是天文數字,12306那3個億大概只夠修1-3公里)。修了一段路,黃金週是可以飆到80公里/小時了,可平時呢,拿來給兩邊的居民晒穀子?
淘寶目前的硬體和頻寬數量,已經超出日常運營的需求了,就是留了相當大的餘量給大促銷(眾所周知的是雙十一,雙十二,其實基本每個季度都有大促銷,每個月都有促銷,甚至天天都在促銷——聚划算)。amazon當年就是為了應對黑色星期五的大促銷購置了大量的伺服器,平時訂單量沒那麼大了,amazon就把富餘的伺服器拿來搞雲計算了。順便說一下,阿里雲是當今中國第一世界數一數二的雲端計算服務商,和amazon走的路也有點像。
再說動態庫存。
淘寶秒殺天貓魔盒的時候,只有一個商品(行話叫做SKU),它的庫存是15000個。有一個人秒殺到了,庫存就減1,19秒賣完的,一秒要成功產生789 個訂單(下訂單的請求可能是8萬個,只是可能啊,非實際數字,也可能是1萬個,用於說明一下壯觀程度)。想象一下,你在廣場上賣火車票,一秒鐘有8萬人舉著錢對你喊:賣給我!
上過大學的人都知道,比秒小的時間單位還有毫秒、皮秒、飛秒。但交易系統登記一個交易可不像原子繞著原子核跑一圈那麼簡單,它要做這些事:檢查是否惡意訪問、取到系統時間、取到顧客預設收貨地址、核對顧客秒殺資格(當時的規定是天貓T2.T3達人)、生成訂單號、把顧客ID系統時間訂單號收貨地址寫入訂單系統、扣除顧客天貓積分、商品庫存減一、給顧客打標記(每人只能秒一個,下次不能秒了)等等,這每一件事都要花費毫秒級別的時間,這些操作加起來的時間可能是接近1秒級別的,但由於淘寶的伺服器比較強悍,而且採用了分散式和叢集技術,結果比1秒理想一點。但即使有1萬臺伺服器,也不能把這個時間稀釋成萬分之一秒,因為,商品只有一種,它有15000個庫存,對應的資料庫記錄只有一行,所有的交易請求都要到這裡來處理。
能不能把這15000個拆分成5000個商品並分配到5000臺伺服器上呢?那樣不就可以5000臺伺服器同時處理了嗎?答案是不能,首先,5000個商品,意味著有5000個商品詳情頁,5000個購買按鈕,這對前期的營銷、引流是個災難。基本上就沒法做引流入口了,顯然這違背了商業管理原則,人為增加了資訊混亂程度。其次,天貓魔盒秒殺也不是啥大事,即使按官方標價399元來計算,也就6百萬的交易。如果6百萬的交易要花費那麼大的配套成本,那就太不划算了。再次,淘寶有十幾億商品,這十幾億商品的展示交易和管理,本來就是分佈到上萬臺伺服器上去了。沒有必要再把每個商品按庫存拆成多個商品了。
這789人搶到了,還不一定會付款(99積分換天貓魔盒還好一點,不需要去網銀,成本也極低,大部分是會付款的,3999秒殺iPhone5S就不一定,有人可能網銀有問題,有人可能改變主意不想要了),所以就又帶來訂單取消重新恢復庫存的問題。還有想要的消費者們,會認為還有機會,繼續在前臺刷一會兒,最終這個秒殺會被熱情的消費者們猛刷30秒到1分鐘。
一分鐘過去了,伺服器終於可以喘口氣了吧?等等,還有超賣,原來,某兩臺伺服器在同一毫秒都拿到了鎖,都去減了庫存,15000個庫存,被下了15500 個訂單,又得取消一部分訂單。。。如果採用單執行緒獨佔鎖,是可以做到同時只有一個伺服器執行緒減庫存的,但那樣就對併發高峰的能力就差了好多了。8萬人舉著錢,可能只有8個人能下單成功,這個擁擠狂熱的搶購就要持續10分鐘以上。平時秒個天貓魔盒,10分鐘也就10分鐘吧,雙十一就慘了,收銀臺一下子減少了 90%,還想做到350億,要麼做夢,要麼再加10倍伺服器和頻寬。所以,商業是不完美的,要在絕對正確和絕對的快速之間做個取捨,保證相對快速又極為正確,允許一定的庫存錯誤和超賣(具體允許多少我也不知道)。
好了,講了這半天淘寶,可以說12306了吧?
我以北京西到深圳北的G71次高鐵為例(這裡只考慮南下的方向,不考慮深圳北到北京西的,那是另外一個車次,叫G72),它有17個站(北京西是01號站,深圳北是17號站),3種座位(商務、一等、二等)。表面看起來,這不就是3個商品嗎?G71商務座、G71一等座、G71二等座。大部分輕易噴 12306的技術人員(包括某些中等規模公司的專家、CTO)就是在這裡栽第一個跟頭的。
實際上,G71有136*3=408種商品(408個SKU),怎麼算來的?請看:
如果賣北京西始發的,有16種賣法(因為後面有16個站),北京西到:保定、石家莊、鄭州、武漢、長沙、廣州、虎門、深圳。。。。都是一個獨立的商品,
同理,石家莊上車的,有15種下車的可能,以此類推,單以上下車的站來計算,有136種票:16+15+14....+2+1=136。每種票都有3種座位,一共是408個商品。
好了,再看出票時怎麼減庫存,由於商務、一等、二等三種座位數是獨立的,庫存操作也是一樣的,下文我就不再提座位的差別的,只討論出發與到達站。另外,下文說的是理論世界的模型,不是說12306的資料庫就是這麼設計的。
旅客A買了一張北京西(01號站)到保定東(02號站)的,那【北京西到保定東】這個商品的庫存就要減一,同時,北京西到石家莊、鄭州、武漢、長沙、廣州、虎門、深圳等15個站臺的商品庫存也要減一,也就是說,出一張北京到保定東的票,實際上要減16個商品的庫存!
這還不是最複雜的,如果旅客B買了一張北京西(01號站)到深圳北(17號站)的票,除了【北京西到深圳北】這個商品的庫存要減一,北京西到保定東、石家莊、鄭州、武漢、長沙、廣州、虎門等15個站臺的商品庫存也要減1,保定東到石家莊、鄭州、武漢、長沙、廣州、虎門、深圳北等15個站臺的商品庫存要減 1。。。總計要減庫存的商品數是16+15+14+……+1=120個。
當然,也不是每一張票都的庫存都完全這樣實時計算,可以根據往年的運營情況,在黃金週這樣的高峰時段,預先對票做一些分配,比如北京到武漢的長途多一點,保定到石家莊的短途少一點。我沒有證據證實鐵道部這樣做了,但我相信,在還沒有12306網站的時候,鐵道部就有這種人工預分配的策略了。
想象一下,8萬人舉著錢對你高喊:賣給我。你好不容易在錢堆裡找到一隻手,拿了他的錢,轉身找120個同事,告訴他們減庫存,而這120 個同事也和你一樣被8萬人圍著;也和你一樣,每賣出一個商品要找幾十個人減庫存……這就是12306動態庫存的變態之處。比你平時買東西的任何網站的庫存機制都複雜幾十上百倍。
再說一下搶票外掛,機器永遠比人快,當你好不容易從8萬人裡突出重圍,來到了櫃檯前,你發現,我操,來了10萬根綁著錢的竹竿,而且當有退票出來的時候,你要闖過3層人肉才能接近櫃檯,竹竿在8個人身後一伸,錢就到了櫃檯前。你低頭看了一眼手機,票就沒了,竹竿卻永遠在那裡伸著,永不低頭,永不眨眼。如果沒有這10萬根竹竿,雖然你很可能還是搶不到票,但不至於沮喪成這樣:我TM為什麼總是手最慢的一個?!!
防機器人搶票,也不是加個圖片驗證碼那麼簡單。我寫過文章系統性分析過,圖片驗證碼有6種機器暴力破解的辦法,搶票外掛用的是我說的第三種,OCR識別(光學字元識別——觀察者網注)。Google採用的Wave波形字母已經能比較好地防住機器OCR了,ems.com.cn上的驗證碼就是反面教材,機器OCR成功率接近100%,12306的比ems的圖片驗證碼強一點。不過,驗證碼設定得複雜一點吧,人們要噴:這只是便宜大學生和辦公室白領,農民工連26個字母都認不齊,怎麼搞?搞動畫驗證碼吧,也有人噴,視力不好的人怎麼辦?最後驗證碼搞得太簡單了,皆大歡喜了,其實最高興的是開發搶票外掛的公司。
就算採用了機器完全不可能識別的驗證碼,也防不住社會工程學的破解辦法。招募一堆網咖打遊戲的青少年朋友,每成功輸入50個驗證碼給1塊錢,或者等值的虛擬貨幣、遊戲裝備,我保證想賺這個錢的人數不勝數。這點錢對轉賣車票的利潤而言,是可以接受的成本。有沒有什麼技術可以防住社會工程學的破解辦法呢?能防住網咖青少年的驗證碼只有【2克濃度為3%的U235在大亞灣核電站能發多少KW的電】。
以上討論只是把12306當成和淘寶一樣沒有歷史包袱從零起步的交易系統,實際上,它不是,它後面的票池,還有電話售票、火車站售票、代售點售票等多個傳統渠道要服務。除了客運服務,12306還有全國最大(很可能也是全球最大)的大宗物資貨運系統。
架空政策(包括定價政策、警方打擊黃牛政策、身份驗證政策)談技術,是不可能解決春運搶票困局的,要想讓春運的時候每個人在12306搶票都毫無擁擠感(但不一定能搶到票,鐵路運力擺在那),那就是逼著12306買一大堆伺服器對付春運,春運過去後,成為跟amazon一樣牛逼的雲端計算服務商。和逼北京修一條10車道的高速公路去八達嶺長城一個道理。