在非洲運營網際網路系統-基礎建設
2018年3月,研發中心設計的第一版PAYGo系統計劃在非洲.奈及利亞部署使用。
系統部署架構是自建私有云平臺+自建簡訊貓,其中私有云平臺不受地域限制;但是簡訊貓裝置必須部署在本地,否則算國際簡訊。
當時找了幾家簡訊服務商,價格都比較高,而自建簡訊貓要便宜好幾倍/條,技術上支援了上/下行方案。
預研了:租用當地機房、自建機房、就近國家租用伺服器三種部署方案;
租用當地機房:奈及利亞基建很不發達,拉網線成本非常高,一般的網路都是走無線(裝流量卡的路由器),談了幾家本地提供機房租用服務商,價格都比較高,而且服務穩定和安全保障未知,該方案優先順序調低;
自建機房:當時老闆有意自建,畢竟伺服器都在自己可控範圍內,不存在被人掐脖子,公司租用的辦公樓也預留了機房的位置。
從國內發了3臺伺服器過去,沒想包裝再嚴實,運到後全部被摔碎,硬碟都掉出來了,慘不忍睹。
考慮到當地供電非常不穩定,一天大部分時間停電,所以該方案只應用了部署簡訊貓裝置,伺服器也改成低功率工控裝置(停電後蓄電池能夠撐8個小時左右);裝置在高頻上/下電、高溫環境下執行還算穩定。
簡訊貓裝置是從國內採購,然後自己帶過去的,可以同時用16張卡。說是工業級,但是到達率和穩定性並不咋樣,很多問題廠家也解決不了,只能自己研究和測試,折騰的夠嗆。
就近國家租用伺服器(當前方案):運維部門在歐洲(法蘭克福)租用了3臺高配物理伺服器(虛擬出15臺伺服器),搭建了企業私有云平臺,部署了OTT全套系統、公司和子公司官網、商城、PAYGo(CRM+WMS)等。考慮到公司後續其他系統業務,預留了70%的資源(光這3臺機器、網路和IP一個月就花掉8000RMB)。
通過2018年一整年的迭代開發,PAYGo系統業務、雲平臺穩定性、運維響應、簡訊方案重構、支付方案覆蓋率和銷售模式摸索等等都逐漸成熟;
直至2019年初,公司結構大調整,運維部、測試部和研發部合併。
我接管了公司所有線上系統,並重新對伺服器資源做了規劃,運維人員租用了價格較低的伺服器,成本從8000RMB/月降到了約2000RMB/月。
低廉伺服器的服務商非常不專業,1個月內經常隨意重啟伺服器,導致資料庫檔案損壞、硬碟壞道、網路被禁、被隨意斷網做測試等一系列問題,導致我們大量時間耗在折騰伺服器上面,果斷更換了服務商並重新規劃部署方案。
當前部署方案:
-關鍵服務部署到阿里雲ecs伺服器;
-資料庫換成阿里雲實例主備高可用;
-採用阿里雲+七牛雲雙備份資料;
-簡訊對接了阿里雲、華為雲、創藍、雲片,自建簡訊貓做應急備選;
-子系統全部Docker化,採用自建容器雲管理系統環境安裝、升級,實施了全套DevOps理念。
從0到1的過程雖然很艱辛,但是隻要跨過這道坎後,一切都變得非常簡單。雖然折騰了,但團隊成長了,以當前的研發能力和第三方業務對接能力,隨時可多國方案快速複製。
從法國到奈及利亞訪問延遲大概200毫秒左右,整體體驗還算過得去。今年“華為雲”在南非布了點,據說到肯亞延遲在50毫秒內,納入下階段測試計劃。
總結:
1、如果是新市場,基建就用業界已有的穩定產品,後面再替換成自己的,把精力放在開闊市場和產品優化改進上,前期真心沒必要折騰。
2、用熟悉或大品牌伺服器服務商,穩定、靠譜很重要,貴不了幾個錢;
3、永遠要有Plan B;
4、不要以為一下子就能做成一個大而全的系統,一個實用系統都是要靠不斷的設計、體驗實踐、持續優化迭代出來的;
5、不要重複造輪子,在非洲,抓住合作機會,抱團發展才有出路。
- end -