1. 程式人生 > >阿里雲高階工程師分享:高德地圖基於阿里雲MaxCompute的實戰效果

阿里雲高階工程師分享:高德地圖基於阿里雲MaxCompute的實戰效果

阿里雲高階工程師分享:高德地圖基於阿里雲MaxCompute的實戰效果

阿里辦公室

雲端計算帶來的變革不言而喻,作為一種新型的IT交付模式,切實為企業節省IT成本、加快IT與企業業務結合效率、提升創新能力、加強管理水平以及增強系統本身的靠性等方面提供巨大支援,是企業實現新發展的重要途徑,它已然成為全球IT產業的主流聲音。

為此,CSDN記者日前採訪了國內最早一批提供地圖API網際網路服務商高德的高階運維專家曾偉,從運維的角度分享了高德上雲的背後故事和帶來的好處、雲上架構、運維核心價值的變化等,最終實現了應用服務可用性上升到99.99%,同比提升了5倍,以及運維人員從原先的45人降到16人。他也表示,企業應當及時抓住雲端計算技術帶來的新機遇,針對自身不足,實施相應的技術和業務變革,擁抱雲端計算,充分發揮雲端計算技術在企業管理中的作用,從而增強企業的競爭能力。發展相關的。逆水行舟,不進則退,沒有更多的技術作為支撐,程式設計師你們小心腳步會跟不上了,我大資料從業者,建了一個大資料資源共享群593188212 每天分享大資料學習資料和學習路線

阿里雲高階工程師分享:高德地圖基於阿里雲MaxCompute的實戰效果

阿里女程式設計師

高德的IT化資訊化之路

高德於2002年成立,這十幾年的發展使得高德產品從簡單的車載導航產品應用至整個網際網路,目前提供的產品或服務主要有基礎服務:定位、搜尋、線路規劃、導航、步行、公交;O2O:酒店、美食、景點等;車聯網:AMAP AUTO車機版本、無人駕駛;高德大資料:實時路況,躲避擁堵等。

高德的資料採集、加工、整合過程

從最初的資料採集、合成、地理等變化到今天的車輛定位系統,高德的資料加工與整合主要分為這幾個階段:

初級階段:採集車安裝攝像頭和GPS、實景採集、郵寄視訊光碟等原始的方式;而內部作業員再通過看錄影、軌跡進行資料分析和資料製作,從而實現3個月一次的資料更新。在這一階段是全手工模式,網際網路化較低;

系統階段:採集車開始使用採集系統軟體,再在晚上通過網路回傳,脫離光碟作業的形式;之後,通過完善的編輯工具、檢查工具,實現了高的質量控制和快的流水線速度,從而進入到資料加工廠階段;

平臺化階段:上線高精采集車採集全景、分米級高精軌跡,以及眾包的形式進行社會化採集;內業工作平臺化,資料流轉任務流轉平臺化,而且全流程有監控,最終進入到流水線生產階段;

自動化階段:未來的採集將全面轉向眾包化,實現自動回傳,而內業的自動化水平高度提升,通過影像識別、大資料分析、自動資料融合等技術提升自動化生產的水平,這也是高德當下努力的方向。

阿里雲高階工程師分享:高德地圖基於阿里雲MaxCompute的實戰效果

運維之痛

在上雲前,高德在運維方面經歷了很多的痛苦,比如自建機房帶來的運維之痛,高德之前有7個小機房零散分佈在全國各個地方,但隨著業務的快速增長自建小機房模式帶來很多問題,包括IDC電力、空調、網路都很容易故障,也使得當時的運維達到40多人;同時也面臨大量的運維需求,因為運維需要負責IDC、電力、網路、伺服器、OS、資料庫(MySQL、Redis、Oracle、Memcache、PG、MongoDB)、各種應用軟體(Nginx、Apache)、開源工具(Jenkins、Puppet),大量的需求使得運維人員的經歷分散,產生非常大的壓力。另外,有時候因使用者激增帶來的大流量,加上原本吃緊的頻寬等問題,甚至會造成重大活動/節日時的宕機

高德在剛開始上雲時,對於熟悉傳統資料中心的運維人員有可能不熟悉各種雲服務元件,以及高德IDC和阿里雲併網執行期間,日誌實時傳輸延遲導致實時資料分析會出現延遲的情況。而通過阿里雲提供的完善技術、及時的響應、培訓支援,快速地解決了遇到的問題,最終運維人員可以很熟練的使用雲服務。比如,在高德MySQL資料庫轉阿里雲RDS的過程中,遇到了資料遷雲的問題——資料格式、寫的方式、匯出/匯入方式,最後利用阿里雲強大的RDS直接通過中轉區搭建了DTS系統,實現了跨網資料庫遷移的無縫切換和資料一致性。另外,阿里雲技術專家毛一鳴也介紹稱,高德也用到了阿里自研的DRC產品(Data Replication Center),支援異構資料庫實時同步,資料記錄變更訂閱服務,為跨域實時同步、實時增量分發、異地雙活、分散式資料庫等場景提供解決方案。

阿里雲高階工程師分享:高德地圖基於阿里雲MaxCompute的實戰效果

在遷到雲上之後,高德地圖的應用服務可用性上升到99.99%,比之前的7個小機房提供的服務可用性提升了5倍。另外,從以前的每次大型活動系統常崩潰,到國慶出行高峰的運維人員淡定、系統穩若磐石,充分體現了阿里雲端計算的穩定性。再者,以前高德的新應用上線和擴容,至少得提前2個月開始採購伺服器、上架、裝機、人肉擴容、釋出,上阿里雲之後,彈性擴縮容基本上在20分鐘內就完成,新應用上線10到20分鐘內就可以完成資源申請到應用釋出上線。