【CSDN現場報道】2017年5月18-19日，CSDN主辦的中國雲端計算技術大會（CCTC）在北京朝陽門悠唐皇冠假日酒店盛裝啟航。本次會議踐行“雲先行，智未來”的主題，在Keynote環節之外精心策劃了微服務、人工智慧、雲核心三大論壇及Spark、Container、區塊鏈、大資料四大技術峰會，眾多技術社群骨幹、典型行業案例代表齊聚京師，解讀本年度國內外雲端計算技術發展最新趨勢，深度剖析雲端計算與大資料核心技術和架構，聚焦雲端計算技術在金融、電商、製造、能源等垂直領域的深度實踐和應用，全程高能不斷檔，乾貨滿滿精彩紛呈。

19日上午，來自東方國信、清華大學、Hortonworks和北京偶數科技的技術專家來到大資料核心技術與應用實踐峰會，與現場的開發者一同分享大資料在運營商、圖計算、大規模機器學習以及雲時代的運用與實踐。

【大資料核心技術與應用實踐峰會】在中國科學院計算技術研究所副研究員查禮主持下，正式開始。

大資料核心技術-中國科學院計算技術研究所副研究員查禮

大資料核心技術在運營商的應用與實踐

東方國信大資料中心總監王虎發表了《大資料核心技術在運營商的應用與實踐》的主題演講，本次分享主要包含三個方面，第一，運營商的大資料架構；第二，大資料核心技術體系；第三，運營商的應用與實踐。王虎介紹到，過去運營商大資料平臺分為Iaas/Paas/Saas三層，而未來運營商大資料平臺將往更深層次方向演進，包括應用域、資料域、技術域、基礎域、安全域和開放域。

大資料核心技術-東方國信大資料中心總監王虎

經過運營商多年的建設，當前技術主要基於“開源+自主”研發結合，利用大資料核心技術，構建面向業務應用和平臺應用的實踐。而東方國信的Hadoop發行版本，是基於開源版本進行增強，相容開源版本，能隨著開源版本的升級而升級。基於開源社群原始碼實現二次開發，轉換為自己的核心技術，逐漸將應用與生產實踐的驗證部分程式碼提交給社群，比如： K8s+Docker底層原始碼修訂。

在大資料核心技術在運營商業務應用實踐中，運營商的企業運營管理，圍繞大資料為核心，面向客戶和內部員工，實現企業業務運營和管理。而在業務應用實踐中，王虎為分別介紹了大資料核心技術在資料、決策、營銷、客戶、績效五個方面。最後，王虎對大資料核心技術在運營商未來發展中做了展望，主要包含六個層面，如實時能力、線上能力、學習能力、開放能力、資料能力和應用該能力。

圖計算優化技術探索

清華大學計算機系副教授陳康發表了《圖計算優化技術探索》的主題演講，其內容包含四個方面，首先，是對圖計算做簡要介紹；其次，講解使用體系結構區域性性加速圖計算；再次，講解圖的三維劃分加速計算；最後，分享外存圖計算的加速方法。圖資料的來源非常廣泛，Google和Facebook中都含有大量圖片資源，因此，計算方式由資料並行到圖並行轉變。陳康表示，當前圖計算呈現出四大特點：高訪存計算比、資料區域性性不好、結構不規則和受資料驅動。因此，優化資料載入的速度是重中之重。

大資料核心技術-清華大學計算機系副教授陳康

隨後，陳康介紹了圖計算系統的計算框架，包括計算框架的作用，如便於程式設計、效能擴充套件和自動容錯；以頂點為中心的計算框架和以邊為中心的計算框架等等。在使用體系結構區域性性加速圖計算、圖的三維劃分加速計算和外圍圖計算的加速中，陳康運用了大量例項，為現場的開發者帶來了詳細的技術分享。

最後，陳康總結了使用體系結構相關方法優化圖計算中表示，圖計算由於其應用的廣泛以及規模的擴充套件，現在仍然是熱點的研究內容；通過體系結構相關的方法可以加速圖計算的執行，如使用體系結構區域性性加速圖計算、圖的三維劃分加速計算和外存圖計算的加速方法；圖計算的不同模式，需要不同的加速方法。

基於Spark的面向10億級別特徵的大規模機器學習

Hortonworks技術專家樑堰波發表了《基於Spark的面向10億級別特徵的大規模機器學習》的主題演講，本次分享主要分為五個方面：首先，樑堰波為大家介紹了基於Spark大規模機器學習的應用背景；其次，介紹了基於Spark無載體L-BFGS的運用；再次，分享了基於無載體L-BFGS的邏輯迴歸，第四，對效能進行了詳細分析；第五，介紹了與現有的MLlib整合；最後，分享了未來研究方向。通過大量例項介紹，樑堰波表示未來還存在很多可以研究的方向，如不斷的減少迭代、效能的提升以及藉助數十億引數預測廣告點選率並形成真實案例，同時分享我們所得的經驗和教訓等等。

大資料核心技術-Hortonworks技術專家樑堰波

雲時代大資料管理引擎HAWQ++

Apache HAWQ Committer, PMC, 北京偶數科技有限公司架構師陶徵霖發表了《雲時代大資料管理引擎HAWQ++》的主題演講，陶徵霖首先為大家介紹了HAWQ及其發展歷程，緊接著介紹了HAWQ體系架構、HAWQ內部架構、HAWQ優化器、HAWQ查詢處理流程、HAWQ資源管理、HAWQ儲存、HAWQ++新特性、HAWQ++安裝部署、如何訪問HAWQ++以及HAWQ++匯入匯出資料和HAWQ++結合MADlib的使用等等。

大資料核心技術–Apache HAWQ Committer, PMC, 北京偶數科技有限公司架構師陶徵霖

HAWQ資源管理的目標是負責向YARN申請資源和回退資源和為HAWQ使用者，查詢和操作符分配資源；三級資源管理包括全域性資源管理、內部資源管理和操作符級別資源管理；多級資源管理和CPU和memory的管理。在HAWQ++匯入匯出資料中，可通過hdfs外部表匯入匯出資料、gpfdist外部表匯入匯出資料、COPY命令匯入匯出資料和hawq load工具匯入資料。

更多精彩內容，請關注圖文直播專題：CCTC 2017中國雲端計算技術大會，Keynote視訊直播，微博：@CSDN雲端計算，訂閱 CSDN 官方微信公眾號（ID：CSDNnews），即時獲取大會動態。