飛天八部產品技術月刊 2018年11月
阿新 • • 發佈:2018-12-20
一、關注最新商用產品技術 1、 成本和效能兼得,ECS推出t5例項無效能約束模式 對於突發性能例項來說,在效能負載大於基線時會消耗積分(當然,反之效能負載小於基線時會積累積分),當積分消耗完後,t5標準例項的效能會被限制在基線。而t5無效能約束例項可以通過預支積分,或者付費的方式,繼續維持系統性能,相當於信用卡版本的t5例項,靈活度更高,對突發場景的適應性更好,說是成本和效能兼得完全合適。10、 齊天2.0正式釋出2、POLARDB釋出會話一致性功能 傳統的讀寫分離都只提供最終一致性的保證,主從複製延遲導致從不同節點查詢到的結果不同。一般的解決方法是: 將業務做拆分,將有高一致性要求的請求直連到主庫,最終一致性走讀寫分離,這樣不僅會增加應用開發的負擔,還會增大主庫的壓力,影響讀寫分離的效果。POLARDB提供的會話一致性保證同一個會話內,後面的請求一定能夠看到此前更新所產生版本的資料,甚至比這個版本更新的資料,保證單調性,很好地解決了上述問題,保證了讀寫分離負載均衡的效果。 3、 阿里雲PostgreSQL資料庫時空引擎Ganos正式上線阿里雲PostgreSQL資料庫時空引擎Ganos將為各類GIS地理空間資料以及時空型資料提供雲上的高效儲存、查詢和分析計算服務。Ganos將資料庫、GIS引擎和新型時空計算整合,利用雲上GPU加速、OSS大規模儲存能力,為更廣泛領域建立基於位置智慧提供基礎核心能力。 阿里雲自研資料庫時空引擎Ganos取名於大地女神蓋亞(Gaea)和時間之神柯羅諾斯(Chronos),代表著“時空” 結合。為充分與已有云資料庫介面相容,Ganos設計為一種雲資料庫增值服務,即以SQL型資料庫(雲關係型資料庫服務,RDS) 和NoSQL資料庫為底座擴充套件開發的一系列資料庫引擎元件,為各類時空資料提供雲上的高效儲存、查詢和分析計算服務。此次釋出的Ganos引擎為RDS for PostgresSQL 10版本,即使用者在購買PostgresSQL 10 RDS服務時,系統將自帶Ganos引擎。目前版本提供GIS幾何物件資料庫、MOD移動物件資料庫、RS遙感影像資料庫、NW幾何網路資料庫、LP鐳射點雲資料庫支援。使用者可以針對業務中所涉及到的不同GIS及時空資料型別進行資料的統一入庫、一體化儲存、快速查詢檢索以及執行各類分析計算。 4、雲資料庫釋出RDS for OSQL專有云商用資料庫Oracle執行管控平臺
RDS for OSQL 是阿里雲基於專有云3.7版本的商用資料庫Oracle執行管控平臺,為使用者提供平臺級服務,允許使用者自帶Oracle許可例項,提供自動部署、自動備份、自動實現高可用架構、自動監控,使使用者平滑的將線下Oracle資料庫遷移到阿里專有云而無須修改任何業務程式碼,大大減少了部署及運維成本。 5、 檔案儲存NAS-SMB協議支援oplock特性,大幅提升讀寫效能 檔案儲存NAS針對使用SMB協議的客戶端支援oplock(客戶端快取功能),在大型web服務、地相簿系統查詢等典型場景中,大幅地提升對檔案的讀寫效能。根據某專案地相簿查詢場景的測試結果,oplock客戶端快取能夠將地圖查詢響應時間從1分鐘降低到2秒,效能提升30倍。 6、 批量計算推出Sentieon基因資料分析應用 Sentieon 是業界深度優化的NGS資料分析軟體,能夠實現和GATK同樣的結果和準確性,實現10倍的計算效率提升,可滿足行業內Gene Panel、WES、WGS,腫瘤樣本等大多數基因資料的二級分析需求。 阿里雲批量計算與Sentieon公司合作,以App應用的形式,向用戶提供Sentieon基因資料分析應用。 使用者不再需要單獨購買軟體License,架設License Server,直接以按需、彈性的方式,使用這一領先的分析軟體。實現短時間內快速完成百上千個基因樣本的資料分析工作,獲得科研成果或者臨床報告。 Sentieon DNASeq ,提供從fastq到vcf的最佳實踐,幫助中小型使用者“一鍵”使用Sentieon軟體分析基因資料 Sentieon Runner ,提供原生Sentieon命令的支援,大型/高階使用者可以按照實際需求,個性化的使用該軟體 7、 函式計算推出本地除錯工具 Fun Local 函式計算推出本地除錯工具 Fun Local , Fun Local 工具可以將應用函式在本地完全模擬執行,並提供單步除錯的功能,旨在彌補函式計算相對於傳統應用開發、除錯體驗上的短板,併為使用者提供一種排查線上問題的新途徑。 Fun Local 在本地開發和除錯上添加了大量的新特性:支援本地執行函式、單步除錯函式、事件觸發函式、單步除錯時支援展示 IDE 配置等,幫助使用者方便地在本地操作,是函式計算工具鏈上的重要進展。 8、 阿里雲物件儲存OSS釋出 OSSUtil 1.4.2 版本,多項新特性增強使用者體驗 該版本新增特性如下: 1) 、支援設定儲存型別:使用cp命令上傳、複製檔案或目錄時,使用者可靈活指定目標檔案的儲存型別為Standard、IA或Archive,該功能實時生效 2) 、顯示傳輸速度:針對目標檔案進行上傳、下載操作時,實時顯示傳輸速度 3) 、支援斷點續傳:Windows版本支援斷點續傳(Linux、Mac版本已支援),大檔案或目錄上傳更方便 4) 、支援按“請求者付費模式”訪問:支援使用ls/cp命令訪問開啟“請求者付費模式”的Bucket 9、 虛擬網路轉發效能得到大幅提升,在節省50%的資源的前提下,平穩支撐了今年大促更大的業務流量。 今年大促首次使用ENI直通的容器網路模式,完全bypass了宿主機的開銷,讓容器具備了超低的網路延遲以及全量的網路功能。
齊天2.0增加了公網和DCN內部質量的檢測,並且提供“一個使用者一個入口”的一站式體驗能力,大幅改善了使用者體驗。 11、 ECS 熱遷移場景的SLB連線reset功能大規模上線,大幅提升了熱遷移的使用者體驗. 12、 VPC 和ECS支援IPv6(含IPv6閘道器)正式在內蒙Region釋出,這標誌著阿里雲提供了公網 +私網全鏈路的IPv6支援能力。 13、 加速PAAS(極致網際網路服務UIS)Openapi正式釋出上線。 UIS 是網路產品線第一個PAAS產品,目前,採用分潤模式的合作伙伴可以申請直接通過API建立加速服務,未來UIS也會面向終端使用者直接售賣。 14、 視訊點播(VoD)海外區域新加坡、法蘭克福正式上線 海外兩個點播中心新加坡、法蘭克福正式開始商業化,這是阿里雲首個輸出海外的視訊SaaS服務,在提供一站式的音視訊上傳、轉碼、分發、媒資管理等基礎視訊服務外,還支援線上視訊剪輯等增值化服務,在海外市場打造有力的差異化競爭優勢。 15、 視訊雲與區塊鏈聯合釋出可信數字內容版權服務解決方案 去年全球網路盜版造成的損失已經達到近318億美元,從國家監管力度和社會版權意識的變化上,可預測版權問題會逐漸引起重視。為了搭建應對版權保護和版權合法交易的服務和平臺,阿里雲區塊鏈服務與視訊DNA進行深度融合,為版權行業及內容平臺客戶提供一體化的版權內容保護解決方案。視訊DNA技術可對多種媒體(圖文、視訊、音訊等)進行唯一標記,依託區塊鏈將DNA等關鍵資訊上鍊,進而構建擁有版權存證、侵權追溯和版權交易等能力的平臺。 官網地址:https://promotion.aliyun.com/ntms/act/solution/copyright.html
16、 趣視訊解決方案發布 趣視訊一站式端雲解決方案打通了視訊採編、上傳播放以及分發和媒資管理等能力,解決了短視訊場景中端和雲的業務需求。在功能層面,解決方案新增卡片式佈局、秒級播放,並通過水印新增保護視訊原創。同時,為使用者提供了產品化的demo,實現與第三方合作商的對接,可幫助使用者快速上線、降低開發成本。
二、洞悉技術專案進展 1、 ECS Fleet 專案啟動 ECS Fleet 是一項可以幫助客戶一鍵建立並管理跨可用區跨例項規格族以及跨售賣方式的叢集(包括搶佔式例項,按需例項,以及未來的預留例項)的功能。 客戶可以通過單個API呼叫就可以定義叢集的目標容量、叢集中按需例項和搶佔式例項各自的比重、叢集中供選用的多個例項規格族以及與其對應的出價。Fleet會根據客戶配置的策略來智慧的尋找並開啟對應的按需或搶佔例項, 幫助客戶自動優化成本,提高可用性。 Fleet還可以後續持續自動管理叢集, 當有搶佔式例項被回收時Fleet會自動從其他備選規格族中找尋可用的例項來填補叢集的容量需求, 降低客戶運維成本, 幫助客戶更省心放心的使用搶佔式例項和其他例項組成的ECS叢集。 2、 賦能雲產品 經過幾周產品技術架構的密集討論,按照雲服務on ECS的趨勢,確定了VPC和雲服務接入方案的最終演進方案。Single Tunnel/Any Tunnel/反向訪問繼續對內部雲產品開放,進行區域性優化如地址衝突規避等。同時,對雲產品和外部生態提供類似AWS的Private Link產品,其正向訪問和反向訪問方式一致,體驗更優。後續將進行詳細的產品設計,架構設計和研發排期。 3、物件儲存OSS首次採用混合雲架構支援雙十一,提供更穩定、更高效的圖片處理服務 物件儲存OSS是阿里集團非結構化檔案的統一儲存系統,為天貓、淘寶、聚划算、飛豬、餓了麼、UC、優酷、小微金服、釘釘、菜鳥、Lazada等BU提供服務。儲存了寶貝詳情、產品主圖、視訊等各種媒體檔案EB級資料量、數萬億檔案,同時提供了完全自主開發的FPGA webp編碼的圖片處理服務。今年雙十一中,OSS首次採用混合雲架構,承接公共雲服務量超過60%。OSS通過混合雲資源並池解決了雙十一的各項日常和洪峰訪問需求,提供更穩定、更高效的圖片處理服務,保障了全球數億消費者暢快購買。 4、檔案儲存NAS首次參戰雙十一,承載支付寶賬單系統賣家全網大部分流量,同時為線上電商業務提供儲存計算分離的日誌無盤化服務 賬單系統將賣家全網大部分流量分流到NAS,可應對數十倍於日常流量的零點洪峰壓力 , NAS對IO毛刺問題進行大量優化,並通過多項優化提升系統容災能力,同時對訊息系統整體架構進行調優,實現業務流量在NAS上均勻打散,提升系統承載大流量的能力的同時,進一步提高穩定性。雙十一零點,應對每秒數十萬訊息TPS的業務壓力,NAS穩定表現,幫助賬單系統平穩支撐雙十一; 針對集團Sigma日誌無盤化服務的部署場景,NAS對原有架構進行演進,通過將NAS前端協議處理邏輯前置到Sigma宿主機,實現簡化排程流程、減少IO路徑端到端的網路跳數、提升系統Load Balance能力、優化應用體驗,避免網路隔離時產生IO hang等多方面好處,使得新架構在技術上儲備了支撐上萬sigma容器能力。 5、日誌服務全面支撐集團雙十一日處理資料幾十PB,峰值流量達到每秒百GB 日誌服務承載阿里雲/螞蟻全站、阿里電商板塊、雲上數千商家資料鏈路,每日處理來自百萬節點幾十PB資料,峰值流量達到每秒百GB。集團網路/系統/中介軟體/業務/安全等場景大量使用日誌服務作為分析引擎構建業務實時大盤,每天上萬工程師通過秒級的查詢能力與智慧機器學習函式進行日誌分析活動。 6、表格儲存支撐八年雙十一戰役,為集團多個核心業務提供底層支撐 表格儲存(Table Store)是阿里雲自研的一款企業級分散式NoSQL資料庫,能夠提供單表PB級、每秒億級訪問量的NoSQL資料庫服務。2011年開始在阿里巴巴內部使用,為淘寶、天貓、菜鳥、優酷、釘釘等核心業務提供底層支撐,日承接每秒億級的API呼叫訪問。 在今年雙十一中,表格儲存支撐優酷、手淘的雙十一作戰大屏;集團日誌平臺, cdn監控千萬級的讀寫;交易相關鏈路方面,為集團、淘寶商家以及菜鳥客服平臺提供了數十萬的寫入;為釘釘、菜鳥物流、中國郵政、先知輿情、上數等重要系統穩定性護航。 7、盤古2.0支撐集團儲存計算分離經受住雙11的大規模檢驗,平穩完成大促支援 盤古2.0作為新一代儲存,在高效能、高可用、低成本等方面深度挖掘了系統的極限能力,結合RDMA網路,全使用者態IO,線上糾刪碼和壓縮等技術,為集團及雲上提供穩定可靠的儲存服務。該2.0版已全面支撐了Sigma線上業務、集團資料庫及集團中介軟體等交易核心鏈路;為電商實時計算和搜尋推薦提供了極致的IO吞吐能力;基於盤古2.0引擎的ESSD雲盤也是首次亮相雙11,單盤提供高達百萬的IOPS,順利通過零點洪峰考驗。盤古在雙十一中展現出了卓越的效能和磐石般的穩定,更大幅降低三副本成本。同時,基於盤古服務的OSS、ODPS、Hbase、螞蟻金服等系統在海量規模、複雜業務場景下也表現如絲般順滑。後續盤古2.0持續發力,用規模夯實基礎打造普惠智慧新儲存! 8、視訊雲第四年護航集團雙十一,4K超高清、智慧生產、ENS首次大規模應用 本次貓晚直播清晰度全面升級,基於阿里雲直播服務將現場4K的高幀率視訊,實時轉碼處理並面向全網直播。在4K處理上,直播服務大規模使用CPU + GPU進行視訊處理及轉碼,保障直播視訊最高4K的HEVC實時轉碼。同時,智慧生產通過ASR技術與雲導播的結合,為千牛頭條直播提供了智慧實時字幕能力。此外,邊緣節點服務(ENS)首次護航雙11,幫助構建天貓電商的超低延時互動直播網路,業務洪峰下分鐘級彈性擴容,使整個系統更加安全可靠。另外,CDN也為Lazada電商內容加速,為全球狂歡節使用者體驗保駕護航。
三、最新學術、科研、技術成果 1、 首屆雲原生計算國際會議上,彈性計算研究員伯瑜介紹了基於虛擬化、容器化編排技術的雲端計算作業系統PouchContainer 首屆雲原生計算國際會議(KubeCon + CloudNativeCon,China,2018)在上海舉辦,彈性計算研究員伯瑜介紹了基於虛擬化、容器化編排技術的雲端計算作業系統Pouch Container。Pouch Container是類似於CNCF Kubernetes專案的容器管理平臺,支撐快速部署和彈性伸縮,可能會改變軟體行業開發、測試、部署和應用的模式。 2、全新一代ECS企業級例項支援雙11電商交易核心鏈路系統 基於Intel Skylake CPU+25G網路的ECS企業級例項,計算效能穩定,單例項最大效能提升明顯。2018年雙十一還首次採用了基於自研“神龍”虛擬化晶片的ECS彈性裸金屬伺服器,同時兼具虛擬機器體驗和物理機級別效能,有力地支撐了雙11核心關鍵業務APP應用、MetaQ中介軟體,Tair和DB資料庫等系統,涉及電商、金融、物流以及餓了麼等大促業務,雙11期間業務效能和穩定性表現優異。 3、阿里雲異構計算團隊亮相英偉達2018 GTC大會 英偉達2018 GTC大會於11月20日-22日在蘇州召開,大會吸引了超5000的與會者。在本次大會上,阿里雲異構計算團隊展出了全球首款基於彈性裸金屬(神龍)架構的GPU伺服器,吸引了大量關注。阿里雲GPU雲伺服器在計算、儲存、網路等方面已經融合了神龍、ESSD、和SCC網路等明星技術,完美支援人工智慧等大算力場景需求。 4、雲超算成新趨勢, 阿里雲獲HPC China 2018最佳產品創新獎 由中國計算機學會主辦的第十四屆全國高效能運算學術年會(HPC China2018)在青島國際會展中心舉行。HPC China是國內高效能技術發展的風向標,參會者涵蓋國內外學者、教育機構、HPC行業企業及使用者等。阿里雲受邀參與了此次盛會,並且獲得了中國計算機學會高效能運算專業委員會頒發的最佳產品創新獎。阿里雲研究員張獻濤和阿里雲高效能運算負責人何萬青發表了相關演講。 5、 11 月14至16日,GNTC大會上,阿里雲網絡專家團隊全面展示了洛神、嫦娥、織女和大聖從雲上到雲下全系列產品 2018 年GNTC大會上,阿里雲網絡團隊專家團隊全方面的展現了業界最豐富的雲網絡產品家族,包括:雲上網路洛神(vpc、slb、nat閘道器、EIP等)、雲間網路織女(CEN雲企業網、GA全球加速)、上雲網絡嫦娥(高速通道、vpn閘道器、智慧接入閘道器SAG)以及智慧網路齊天(大聖網路智慧機器人)。與友商相比,產品系列最全,使用者體驗更佳,架構開放從而具有良好的生態,獲得使用者和評委的一致好評。並且,阿里雲網絡憑藉靈活多變的全球混合雲網絡解決方案榮獲GNTC Innovation Award創新大獎,成為首家唯一入選該獎項的雲服務商。 6、 “ 雲合100”網絡合作夥伴計劃 中國SD-WAN峰會上,阿里雲釋出“雲合100”網絡合作夥伴計劃,並與合作伙伴的代表銳捷網路、鵬博士、暢捷通和駐雲科技共同啟動該計劃。阿里雲在2019年將投入1億元用於合作伙伴的認證培訓、銷售激勵、硬體補助和專案支援,共同為使用者打造靈動隨需的混合雲網絡方案。 7、檔案儲存NAS為進博會巡檢保駕護航,助力數字化展會新升級2018年11月5日至10日,中國國際進口博覽會(China International Import Expo,簡稱CIIE進博會)在上海舉行,來自130多個國家和地區的2800家企業、超過15萬買家參與展會,作為萬眾矚目的一帶一路國際貿易盛會,如何有效監控展位人流,部署警力安全巡檢是保障大會順利進行和國際貿易合作的重要基礎。在此次大會上,基於SMB協議的檔案儲存NAS搭載三維地圖軟體, 穩定、低延時、毫秒級別的載入模型資料並快速渲染。採用巡航的渲染模式幫助公安機關高效、靈活地切換視角實時從NAS上載入資料,進而直觀的監控參會人流並實時動態調配警力,保障了大會的順利召開,為政府、產業、消費者提供了數字化、智慧化的儲存服務。