1. 程式人生 > >資料庫產品事業部月刊(2019年5月)

資料庫產品事業部月刊(2019年5月)

一、重點事件

洞見技術前沿 阿里雲全明星陣容亮相DTCC 2019

5月8日-10日,國內最具影響力的資料庫技術行業會議——DTCC 2019在京召開。作為DTCC的老朋友和全球領先的雲端計算廠商,阿里雲資料庫團隊受邀參加本次技術盛會,不僅派出了重量級嘉賓陣容,由資料庫產品事業部總負責人李飛飛博士領銜,還為廣大資料庫業內人士和行業使用者奉上了8場精彩議題。分別就雲原生資料庫、新一代自研分析型資料庫、分散式資料庫、時序資料庫、圖資料庫等技術話題,展開深入討論,分享最佳實戰經驗,充分展示了我們在資料庫全域佈局的技術能力。

Fv6tuOcwhgUGP9o7GnMRoLO9MTeC

阿里雲資料庫產品事業部總負責人李飛飛博士(花名:飛刀)

同時,李飛飛博士還作為DTCC大會的專家顧問,把握資料技術的主題內容與方向。

FjLcSeij1DTf9oRFFA37vG2nVCRc

阿里雲智慧資料庫產品事業部研究員林亮(花名:意博)

大會總參會人數4000+,參會人員廣泛,覆蓋了來自金融、政府、醫藥、零售、交通等行業的CIO/CTO/資料庫開發者;

內容+直播回顧https://yq.aliyun.com/articles/704438

POLARDB獲選2019中國資料庫年度最佳創新產品

在DTCC 2019上,阿里雲自研雲原生資料庫POLARDB獲選“年度最佳創新產品”。

IMG_1722

阿里雲資料庫產品總監曹偉

阿里雲資料庫產品總監曹偉表示:“雲原生資料庫天然擁有云計算的彈效能力,同時兼具開源資料庫簡潔易用、開放的特點,以及傳統資料庫處理效能的優勢,POLARDB將更好地幫助大企業輕鬆實現上雲,讓企業更專注於業務創新。”

檢視詳情:https://yq.aliyun.com/articles/702310

阿里雲資料庫產品媒體釋出會 POLARDB釋出重大更新

5月21日,資料庫新品釋出會順利在京召開,現場近40家媒體,以及分析師、客戶和合作夥伴到場。釋出會上PolarDB釋出重大更新,幫助企業一鍵遷移傳統資料庫,將線下的MySQL、PostgreSQL和Oracle等資料庫輕鬆上雲,最快數小時內遷移完成。

vbox7197_021A9218_143105_small_

同時,由客戶銀泰百貨和合作夥伴東方龍馬現場分享了與阿里雲合作的最佳實踐,合作伙伴東方龍馬在傳統線下領域具有很強的標杆效果,此次釋出會對傳統資料庫上雲起到了很大的放大效應和影響作用。

新聞稿《阿里雲PolarDB釋出重大更新:支援Oracle等資料庫一鍵遷移上雲》上線近百家核心IT/門戶/垂直媒體渠道,包括36氪、澎湃新聞、新浪、國際線上、搜狐、騰訊等。

檢視詳情:https://yq.aliyun.com/articles/703158

Percona Live 2019:擁抱開源 AliSQL品牌升級

當地時間5月28日-30日,MySQL領域規模最大的會議Percona Live在美國Austin召開,來自阿里雲資料庫產品事業部的印風獲得MySQL Community Awards 2019 個人獎,以表彰其對MySQL社群做出的長期貢獻。印風的獲獎是繼阿里雲去年獲得“MySQL社群公司貢獻獎”之後再次得到MySQL社群的認可。阿里雲資料庫積極參與和豐富MySQL的生態,將內部的技術通過雲服務和開源的方式分享。

資料庫團隊共分享了8個議題,主要內容覆蓋兩大部分,一是自研產品POLARDB及其重要功能Parallel Query; 二是開源部分,包括AliSQL對MySQL社群的貢獻、以及在RDS產品層面的創新,主要傳遞AliSQL品牌升級,阿里雲資料庫擁抱開源的計劃,並解讀集團多年業務應用場景。

檢視詳情:https://yq.aliyun.com/articles/703801

企業級雲災備系列釋出會&沙龍(5.27-5.31)

5月27日-31日,《企業級雲災備解決方案》系列釋出會分別通過北京、深圳、重慶三場活動,分享從網路、儲存、應用到資料庫的企業級雲災備解決方案。資料庫團隊主要分享雲時代的資料庫新容災架構,以及混合雲下資料庫容災備份最佳實踐。釋出會現場演示了“拔掉資料庫電源”,10秒後通過業務容災到阿里雲杭州Region後,業務恢復(其中該容災方案中,通過DTS實現RPO:0,RTO:1秒);

_1

檢視詳情: https://yq.aliyun.com/articles/704751

阿里雲資料庫研究成果連續2次入選國際頂會SIGMOD

SIGMOD是資料庫領域的頂級會議,全球頂級科技公司及學術機構都會參與,堪稱資料庫領域的"奧林匹克",入選論文代表了資料庫領域的最高水平。

_1

阿里雲資料庫入選論文《X-Engine: An Optimized Storage Engine for Large-scale E-Commerce Transaction Processing》主要介紹了面向大規模流量場景設計的自研儲存引擎X-Engine。SIGMOD委員會點評:“X-Engine具備比同類系統更好的效能和效率,且在實際生產環境中得到了完善的測試和考驗。“

連續兩年入選SIGMOD在國內企業中尚屬首次,體現了阿里雲自研資料庫技術的能力,同時也是中國企業在資料庫核心系統核心方向的論文第一次被SIGMOD收錄。

檢視詳情:https://mp.weixin.qq.com/s/ThMLch-b0PN5avCrElOciQ

阿里雲峰會新加坡站 (5月30日)

新加坡峰會上,阿里雲面向全球企業釋出了10多款新產品和功能,資料庫產品事業部在主論壇釋出了POALRDB for Oracle和GraphDB,並在展區對這兩款資料庫進行了展示,助力企業完成基礎設施的雲化、核心技術網際網路化、應用資料智慧化。本次大會是產品國際化的重要發聲渠道,輻射東南亞、香港區域,提升了阿里雲資料庫產品的國際影響力。

檢視詳情:http://www.ctoutiao.com/1851993.html

二、商用產品技術

POLARDB

· 支援一鍵升級 RDS MySQL 到 POLARDB 
POLARDB 完全相容 MySQL,可以直接替換 MySQL,但遷移過程卻較為複雜。為使RDS使用者比較方便地使用POLARDB,現推出了一鍵升級的功能,使用者可以基於RDS建立一個增量同步中的POLARDB,利用原生複製技術完成線上熱遷移,整個過程可以確保資料0丟失,分鐘級的切換時間,並且支援7天內隨時回滾,免除後顧之憂。

_1

檢視詳情:https://help.aliyun.com/document_detail/121582.htm

RDS

· RDS for MySQL 8.0釋出
5月29日,阿里雲RDS for MySQL 8.0正式上線,使得阿里雲成為緊跟社群步伐,釋出MySQL最新版本的雲廠商。RDS for MySQL 8.0 產品是阿里雲推出的 MySQL 系列雲產品之一,使用完全相容 MySQL 8.0 的阿里雲 AliSQL 8.0 分支,不僅有2倍以上效能提升,還發布了SQL視窗函式、JSON擴充套件語法等企業級新功能。

除了官方在 MySQL 8.0 推出的全新功能外,AliSQL 沉澱了許多在 阿里巴巴集團電商業務和雲上幾十萬客戶在使用 MySQL 過程中遇到的問題和需求,以此來加固AliSQL, 提升 AliSQL 的效能和穩定性。

生態與工具

· 資料傳輸服務DTS上線新版訂閱功能
新版訂閱新增功能如下:
1.支援通過建立多個消費組實現多下游消費,相對老版本大大降低使用者使用成本。 
2.支援訂閱自建MySQL資料庫,為自建資料庫使用者訂閱資料提供更多的便利。
3.在支援經典網路的基礎上,新增了專有網路的支援。使用者可以通過專有網路訂閱消費資料,以獲得更低的網路延遲和更高的安全性。
4.支援Kafka生態,通過使用Kafka Client使用者可以直接消費資料訂閱通道中的資料。

· 資料傳輸服務DTS支援MySQL 8.0
資料傳輸DTS上線MySQL8.0作為資料來源和目標的結構、全量、增量遷移、同步功能。上線MySQL8.0的訂閱功能,MySQL8.0的訂閱基於新版本的訂閱功能實現。

· 資料傳輸服務DTS上線雲Redis單例項作為資料來源的同步功能
在原有支援自建Redis作為資料來源的同步功能基礎上,增加支援雲redis單例項作為資料來源的同步功能,可實現雲redis單例項到雲redis單例項、雲redis讀寫分離例項、雲redis cluster、使用者自建ECS Redis單例項、使用者自建ECS redis cluster、使用者專線接入的redis單例項和Redis cluster。

· 資料傳輸服務DTS支援ADB 3.0
資料傳輸服務DTS支援MySQL到ADB3.0的結構遷移、全量、增量遷移和同步功能,實現使用者方將MySQL資料同步到ADB3.0做實時分析的場景。

· 混合雲資料庫管理 HDM 上線MySQL 效能快照
混合雲資料庫管理 HDM支援當MySQL的活躍會話數量觸發告警閾值後,自動產生效能快照,儲存異常現場,方便使用者排查資料庫異常。

· 混合雲資料庫管理 HDM 支援Redis 快取分析
混合雲資料庫管理 HDM 支援Redis快取分析,確認Key分佈情況,減少因為Key傾斜引發的記憶體不足、效能下降等問題。

· 混合雲資料庫管理 HDM 支援Redis 會話管理
混合雲資料庫管理 HDM 支援Redis會話管理,幫助使用者直觀的檢視正在執行的會話,快速確認會話的來源,並支援直接終止異常會話。

· 資料管理DMS個人版釋出全球化管理、MySQL8.0支援和ADB 3.0支援
全球化管理髮布後,使用者通過控制檯可以看到全球各個地域的資料庫例項列表,在列表直接進行資料庫登入操作,不需要再區分所屬地域進行獨立地址登入使用。並支援在控制檯檢視全球所有區域例項的操作日誌進行相關審計。

新增ECS自建資料庫、RDS資料庫MySQL8.0版本的支援,使用者可以通過DMS進行視覺化的資料庫表結構、表資料的管理。

新增ADB3.0資料庫型別的支援,使用者可以通過DMS進行視覺化的資料庫表結構、表資料的管理。

· 資料管理DMS企業版售賣規格調整
本次新增4個大規格,全面調整已有7個規格放寬例項數的限制,方便使用者以更低的成本來使用本產品。幫助使用者快速構建簡單易用、高資料安全、高變更安全、高研發效率的資料庫DevOps平臺。

· 資料管理DMS企業版例項錄入OpenAPI新增ECS自建、VPC專線例項的支援
擴充套件原有OpenAPI新增例項來源為ECS自建、VPC專線的支援,方便使用者更高效、自動化完成相關資料庫資源的統一錄入管理使用。

· 資料管理DMS企業版提升不鎖表結構變更能力
本次提供不鎖表結構變更開關選項,幫助使用者可更靈活選擇需要的執行方式,針對MySQL源上OnlineDDL行為會造成的主備延遲問題,可以通過產品自研提供的不鎖表結構變更優先的方式來進行規避。

· 跨資料庫查詢DSQL新增POLARDB資料庫型別的支援
在原有MySQL、SQL Server、PostgreSQL、Redis、DRDS幾個資料庫型別可完成的跨例項、跨庫join查詢的基礎上,本次新增了POLARDB與已支援資料來源之間的join查詢支援,方便使用者通過console或者應用程式,在不同資料來源之間做快速、高效、線上的資料join分析。

三、技術沙龍/客戶案例:

數字中國行-資料庫技術沙龍(重慶站)
2019年5月28日下午,阿里雲資料庫技術沙龍(重慶站)在兩江新區網際網路產業園阿里雲創新中心(重慶)舉行。本次沙龍邀請了四位著名的阿里雲產品專家圍繞雲資料庫技術進行分享,吸引了近百名參與者。活動由四個主題分享構成,分別是《阿里雲資料庫的演變與最佳實踐》、《POLARDB | 劃時代的雲原生資料庫》、《阿里雲NoSQL資料庫,助力企業構建敏捷架構》,《分析型資料庫最佳實踐》,主講人通過大量例項向大家生動講解了雲資料庫技術。

TB1_gQ8aG5s3KVjSZFNXXcD3FXa_tfsprivate

檢視詳情:https://mp.weixin.qq.com/s/ddJcgifro8MDXa-fijB1vw

客戶案例:玖富集團

  • 客戶介紹:

玖富集團是中國移動網際網路金融綜合服務平臺,成立於 2006 年,基於移動網際網路和大資料技術為使用者提供普惠金融服務。目前玖富集團旗下品牌累計註冊使用者已經突破 6000 萬,連續兩年被國際四大審計機構德勤評為“中國高科技高增長企業 50 強企業“。

  • 客戶痛點:

隨著玖富集團旗下的金融風控業務的快速發展,如何為業務提供快捷高效的資料服務成了客戶的一大挑戰,理想中的資料庫既能夠長期儲存龐大的歷史資料,還可以實現億級資料的高效查詢,而客戶目前使用的傳統 MySQL面臨儲存空間不足的問題,同時龐大的業務查詢量也導致資料庫效能下降、查詢低效,對客戶業務的順利發展造成了一定的影響。

  • 解決方案:

為解決客戶痛點,首先需要統一各個業務系統呼叫爬蟲服務的入口,以避免各系統與爬蟲系統、風控決策流系統分別進行資料互動。在阿里雲的協助下,玖富集團構建了爬蟲埋點服務系統,由前置服務統一呼叫和獲取爬蟲資料,並提供給不同的業務系統,大大提升了業務查詢效率。
同時,為了確保在多個系統併發呼叫爬蟲系統時的效能,玖富集團使用了阿里雲 POLARDB 資料庫,依靠 POLARDB 強大的計算能力,通過介面的方式快捷高效地為眾多業務系統提供相關的資料,順利解決了龐大資料查詢慢的問題。
此外,客戶還通過 POLARDB 靈活實現了只讀例項的擴充套件,很好地提升了業務資料的儲存能力,完美解決了金融風控龐大資料儲存和計算難的痛點。

  • 客戶價值:

目前玖富集團在阿里雲POLARDB中的資料已經達到 20 TB+ ,其中單表最大已達1TB,而且還在快速增加中。阿里雲 POLARDB通過彈性自適應增長、自帶讀寫分離的高可用服務和高併發查詢能力,完美解決了玖富集團金融風控龐大資料儲存和計算的痛點,為客戶提供了高效可靠的服務,助力客戶創造更多的業務價值。

  • 專案架構圖:

 

image

 

整體風控系統改造架構圖

客戶案例:資料處理類遷移上雲

客戶名稱:某數字營銷有限公司

  • 客戶痛點:

原 IT 架構資料儲存方面,是自建 SQL Server 資料庫放在 Linux 系統的容器中,導致資料更新慢,響應時間長,工作效率低下,資料時效性降低,影響業務開展。現在的IDC 機房,針對安全方面部署少,經常被攻擊篡改網站,人工防護運維成本高,成效低,一旦被攻擊,損失慘重。後續計劃建大資料平臺,線下機房效能適配性低,可拓展性低,投入高收益低。

  • 解決方案:

· 資料儲存:用雲上的 RDS ,進行資料儲存和資料同步,不同的 RDS 進行業務區分。按照客戶的業務需求,結合阿里雲現有的產品功能,將放置線上下Linux 系統容器中的 SQL Server 資料庫,先用 MariaDB 清洗,然後用 MongoOB 來進行資料同步。基於兩個資料庫,再配置一個 DBS ,方便進行資料備份。

· 安全部署:在兩臺 WEB伺服器使用了防篡改版的安騎士,並且開通了按量付費的 WAF,進行安全防護。

· 後期計劃: RabbitMQ 後期計劃開展建設大資料平臺,預計結合客戶的需求,提供完整的架構方案和技術知識。目前客戶是自建的RabbitMQ,後續會協助客戶用使用訊息佇列 MQ 一 AMQP ,以及 ARMS 等,以及輿情分析平臺,來助力客戶開展業務。

  • 客戶價值:

大幅度提升了資料更新速度,響應時間縮短,提升 IT效率,高效工作,提升資料處理的速度。
有效保護業務安全,降低安全緊急事件帶來的業務損失,提高運維的工作效率,線上部署安全產品成本可控實用性高。

 

本文作者:七幕

原文連結

本文為雲棲社群原創內容,未經