5分鐘學會如何玩轉雲資料庫元件(遷移，審計，訂閱）
不小心刪除公司資料，會怎麼樣？
如果你經常關注知乎，就會發現，這個問題經常出現在你的feeds流裡面，時長都會有各式各樣的“刪庫到跑路”事件發生。不管是傳統資料庫或者是雲資料庫，總會遇到一些問題，比如資料遷移，比如資料風險安全，比如資料訂閱！
今天我將分享一篇文章，談談雲資料庫的優勢，談談騰訊雲在這方面的努力。看看騰訊雲怎麼通過技術手段來確保資料庫安全穩定，和快捷遷移，以及推動資料商業分析的。
傳統資料庫與雲資料庫
傳統資料庫
傳統企業在建設資料庫初期，不僅建設伺服器，還要保證資料庫能夠穩定和可靠的執行。當業務資料增長到一定大小的時候，就需要增加伺服器CPU及記憶體以及磁碟相關資源。為了保證伺服器的穩定性，還需要制定相關制度及體系，定製資料庫的架構，防止資料庫被攻擊，確保資料庫安全穩定。
雲資料庫
那麼雲資料庫有哪些優勢呢？首先雲資料庫提供PCI-e SSD硬碟，效能能達到245509 QPS。雲資料庫同時提供了MySQL、SQL server、Mariadb和PostgerSQL等資料庫引擎。企業可以根據不同的業務需求，使用不同的資料庫進行操作。同時，雲資料庫提供了統一的WEB管理工作臺，相對於傳統資料庫，更能容易部署和管理資料庫。為了保證資料庫的可用性，雲資料庫支援主從實時熱備，提供容災、備份、恢復、監控、遷移等功能。隨著業務的發展，業務需要更大和更強勁的資料庫時，只需要購買所需的資源，就能快速平滑擴容業務資料庫，滿足業務發展需要。
騰訊是開源資料庫白金級贊助商，騰訊對開源資料庫做了大量優化。這些資料庫支撐著騰訊大量交易系統的執行，騰訊雲資料庫有統一的管理平臺，不論選擇怎樣的資料庫，都能方便快捷的管理。
資料庫SaaS服務體系
資料SaaS服務涵蓋使用者從上雲，日常運維使用，資料安全審計，及訂閱商業分析。
騰訊雲資料庫讓您可以輕鬆在雲端部署、使用資料庫。通過雲資料庫MySQL，您在幾分鐘內即可部署可擴充套件的資料庫例項。不僅經濟實惠，而且可以彈性調整硬體容量的大小而無需停機。TencentDB for MySQL 提供備份回檔、監控、快速擴容、資料傳輸等資料庫運維全套解決方案，為您簡化 IT 運維工作，讓您能更加專注於業務發展。
資料庫遷移
資料傳輸服務（Data Transmission Serivce DTS）提供資料遷移、資料同步、資料訂閱於一體的資料庫資料傳輸服務，幫助您在業務不停服的前提下輕鬆完成資料庫遷移，利用實時同步通道輕鬆構建異地容災的高可用資料庫架構。資料傳輸服務DTS的目標是幫使用者將複雜的資料互動工作承擔下來，讓使用者可以專注於上層的業務開發。
資料遷移
支援不同環境及不同型別的資料庫遷移。支援遷移的源庫包括有公網IP的外網自建資料庫，通過VPN、專線等網路環境接入騰訊雲的自建資料庫，雲伺服器CVM自建資料庫；目標庫為TencentDB for MySQL例項。支援檢視所有遷移任務的狀態及多工批量操作。 DTS提供的資料遷移功能是您資料上雲的的最佳選擇。資料遷移僅需幾步設定，則可幫助您完成資料從本地遷移上雲的一系列繁瑣工作。遷移過程中並不影響源資料庫繼續對外提供服務，最小化上雲過程對您業務的影響。
提供自建 MySQL 資料庫到雲資料庫 TencentDB for MySQL 的連續資料複製，使用者可在不停服的情況下對資料進行線上熱遷移，支援具有公網 IP/Port 或專線接入騰訊雲的本地 IDC 或騰訊云云伺服器 CVM 上 MySQL 資料庫遷移。例項有關聯災備例項暫不支援資料傳輸服務，請建工單進行遷移。（通過增量遷移的時間建議不超過15天，請確保主從追上之後單擊遷移完成按鈕。）
Redis 遷移
線上遷移工具暫不支援的遷移型別：主從版、叢集版、自研CKV+引擎 三者例項間的遷移。
遷移注意事項
- 目前僅支援遷移到騰訊雲 redis 的主從版本；
- 為保障遷移效率，CVM 自建例項遷移不支援跨地域遷移；
- 由於 rdb 協議限制，暫不支援自建例項 redis 3.2 版本的遷移；
- 外網例項遷移時，請確保源例項服務在外網環境下可訪問；
- 進行遷移任務時，只允許遷移正常執行狀態下的例項，且未初始化密碼或者有其他任務在執行中的例項，是不能夠遷移的；
- 目的例項必須是沒有資料的空例項，遷移過程中，會鎖住例項，不能對例項進行寫入操作；
- 遷移成功時，由業務側驗證資料後，可斷開源例項連線，將連線切換到目標例項。
PostgreSQL 資料庫遷移
資料傳輸服務 DTS 支援資料遷移功能，提供自建 PostgreSQL 資料庫到雲資料庫TencentDB for MySQL的連續資料複製，使用者可在不停服的情況下對資料進行線上熱遷移，支援具有公網 IP/Port 或專線接入騰訊雲的本地 IDC 或騰訊云云伺服器 CVM 上 PostgreSQL 資料庫遷移。資料遷移目前只支援 PostgreSQL 資料庫的版本是9.3.x,9.5.x，同時9.3.x 不支援增量同步，9.5.x 需要通過線上同步外掛才能支援。
資料庫審計
資料庫審計是騰訊云為瞭解決行業客戶遇到的諸如金融審計需求，以及實際執行中遇到的安全防護，SQL 延遲效能問題等多種綜合需求而提供的產品。
全面審計
- 資料庫訪問的全部記錄，最大程度滿足使用者審計需求，可追溯對應用者的身份和行為；
- 準確審計：使用者可設定規則，只保證規則匹配到的審計規則有資料儲存，規則也可以設定為全量審計；
- 提供海量 TB 級資料儲存，可以後續根據使用者要求提供長期備份。
高效審計
- 與目前其他通過旁路做審計檢查方式不同，騰訊雲資料庫 TencentDB for MySQL 通過核心外掛進行上報；
- 後期還會逐步增加實時阻隔功能，另外在實際測試影響效能不到 2%；
- 高效分析：提供使用者、IP、客戶端工具、訪問時間、操作物件、SQL 操作型別、成功與否、訪問時長、影響行數等多種檢索條件的快速分析與檢索，實測 30 多億級資料 6-8 秒內響應。
背景說明
管理風險
系統管理員存在的誤操作、違規操作、越權操作，損害業務系統安全執行；
多人公用一個帳號，責任難以分清；
第三方開發維護人員的誤操作，惡意操作和篡改；
超級管理員許可權過大，無法審計監控。
技術風險
應用系統開發商後門或漏洞；
離職員工留下後門。
政策風險
無法達到國家等級保護（三級）明確要求（7.1.3.3）；
滿足不了行業資訊保安合規性檔案要求——如人行《金融行業資訊系統資訊保安等級保護實施指引》；
資料訂閱
資料傳輸服務 DTS 提供了基於 binlog 的增量資料訂閱功能，僅需幾步簡單操作，即可訂閱雲資料庫 TencentDB for MySQL 的增量更新資料：
- 在騰訊雲 DTS 控制檯購買並建立 TencentDB for MySQL 例項的訂閱通道。
- 使用 DTS 資料訂閱 SDK 連線這個訂閱通道，訂閱並消費增量資料。
原理
我們會通過模擬從庫向主庫獲取對應 binlog 內容進行分析，大概架構圖如下,我們會通過解析 binlog ,按照訂閱通道配置的庫表進行分析，所以幾乎對主庫沒有影響。
注意：
- 目前我們對訂閱的訊息內容預設會保留最近 3 天。
- 另外如果訂閱整庫的話，後續新增的表也是會在原有訂閱通道出現，不需要對原訂閱通道進行新增配置操作。
- 目前只支援 TencentDB for MySQL5.6，後續會很快支援 TencentDB for MySQL5.7。
- 資料訂閱暫不支援view，觸發器和外來鍵。
- 資料訂閱初次配置需要對相關 binlog_row_image 引數做調整，會根據符合條件自動 kill 老的 session 使引數立即生效。
- 資料訂閱目前支援的字符集包括 latin1，utf8，utf8mb4。
總結
未來的雲資料庫將會成為企業IT架構的“水，電，煤”，可以按需快速啟動，支援各種型別的資料，滿足所有種類的業務，無限儲存，無伺服器，全智慧，自驅動，零運維，閒時免費，覆蓋全球並能自動擴充套件到近使用者端，提供穩定可靠自由擴充套件的服務，騰訊雲資料庫將不懈的努力將更多的產品能力普惠世界。