1. 首頁 > 生活百科 > >

京東云開發者｜京東云RDS數據遷移常見場景攻略

生活百科

云時代已經來臨，云上很多場景下都需要數據的遷移、備份和流轉，各大云廠商也大都提供了自己的遷移工具 。本文主要介紹京東云數據庫為解決用戶數據遷移的常見場景所提供的解決方案 。
場景一：數據遷移上云數據遷移上云是最常見的一類場景，目前京東云提供了兩個DTS（Data Transformation Service）遷移工具供選擇，一個是數據遷移，一個是數據同步：
二者的主要區別如下：

京東云開發者｜京東云RDS數據遷移常見場景攻略

文章插圖
下面是這兩個工具使用中的一些常見問題：
01 兩個遷移工具的原理是什么？
以MySQL為例，兩個工具都有全量遷移/增量遷移/數據校驗三個階段 ， 這三個階段的主要原理如下：
全量階段：
數據遷移使用mysqldump --single-transaction來取得一致性快照 ， 但無法保證非事務引擎表的數據一致性，加上增量才可以保證數據的最終一致性 ， 這個過程是串行操作；
數據同步使用多表并行的select方式，根據主鍵順序分批獲取記錄，循環執行，如果沒有主鍵，則進行全表查詢 。為了最大限度減少對源實例的影響，這個過程不加鎖，也不用開啟事務獲得一致讀，因此全量期間遷移的數據是不一致的 ， 通過增量階段可以達到最終一致性 。所以數據同步只提供了‘全量+增量’和‘增量’兩種選項，不提供單獨的‘全量’選項 。
增量階段：
數據遷移和數據同步一樣，都是通過遷移啟動前記錄的gtid點位，抓取對應binlog同步apply到目標端，二者區別在于遷移是串行的，同步會將同一個表的事務合并后一次提交 ， 效率更高 。
數據校驗：
將源庫的數據分塊計算crc，每個塊的元數據和校驗信息記錄到目標實例_jdts_check為前綴的庫下checksum表中 。目標庫同步完成后根據同樣算法進行計算，比較對應塊號的crc值是否一致來判斷校驗是否成功 。
02 遷移速度可以調整嗎？
數據遷移不可以，數據同步可以選擇更大的遷移實例和增加更多的并發來調整，但由于并發機制是基于表粒度的 ， 對于少量大表的情況，增加并發并不會有明顯作用 。
03 遷移進度為什么顯示超過100%？
為了效率更高，遷移顯示的進度是根據已經遷移的記錄數除以數據字典記錄的記錄數顯示，數據字典的值并不完全準確，因此理論上會出現進度超過100%的現象 。
04 遷移延時為什么很長？
大多情況是源庫寫操作壓力大導致目標庫binlog apply進度趕不上源庫的寫入速度，也有可能是目標庫讀寫壓力大或者遷移實例壓力大，具體需要聯系京東云技術服務及時介入 。
05 遷移期間目標庫是否可以讀寫數據？
理論上可以讀寫，但不建議在遷移期間操作，主要有兩個弊端：
  • 寫入臟數據會導致校驗不一致 。
  • 讀寫數據會導致目標庫壓力增大，減緩數據同步速度 。
06 目標端如果有同名庫表是否會被覆蓋？
不會的 ， 如果目標庫庫表有數據，預檢的時候會報錯不通過；如果是空的庫表，則可以直接寫入 。
07 自檢提示源或目標庫網絡不通怎么辦？
檢查源庫和目標庫的白名單限制 ， 需要加上dts遷移實例的ip，在遷移任務配置的時候會在頁面提示 。
08 目標庫中的_jdts為前綴的庫可以刪除嗎？
遷移完成可以刪除 。
09 可以從只讀實例同步嗎？
只要源實例是gtid方式復制的，都可以通過主實例或只讀實例同步 。
10 數據遷移選擇內網時，為啥只能用json格式 ， 不能圖形化選擇庫表？
因為數據遷移創建任務的時候，遷移實例還未創建，無法判斷內網連通性；數據同步已經做了改進 ， 內外網均可以通過圖形化方式選擇庫表 。
11 遷移期間對源實例有影響嗎？
無論數據遷移還是數據同步，都需要對源實例庫表做select，會有一定的讀IO壓力，建議盡量在業務低峰期同步或從只讀實例同步 。對于數據同步任務， 可通過控制臺暫停任務，待源庫負載降低，再啟動數據同步任務 。
12 mysql系統庫應該如何遷移？
目前不支持遷移MySQL庫 ， 建議用戶遷移時提前在目標庫創建配置好對應的用戶和權限 ?；蛘咄ㄟ^mysqldump等工具從源庫導入 。
13 遷移過程出現Got fatal error 1236 ... 的報錯怎么辦？
這個報錯可能會在增量遷移過程出現，主要原因是增量需要的binlog在源端被刪除所致，因此遷移期間盡量將源端binlog保留較長的時間 。如果出現此類報錯 ， 如果無法找回被刪binlog，只能重新開始遷移 。

推薦閱讀