1. 程式人生 > 實用技巧 >mongodb 備份恢復, 異構平臺數據遷移mysql -> mongodb

mongodb 備份恢復, 異構平臺數據遷移mysql -> mongodb

1.1 備份恢復工具介紹:

1)**   mongoexport/mongoimport
(2)***** mongodump/mongorestore

1.2 備份工具區別在哪裡?

應用場景總結:
mongoexport/mongoimport:json csv 
1、異構平臺遷移  mysql  <---> mongodb
2、同平臺,跨大版本:mongodb 2  ----> mongodb 3
3. 匯入匯出的是json格式或者csv格式
mongodump/mongorestore 日常備份恢復時使用.
匯入匯出的是bson格式, 不同版本的bson格式可能不同, 所以存在失敗的可能, bson不同的可使用mongoexport

補充: json可讀性強但體積大, bson則是二進位制檔案, 體積小但沒有可讀性.

1.3 匯出工具mongoexport

mongoexport具體用法如下所示:
$ mongoexport --help  
引數說明:
-h:指明資料庫宿主機的IP
-u:指明資料庫的使用者名稱
-p:指明資料庫的密碼
-d:指明資料庫的名字
-c:指明collection的名字
-f:指明要匯出那些列
-o:指明到要匯出的檔名
-q:指明匯出資料的過濾條件
--authenticationDatabase admin

1.單表備份至json格式
mongoexport -uroot -proot123 --port 27017
--authenticationDatabase admin -d oldboy -c log -o /mongodb/log.json 注:備份檔案的名字可以自定義,預設匯出了JSON格式的資料。 2. 單表備份至csv格式 如果我們需要匯出CSV格式的資料,則需要使用----type=csv引數: mongoexport -uroot -proot123 --port 27017 --authenticationDatabase admin -d test -c log --type=csv -f uid,name,age,date -o /mongodb/log.csv

1.4 匯入工具mongoimport

$ mongoimport --help
引數說明:
-h:指明資料庫宿主機的IP
-u:指明資料庫的使用者名稱
-p:指明資料庫的密碼
-d:指明資料庫的名字
-c:指明collection的名字
-f:指明要匯入那些列
-j, --numInsertionWorkers=<number>  number of insert operations to run concurrently (defaults to 1)
//並行(建議1/4的cpu數, 因為得考慮io問題)


資料恢復: 1.恢復json格式表資料到log1 mongoimport -uroot -proot123 --port 27017 --authenticationDatabase admin -d oldboy -c log1 /mongodb/log.json 2.恢復csv格式的檔案到log2 上面演示的是匯入JSON格式的檔案中的內容,如果要匯入CSV格式檔案中的內容,則需要通過--type引數指定匯入格式,具體如下所示: 錯誤的恢復 注意: (1)csv格式的檔案頭行,有列名字 mongoimport -uroot -proot123 --port 27017 --authenticationDatabase admin -d oldboy -c log2 --type=csv --headerline --file /mongodb/log.csv (2)csv格式的檔案頭行,沒有列名字 mongoimport -uroot -proot123 --port 27017 --authenticationDatabase admin -d oldboy -c log3 --type=csv -f id,name,age,date --file /mongodb/log.csv --headerline: 指明第一行是列名,不需要匯入。
--drop:    該引數用於當匯入得表命存在時先刪除原表.
-f: 沒有欄位頭行時使用該引數指定欄位名.

8.5 異構平臺遷移案例

mysql   -----> mongodb  
world資料庫下city表進行匯出,匯入到mongodb

(1)mysql開啟安全路徑
vim /etc/my.cnf   --->新增以下配置
secure-file-priv=/tmp

--重啟資料庫生效
/etc/init.d/mysqld restart

(2)匯出mysql的city表資料
source /root/world.sql

select * from world.city into outfile '/tmp/city1.csv' fields terminated by ',';

(3)處理備份檔案
desc world.city
  ID          | int(11)  | NO   | PRI | NULL    | auto_increment |
| Name        | char(35) | NO   |     |         |                |
| CountryCode | char(3)  | NO   | MUL |         |                |
| District    | char(20) | NO   |     |         |                |
| Population

vim /tmp/city.csv   ----> 新增第一行列名資訊

ID,Name,CountryCode,District,Population

(4)在mongodb中匯入備份
mongoimport -uroot -proot123 --port 27017 --authenticationDatabase admin -d world  -c city --type=csv -f ID,Name,CountryCode,District,Population --file  /tmp/city1.csv

use world
db.city.find({CountryCode:"CHN"});

-------------
world共100張表,全部遷移到mongodb

select table_name ,group_concat(column_name) from columns where table_schema='world' group by table_name;

select * from world.city into outfile '/tmp/world_city.csv' fields terminated by ',';

select concat("select * from ",table_schema,".",table_name ," into outfile '/tmp/",table_schema,"_",table_name,".csv' fields terminated by ',';")
from information_schema.tables where table_schema ='world';

匯入:
提示,使用infomation_schema.columns + information_schema.tables

mysql匯出csv:
select * from test_info   
into outfile '/tmp/test.csv'   
fields terminated by ','    ------欄位間以,號分隔
optionally enclosed by '"'   ------欄位用"號括起
escaped by '"'           ------欄位中使用的轉義符為"
lines terminated by '\r\n';  ------行以\r\n結束

mysql匯入csv:
load data infile '/tmp/test.csv'   
into table test_info    
fields terminated by ','  
optionally enclosed by '"' 
escaped by '"'   
lines terminated by '\r\n'; 

8.6 mongodump和mongorestore

8.6.1介紹

mongodump能夠在Mongodb執行時進行備份,它的工作原理是對執行的Mongodb做查詢,然後將所有查到的文件寫入磁碟。
但是存在的問題時使用mongodump產生的備份不一定是資料庫的實時快照,如果我們在備份時對資料庫進行了寫入操作,
則備份出來的檔案可能不完全和Mongodb實時資料相等。另外在備份時可能會對其它客戶端效能產生不利的影響。

8.6.2 mongodump用法如下:

$ mongodump --help
引數說明:
-h:指明資料庫宿主機的IP
-u:指明資料庫的使用者名稱
-p:指明資料庫的密碼
-d:指明資料庫的名字
-c:指明collection的名字
-o:指明到要匯出的檔名
-q:指明匯出資料的過濾條件
-j, --numParallelCollections=  number of collections to dump in parallel (4 by default)
--oplog  備份的同時備份oplog

66