mongodb 備份恢復, 異構平臺數據遷移mysql -> mongodb
阿新 • • 發佈:2020-07-20
1.1 備份恢復工具介紹:
(1)** mongoexport/mongoimport (2)***** mongodump/mongorestore
1.2 備份工具區別在哪裡?
應用場景總結: mongoexport/mongoimport:json csv 1、異構平臺遷移 mysql <---> mongodb 2、同平臺,跨大版本:mongodb 2 ----> mongodb 3
3. 匯入匯出的是json格式或者csv格式
mongodump/mongorestore 日常備份恢復時使用.
匯入匯出的是bson格式, 不同版本的bson格式可能不同, 所以存在失敗的可能, bson不同的可使用mongoexport
補充: json可讀性強但體積大, bson則是二進位制檔案, 體積小但沒有可讀性.
1.3 匯出工具mongoexport
mongoexport具體用法如下所示: $ mongoexport --help 引數說明: -h:指明資料庫宿主機的IP -u:指明資料庫的使用者名稱 -p:指明資料庫的密碼 -d:指明資料庫的名字 -c:指明collection的名字 -f:指明要匯出那些列 -o:指明到要匯出的檔名 -q:指明匯出資料的過濾條件 --authenticationDatabase admin 1.單表備份至json格式 mongoexport -uroot -proot123 --port 27017--authenticationDatabase admin -d oldboy -c log -o /mongodb/log.json 注:備份檔案的名字可以自定義,預設匯出了JSON格式的資料。 2. 單表備份至csv格式 如果我們需要匯出CSV格式的資料,則需要使用----type=csv引數: mongoexport -uroot -proot123 --port 27017 --authenticationDatabase admin -d test -c log --type=csv -f uid,name,age,date -o /mongodb/log.csv
1.4 匯入工具mongoimport
$ mongoimport --help 引數說明: -h:指明資料庫宿主機的IP -u:指明資料庫的使用者名稱 -p:指明資料庫的密碼 -d:指明資料庫的名字 -c:指明collection的名字 -f:指明要匯入那些列 -j, --numInsertionWorkers=<number> number of insert operations to run concurrently (defaults to 1) //並行(建議1/4的cpu數, 因為得考慮io問題)
資料恢復: 1.恢復json格式表資料到log1 mongoimport -uroot -proot123 --port 27017 --authenticationDatabase admin -d oldboy -c log1 /mongodb/log.json 2.恢復csv格式的檔案到log2 上面演示的是匯入JSON格式的檔案中的內容,如果要匯入CSV格式檔案中的內容,則需要通過--type引數指定匯入格式,具體如下所示: 錯誤的恢復 注意: (1)csv格式的檔案頭行,有列名字 mongoimport -uroot -proot123 --port 27017 --authenticationDatabase admin -d oldboy -c log2 --type=csv --headerline --file /mongodb/log.csv (2)csv格式的檔案頭行,沒有列名字 mongoimport -uroot -proot123 --port 27017 --authenticationDatabase admin -d oldboy -c log3 --type=csv -f id,name,age,date --file /mongodb/log.csv --headerline: 指明第一行是列名,不需要匯入。
--drop: 該引數用於當匯入得表命存在時先刪除原表.
-f: 沒有欄位頭行時使用該引數指定欄位名.
8.5 異構平臺遷移案例
mysql -----> mongodb world資料庫下city表進行匯出,匯入到mongodb (1)mysql開啟安全路徑 vim /etc/my.cnf --->新增以下配置 secure-file-priv=/tmp --重啟資料庫生效 /etc/init.d/mysqld restart (2)匯出mysql的city表資料 source /root/world.sql select * from world.city into outfile '/tmp/city1.csv' fields terminated by ','; (3)處理備份檔案 desc world.city ID | int(11) | NO | PRI | NULL | auto_increment | | Name | char(35) | NO | | | | | CountryCode | char(3) | NO | MUL | | | | District | char(20) | NO | | | | | Population vim /tmp/city.csv ----> 新增第一行列名資訊 ID,Name,CountryCode,District,Population (4)在mongodb中匯入備份 mongoimport -uroot -proot123 --port 27017 --authenticationDatabase admin -d world -c city --type=csv -f ID,Name,CountryCode,District,Population --file /tmp/city1.csv use world db.city.find({CountryCode:"CHN"}); ------------- world共100張表,全部遷移到mongodb select table_name ,group_concat(column_name) from columns where table_schema='world' group by table_name; select * from world.city into outfile '/tmp/world_city.csv' fields terminated by ','; select concat("select * from ",table_schema,".",table_name ," into outfile '/tmp/",table_schema,"_",table_name,".csv' fields terminated by ',';") from information_schema.tables where table_schema ='world'; 匯入: 提示,使用infomation_schema.columns + information_schema.tables mysql匯出csv: select * from test_info into outfile '/tmp/test.csv' fields terminated by ',' ------欄位間以,號分隔 optionally enclosed by '"' ------欄位用"號括起 escaped by '"' ------欄位中使用的轉義符為" lines terminated by '\r\n'; ------行以\r\n結束 mysql匯入csv: load data infile '/tmp/test.csv' into table test_info fields terminated by ',' optionally enclosed by '"' escaped by '"' lines terminated by '\r\n';
8.6 mongodump和mongorestore
8.6.1介紹
mongodump能夠在Mongodb執行時進行備份,它的工作原理是對執行的Mongodb做查詢,然後將所有查到的文件寫入磁碟。
但是存在的問題時使用mongodump產生的備份不一定是資料庫的實時快照,如果我們在備份時對資料庫進行了寫入操作,
則備份出來的檔案可能不完全和Mongodb實時資料相等。另外在備份時可能會對其它客戶端效能產生不利的影響。
8.6.2 mongodump用法如下:
$ mongodump --help 引數說明: -h:指明資料庫宿主機的IP -u:指明資料庫的使用者名稱 -p:指明資料庫的密碼 -d:指明資料庫的名字 -c:指明collection的名字 -o:指明到要匯出的檔名 -q:指明匯出資料的過濾條件 -j, --numParallelCollections= number of collections to dump in parallel (4 by default) --oplog 備份的同時備份oplog
66