mysqldump 匯出 csv 格式 --fields-terminated-by=, :欄位分割符;
into table tbl_name
[fields
[terminated by't']
[OPTIONALLY] enclosed by '']
[escaped by'\' ]]
[lines terminated by'n']
[ignore number lines]
[(col_name, )]
load data infile語句從一個文字檔案中以很高的速度讀入一個表中。使用這個命令之前,mysqld程序(服務)必須已經在執行。
enclosed by欄位括起字元
escaped by
enclosed by描述的是欄位的括起字元。
escaped by描述的轉義字元。預設的是反斜槓(backslash:\ ) 例如:load data infile "/home/mark/Orders txt" replace into table Orders fields terminated by',' enclosed by '"'; (2)lines 關鍵字指定了每條記錄的分隔符預設為'\n'即為換行符 如果兩個欄位都指定了那fields必須在lines之前。如果不指定fields關鍵字預設值與如果你這樣寫的相同:fields terminated by'\t' enclosed by ’ '' ‘ escaped by'\\' 如果你不指定一個lines子句,預設值與如果你這樣寫的相同:lines terminated by'\n' 例如:load data infile "/jiaoben/load.txt" replace into table test fields terminated by ',' lines terminated by '/n'; 5 load data infile 可以按指定的列把檔案匯入到資料庫中。 當我們要把資料的一部分內容匯入的時候,,需要加入一些欄目(列/欄位/field)到MySQL資料庫中,以適應一些額外的需要。比方說,我們要從Access資料庫升級到MySQL資料庫的時候 下面的例子顯示瞭如何向指定的欄目(field)中匯入資料:load data infile "/home/Order txt" into table Orders(Order_Number, Order_Date, Customer_ID); 6 當在伺服器主機上尋找檔案時,伺服器使用下列規則:(1)如果給出一個絕對路徑名,伺服器使用該路徑名。(2)如果給出一個有一個或多個前置部件的相對路徑名,伺服器相對伺服器的資料目錄搜尋檔案。(3)如果給出一個沒有前置部件的一個檔名,伺服器在當前資料庫的資料庫目錄尋找檔案。例如: /myfile txt”給出的檔案是從伺服器的資料目錄讀取,而作為“myfile txt”給出的一個檔案是從當前資料庫的資料庫目錄下讀取。 注意:欄位中的空值用\N表示
我的文章一般淺顯易懂,不會搞那麼深入讓大家很難理解。(其實我水平也不咋樣)
LOAD DATA INFILE 一直被認為是MySQL很強大的一個數據匯入工具,因為他速度非常的快。
不過有幾個問題一定要注意
1、編碼。
2、靈活匯入匯出。
我來舉兩個例子說明一下。
一、關於編碼
我們的示例文字檔案:
"我愛你","20","相貌平常,經常耍流氓!哈哈"
"李奎","21","相貌平常,經常耍流氓!哈哈"
"王二米","20","相貌平常,經常耍流氓!哈哈"
"老三","24","很強"
"老四","34","XXXXX"
"老五","52","***%*¥*¥*¥*¥"
"小貓","45","中間省略。。。"
"小狗","12","就會叫"
"小妹","21","PP的很"
"小壞蛋","52","表裡不一"
"上帝他爺","96","非常英俊"
"MM來了","10","。。。"
"歌頌黨","20","社會主義好"
"人民好","20","的確是好"
"老高","10","學習很好"
"斜三","60","眼睛斜了"
"中華之子","100","威武的不行了"
"大米","63","我愛吃"
"蘋果","15","好吃"
我們的示例表結構:
+-------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Table | Create Table |
+-------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| t0 | CREATE TABLE `t0` (
`id` bigint(20) unsigned NOT NULL auto_increment,
`name` char(20) NOT NULL,
`age` tinyint(3) unsigned NOT NULL,
`description` text NOT NULL,
PRIMARY KEY (`id`),
UNIQUE KEY `idx_name` (`name`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8 |
+-------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.00 sec)
我們把這個文字檔案從WINDOWS 下COPY到LINUX下看看
mysql> load data infile '/tmp/t0.txt' ignore into table t0 character set gbk fields terminated by ',' enclosed by '"' lines terminated by '\n'(`name`,`age`,`description`);
反引號
Query OK, 19 rows affected (0.01 sec)
Records: 19 Deleted: 0 Skipped: 0 Warnings: 0
mysql> select * from t0;
+----+----------+-----+----------------------------+
| id | name | age | description |
+----+----------+-----+----------------------------+
| 1 | 我愛你 | 20 | 相貌平常,經常耍流氓!哈哈 |
| 2 | 李奎 | 21 | 相貌平常,經常耍流氓!哈哈 |
| 3 | 王二米 | 20 | 相貌平常,經常耍流氓!哈哈 |
| 4 | 老三 | 24 | 很強 |
| 5 | 老四 | 34 | XXXXX |
| 6 | 老五 | 52 | ***%*¥*¥*¥*¥ |
| 7 | 小貓 | 45 | 中間省略。。。 |
| 8 | 小狗 | 12 | 就會叫 |
| 9 | 小妹 | 21 | PP的很 |
| 10 | 小壞蛋 | 52 | 表裡不一 |
| 11 | 上帝他爺 | 96 | 非常英俊 |
| 12 | MM來了 | 10 | 。。。 |
| 13 | 歌頌黨 | 20 | 社會主義好 |
| 14 | 人民好 | 20 | 的確是好 |
| 15 | 老高 | 10 | 學習很好 |
| 16 | 斜三 | 60 | 眼睛斜了 |
| 17 | 中華之子 | 100 | 威武的不行了 |
| 18 | 大米 | 63 | 我愛吃 |
| 19 | 蘋果 | 15 | 好吃 |
+----+----------+-----+----------------------------+
19 rows in set (0.00 sec)
我來說明一下相關的引數
關於我的匯入語句,我現在直說兩個,其他的參考手冊。
character set gbk;
這個字符集一定要寫,要不然就會亂碼或者只匯入一部分資料。
ignore into table
因為name 列加了唯一索引,加這個是為了避免重複資料插入報錯。
加入我們再次執行這個匯入語句就會發現
Query OK, 0 rows affected (0.00 sec)
Records: 19 Deleted: 0 Skipped: 19 Warnings: 0
沒有任何值匯入,因為裡面已經有了相同的值。
這裡也可以用replace into table
MySQL會把相同的先幹掉,再插入新的值。
mysql> load data infile '/tmp/t0.txt' replace into table t0 character set gbk fields terminated by ',' enclosed by '"' lines terminated by '\n' (`name`,`age`,`description`);
Query OK, 38 rows affected (0.00 sec)
Records: 19 Deleted: 19 Skipped: 0 Warnings: 0
mysql> select * from t0;
+----+----------+-----+----------------------------+
| id | name | age | description |
+----+----------+-----+----------------------------+
| 20 | 我愛你 | 20 | 相貌平常,經常耍流氓!哈哈 |
| 21 | 李奎 | 21 | 相貌平常,經常耍流氓!哈哈 |
| 22 | 王二米 | 20 | 相貌平常,經常耍流氓!哈哈 |
| 23 | 老三 | 24 | 很強 |
| 24 | 老四 | 34 | XXXXX |
| 25 | 老五 | 52 | ***%*¥*¥*¥*¥ |
| 26 | 小貓 | 45 | 中間省略。。。 |
| 27 | 小狗 | 12 | 就會叫 |
| 28 | 小妹 | 21 | PP的很 |
| 29 | 小壞蛋 | 52 | 表裡不一 |
| 30 | 上帝他爺 | 96 | 非常英俊 |
| 31 | MM來了 | 10 | 。。。 |
| 32 | 歌頌黨 | 20 | 社會主義好 |
| 33 | 人民好 | 20 | 的確是好 |
| 34 | 老高 | 10 | 學習很好 |
| 35 | 斜三 | 60 | 眼睛斜了 |
| 36 | 中華之子 | 100 | 威武的不行了 |
| 37 | 大米 | 63 | 我愛吃 |
| 38 | 蘋果 | 15 | 好吃 |
+----+----------+-----+----------------------------+
19 rows in set (0.00 sec)
(`name`,`age`,`description`);
這些也就是具體的表屬性了,指明這個就可以匯入想要的資料。
2、關於靈活性,其實也就是一個記錄功能
如果想在匯入的時候記錄一下匯入的具體時間怎麼辦?
我們來看看
先加一個時間屬性記錄匯入時間。
mysql> alter table t0 add update_time timestamp not null;
Query OK, 19 rows affected (0.00 sec)
Records: 19 Duplicates: 0 Warnings: 0
幹掉唯一索引
mysql> alter table t0 drop index idx_name;
Query OK, 19 rows affected (0.00 sec)
Records: 19 Duplicates: 0 Warnings: 0
mysql> load data infile '/tmp/t0.txt' into table t0 character set gbk fields terminated by ',' enclosed by '"' lines terminated by '\n' (`name`,`age`,`description`) set update_time=current_timestamp;
Query OK, 19 rows affected (0.00 sec)
Records: 19 Deleted: 0 Skipped: 0 Warnings: 0
mysql> select * from t0;
+----+----------+-----+----------------------------+---------------------+
| id | name | age | description | update_time |
+----+----------+-----+----------------------------+---------------------+
| 20 | 我愛你 | 20 | 相貌平常,經常耍流氓!哈哈 | 0000-00-00 00:00:00 |
…………
| 24 | 老四 | 34 | XXXXX | 0000-00-00 00:00:00 |
| 25 | 老五 | 52 | ***%*¥*¥*¥*¥ | 0000-00-00 00:00:00 |
…………
| 35 | 斜三 | 60 | 眼睛斜了 | 0000-00-00 00:00:00 |
| 36 | 中華之子 | 100 | 威武的不行了 | 0000-00-00 00:00:00 |
…………
| 60 | 王二米 | 20 | 相貌平常,經常耍流氓!哈哈 | 2008-06-30 14:58:37 |
…………
| 68 | 上帝他爺 | 96 | 非常英俊 | 2008-06-30 14:58:37 |
| 69 | MM來了 | 10 | 。。。 | 2008-06-30 14:58:37 |
…………
| 75 | 大米 | 63 | 我愛吃 | 2008-06-30 14:58:37 |
| 76 | 蘋果 | 15 | 好吃 | 2008-06-30 14:58:37 |
+----+----------+-----+----------------------------+---------------------+
38 rows in set (0.00 sec)
新匯入的19條記錄時間被記錄了下來。
只是之前的資料庫沒有記錄,不過現在不需要這些重複資料了。
幹掉他就可以了
mysql> alter table t0 order by id desc;
Query OK, 38 rows affected (0.01 sec)
Records: 38 Duplicates: 0 Warnings: 0
mysql> alter ignore table t0 add unique index idx_name (`name`);
Query OK, 38 rows affected (0.00 sec)
Records: 38 Duplicates: 19 Warnings: 0
mysql> alter table t0 order by id asc;
Query OK, 19 rows affected (0.01 sec)
Records: 19 Duplicates: 0 Warnings: 0
mysql> select * from t0;
+----+----------+-----+----------------------------+---------------------+
| id | name | age | description | update_time |
+----+----------+-----+----------------------------+---------------------+
| 58 | 我愛你 | 20 | 相貌平常,經常耍流氓!哈哈 | 2008-06-30 14:58:37 |
| 59 | 李奎 | 21 | 相貌平常,經常耍流氓!哈哈 | 2008-06-30 14:58:37 |
| 60 | 王二米 | 20 | 相貌平常,經常耍流氓!哈哈 | 2008-06-30 14:58:37 |
| 61 | 老三 | 24 | 很強 | 2008-06-30 14:58:37 |
| 62 | 老四 | 34 | XXXXX | 2008-06-30 14:58:37 |
| 63 | 老五 | 52 | ***%*¥*¥*¥*¥ | 2008-06-30 14:58:37 |
| 64 | 小貓 | 45 | 中間省略。。。 | 2008-06-30 14:58:37 |
| 65 | 小狗 | 12 | 就會叫 | 2008-06-30 14:58:37 |
| 66 | 小妹 | 21 | PP的很 | 2008-06-30 14:58:37 |
| 67 | 小壞蛋 | 52 | 表裡不一 | 2008-06-30 14:58:37 |
| 68 | 上帝他爺 | 96 | 非常英俊 | 2008-06-30 14:58:37 |
| 69 | MM來了 | 10 | 。。。 | 2008-06-30 14:58:37 |
| 70 | 歌頌黨 | 20 | 社會主義好 | 2008-06-30 14:58:37 |
| 71 | 人民好 | 20 | 的確是好 | 2008-06-30 14:58:37 |
| 72 | 老高 | 10 | 學習很好 | 2008-06-30 14:58:37 |
| 73 | 斜三 | 60 | 眼睛斜了 | 2008-06-30 14:58:37 |
| 74 | 中華之子 | 100 | 威武的不行了 | 2008-06-30 14:58:37 |
| 75 | 大米 | 63 | 我愛吃 | 2008-06-30 14:58:37 |
| 76 | 蘋果 | 15 | 好吃 | 2008-06-30 14:58:37 |
+----+----------+-----+----------------------------+---------------------+
19 rows in set (0.00 sec)
現在是達到了目的了,為啥中途要幹掉唯一索引呢?因為set 語法 再有IGNORE 的時候會忽略掉。
基本語法:
load data [low_priority] [local] infile 'file_name txt' [replace | ignore] into table tbl_name [fields [terminated by't'] [OPTIONALLY] enclosed by ''] [escaped by'\' ]] [lines terminated by'n'] [ignore number lines] [(col_name, )] load data infile語句從一個文字檔案中以很高的速度讀入一個表中。使用這個命令之前,mysqld程序(服務)必須已經在執行。為了安全原因,當讀取位於服務 器上的文字檔案時,檔案必須處於資料庫目錄或可被所有人讀取。另外,為了對伺服器上檔案使用load data infile,在伺服器主機上你必須有file的許可權。 1 如果你指定關鍵詞low_priority,那麼MySQL將會等到沒有其他人讀這個表的時候,才把插入資料。可以使用如下的命令: load data low_priority infile "/home/mark/data sql" into table Orders; 2 如果指定local關鍵詞,則表明從客戶主機讀檔案。如果local沒指定,檔案必須位於伺服器上。 3 replace和ignore關鍵詞控制對現有的唯一鍵記錄的重複的處理。如果你指定replace,新行將代替有相同的唯一鍵值的現有行。如果你指定 ignore,跳過有唯一鍵的現有行的重複行的輸入。如果你不指定任何一個選項,當找到重複鍵時,出現一個錯誤,並且文字檔案的餘下部分被忽略。例如: load data low_priority infile "/home/mark/data sql" replace into table Orders; 4 分隔符 (1) fields關鍵字指定了檔案記段的分割格式,如果用到這個關鍵字,MySQL剖析器希望看到至少有下面的一個選項: terminated by分隔符:意思是以什麼字元作為分隔符 enclosed by欄位括起字元 escaped by轉義字元 terminated by描述欄位的分隔符,預設情況下是tab字元(\t) enclosed by描述的是欄位的括起字元。 escaped by描述的轉義字元。預設的是反斜槓(backslash:\ ) 例如:load data infile "/home/mark/Orders txt" replace into table Orders fields terminated by',' enclosed by '"'; (2)lines 關鍵字指定了每條記錄的分隔符預設為'\n'即為換行符 如果兩個欄位都指定了那fields必須在lines之前。如果不指定fields關鍵字預設值與如果你這樣寫的相同: fields terminated by'\t' enclosed by ’ '' ‘ escaped by'\\' 如果你不指定一個lines子句,預設值與如果你這樣寫的相同: lines terminated by'\n' 例如:load data infile "/jiaoben/load.txt" replace into table test fields terminated by ',' lines terminated by '/n'; 5 load data infile 可以按指定的列把檔案匯入到資料庫中。 當我們要把資料的一部分內容匯入的時候,,需要加入一些欄目(列/欄位/field)到MySQL資料庫中,以適應一些額外的需要。比方說,我們要從 Access資料庫升級到MySQL資料庫的時候 下面的例子顯示瞭如何向指定的欄目(field)中匯入資料: load data infile "/home/Order txt" into table Orders(Order_Number, Order_Date, Customer_ID); 6 當在伺服器主機上尋找檔案時,伺服器使用下列規則: (1)如果給出一個絕對路徑名,伺服器使用該路徑名。 (2)如果給出一個有一個或多個前置部件的相對路徑名,伺服器相對伺服器的資料目錄搜尋檔案。 (3)如果給出一個沒有前置部件的一個檔名,伺服器在當前資料庫的資料庫目錄尋找檔案。例如: /myfile txt”給出的檔案是從伺服器的資料目錄讀取,而作為“myfile txt”給出的一個檔案是從當前資料庫的資料庫目錄下讀取。