1. 程式人生 > 實用技巧 >load data infile的用法

load data infile的用法

簡單來兩個例子

建立要插入的表

use database bastion;

create table tmp(
id int,
data varchar(40)
);

插入data2.txt的資料,預設欄位分隔符為tab字元
load data infile '/tmp/data2.txt' into table tmp;
插入data.txt的資料,分割符為“,”
load data infile '/tmp/data.txt' into table tmp fields terminated by ',';

data2.txt

1       test1
2       test2
3       test3

data.txt

4,test4
5,test5
6,test6

--------------------------------------------------------------------------------------------------------------------------

--------------------------------------------------------------------------------------------------------------------------

--------------------------------------------------------------------------------------------------------------------------

下面為基礎知識

有時需要將大量資料批量寫入資料庫,直接使用程式語言和Sql寫入往往很耗時間,其中有一種方案就是使用mysql load data infile匯入檔案的形式匯入資料,這樣可大大縮短資料匯入時間。

LOAD DATA INFILE 語句以很高的速度從一個文字檔案中讀取行到一個表中。檔名必須是一個文字字串

1、首先查詢,Mysql服務是否正在執行,且local_infile功能是否開啟
netstat -tulpn|grep mysql
mysql -uroot -p -e "show variables like '%infile%';"

可在配置檔案中永久開啟或設定變數臨時開啟或使用mysql程式使用響應選項

2、當讀取位於伺服器上的文字檔案時,文字檔案必須處於資料庫目錄或可被mysql使用者讀取或可被所有人讀取


基本語法:
load data [low_priority] [local] infile 'file_name txt' [replace | ignore] into table tbl_name
[fields
[terminated by '\t']                 #欄位的分隔符(即指定文字檔案中列之間的分隔符),預設情況下是一個tab字元(\t)
[OPTIONALLY] enclosed by '']          #欄位括起字元,即欄位的引用字元
[escaped by'\' ]                #轉義字元,預設的是反斜槓(backslash\)
]

[lines
[terminated by '\n']               #每條記錄的分隔符,預設為'\n'即為換行符
[ignore number lines]
[(col_name, )]
]

1 如果你指定關鍵詞low_priority,那麼MySQL將會等到沒有其他人讀這個表的時候,才把插入資料
可以使用如下的命令:
load data low_priority infile "/home/mark/data.sql" into table test.Orders;          #test是庫名,Orders是表名

2 如果指定local關鍵詞,則表明從其他客戶主機讀檔案;如果local沒指定,檔案必須位於mysql伺服器上(當從本機讀取檔案時也可以帶上local關鍵詞)

3 replace和ignore關鍵詞控制對現有的唯一鍵記錄的重複的處理

  • · 如果你指定replace,新行將代替有相同的唯一鍵值的現有行(文字檔案中的記錄將會覆蓋當前表中的同名記錄)。
  • · 如果你指定ignore,跳過有唯一鍵的現有行的重複行的輸入(文字檔案中的記錄將會被忽略,不會覆蓋當前表中的同名記錄)。
  • · 如果你不指定任何一個選項,當找到重複鍵時,出現一個錯誤,並且文字檔案的餘下部分被忽略

例如:
load data low_priority infile "/home/mark/data sql"replaceinto table test.Orders;

4 分隔符
(1)fields關鍵字指定了文字檔案中欄位的分割格式,如果使用這個關鍵字,MySQL剖析器希望看到至少有下面的一個選項

  • terminated by 欄位的分隔符,預設情況下是一個tab字元(\t)
  • enclosed by 欄位括起字元,即欄位的引用字元
  • escaped by 轉義字元,預設的是反斜槓(backslash:\ )

例如:load data infile "/home/mark/Orders txt" replace into table test.Ordersfieldsterminated by','enclosed by '"';


(2)lines 關鍵字指定了每條記錄的分隔符,預設為'\n'即為換行符

如果兩個欄位都指定了那fields必須在lines之前
如果不指定fields關鍵字,則預設使用: fields terminated by'\t' enclosed by'"' escaped by'\'
如果不指定一個lines子句,則moren預設使用: lines terminated by'\n'

例如:
load data infile "/jiaoben/load.txt" replace into table test.Orders fieldsterminated by ',' linesterminated by '/n';


5 load data infile 可以按指定的列把檔案匯入到資料庫中(即只匯入文字檔案中的某些列而不是全部),當我們要把資料的一部分內容匯入的時候,需要加入一些欄目(列/欄位/field)到MySQL資料庫中,以適應一些額外的需要。
比方說,我們要從Access資料庫升級到MySQL資料庫的時候

下面的例子顯示瞭如何向表中指定的欄位(field)中匯入資料:
load data infile "/home/Order txt" into table test.Orders(Order_Number, Order_Date, Customer_ID);


6 當在mysql伺服器主機上尋找檔案時,伺服器使用下列規則:
(1)如果給出一個絕對路徑名,伺服器使用該路徑名。
(2)如果給出一個有一個或多個前置部件的相對路徑名,伺服器相對伺服器的資料目錄搜尋檔案。
(3)如果給出一個沒有前置部件的一個檔名,伺服器在當前資料庫的資料庫目錄尋找檔案。
例如: /myfile txt”給出的檔案是從伺服器的資料目錄讀取,而作為“myfile txt”給出的一個檔案是從當前資料庫的資料庫目錄下讀取。


注意:文字檔案中欄位中的空值用\N表示

可能會遇到的問題:

1.local_infile OFF問題

mysql> show variables like 'local_infile';  
+---------------+-------+  
| Variable_name | Value |  
+---------------+-------+  
| local_infile  | OFF   |  
+---------------+-------+  
1 row in set (0.00 sec)  
  
mysql> load data local infile 'D:\\ATMP\\mysql_repl\\5.6_local\\data.txt' into table test.t fields terminated by ',' OPTIONALLY ENCLOSED BY '\'' lines terminated by '\r\n';  
ERROR 1148 (42000): The used command is not allowed with this MySQL version  
mysql> set global local_infile=ON;  
Query OK, 0 rows affected (0.00 sec)  

2.secure-file-priv 選項禁止匯入匯出問題

MYSQL匯入CSV格式檔案資料執行提示錯誤(ERROR 1290):

The MySQL server is running with the --secure-file-priv option so it cannot execute this statement.

【1】分析原因

其實原因很簡單,因為在安裝MySQL的時候限制了匯入與匯出的目錄許可權。只允許在規定的目錄下才能匯入。

可以通過以下命令檢視secure-file-priv當前的值是什麼

SHOW VARIABLES LIKE "secure_file_priv";

結果:

可以看到,本地value的值為NULL。NULL代表什麼意思呢?經查資料:

(1)NULL,表示禁止。

(2)如果value值有資料夾目錄,則表示只允許該目錄下檔案(PS:測試子目錄也不行)。

(3)如果為空,則表示不限制目錄。

【2】解決方案

問題原因找到了,解決方案因業務需求而定。

(1)方案一:

把匯入檔案放入secure-file-priv目前的value值對應路徑即可。

(2)方案二:

把secure-file-priv的value值修改為準備匯入檔案的放置路徑。

(3)方案三:修改配置

去掉匯入的目錄限制。可修改mysql配置檔案(Windows下為my.ini, Linux下的my.cnf),在[mysqld]下面,檢視是否有:

secure_file_priv =

如上這樣一行內容,如果沒有,則手動新增。如果存在如下行:

secure_file_priv = /home

這樣一行內容,表示限制為/home資料夾。而如下行:

secure_file_priv =

這樣一行內容,表示不限制目錄,等號一定要有,否則mysql無法啟動。

修改完配置檔案後,重啟mysql生效。

重啟後:

關閉:service mysqld stop

啟動:service mysqld start

再查詢結果:

經驗證,匯入檔案正常。

Good Good Study, Day Day Up.

順序選擇迴圈 總結

3.No database selected最常見的問題,沒有選擇資料庫