load data infile的用法
簡單來兩個例子
建立要插入的表
use database bastion;
create table tmp(
id int,
data varchar(40)
);
插入data2.txt的資料,預設欄位分隔符為tab字元
load data infile '/tmp/data2.txt' into table tmp;
插入data.txt的資料,分割符為“,”
load data infile '/tmp/data.txt' into table tmp fields terminated by ',';
data2.txt
1 test1 2 test2 3 test3
data.txt
4,test4 5,test5 6,test6
--------------------------------------------------------------------------------------------------------------------------
--------------------------------------------------------------------------------------------------------------------------
--------------------------------------------------------------------------------------------------------------------------
下面為基礎知識
有時需要將大量資料批量寫入資料庫,直接使用程式語言和Sql寫入往往很耗時間,其中有一種方案就是使用mysql load data infile匯入檔案的形式匯入資料,這樣可大大縮短資料匯入時間。
LOAD DATA INFILE 語句以很高的速度從一個文字檔案中讀取行到一個表中。檔名必須是一個文字字串
1、首先查詢,Mysql服務是否正在執行,且local_infile功能是否開啟
netstat -tulpn|grep mysql
mysql -uroot -p -e "show variables like '%infile%';"
可在配置檔案中永久開啟或設定變數臨時開啟或使用mysql程式使用響應選項
2、當讀取位於伺服器上的文字檔案時,文字檔案必須處於資料庫目錄或可被mysql使用者讀取或可被所有人讀取
基本語法:
load data [low_priority] [local] infile 'file_name txt' [replace | ignore] into table tbl_name
[fields
[terminated by '\t'] #欄位的分隔符(即指定文字檔案中列之間的分隔符),預設情況下是一個tab字元(\t)
[OPTIONALLY] enclosed by ''] #欄位括起字元,即欄位的引用字元
[escaped by'\' ] #轉義字元,預設的是反斜槓(backslash\)
]
[lines
[terminated by '\n'] #每條記錄的分隔符,預設為'\n'即為換行符
[ignore number lines]
[(col_name, )]
]
1 如果你指定關鍵詞low_priority,那麼MySQL將會等到沒有其他人讀這個表的時候,才把插入資料。
可以使用如下的命令:
load data low_priority infile "/home/mark/data.sql" into table test.Orders; #test是庫名,Orders是表名
2 如果指定local關鍵詞,則表明從其他客戶主機讀檔案;如果local沒指定,檔案必須位於mysql伺服器上(當從本機讀取檔案時也可以帶上local關鍵詞)
3 replace和ignore關鍵詞控制對現有的唯一鍵記錄的重複的處理:
- · 如果你指定replace,新行將代替有相同的唯一鍵值的現有行(文字檔案中的記錄將會覆蓋當前表中的同名記錄)。
- · 如果你指定ignore,跳過有唯一鍵的現有行的重複行的輸入(文字檔案中的記錄將會被忽略,不會覆蓋當前表中的同名記錄)。
- · 如果你不指定任何一個選項,當找到重複鍵時,出現一個錯誤,並且文字檔案的餘下部分被忽略。
例如:
load data low_priority infile "/home/mark/data sql"replaceinto table test.Orders;
4 分隔符
(1)fields關鍵字指定了文字檔案中欄位的分割格式,如果使用這個關鍵字,MySQL剖析器希望看到至少有下面的一個選項:
- terminated by 欄位的分隔符,預設情況下是一個tab字元(\t)
- enclosed by 欄位括起字元,即欄位的引用字元
- escaped by 轉義字元,預設的是反斜槓(backslash:\ )
例如:load data infile "/home/mark/Orders txt" replace into table test.Ordersfieldsterminated by','enclosed by '"';
(2)lines 關鍵字指定了每條記錄的分隔符,預設為'\n'即為換行符
如果兩個欄位都指定了那fields必須在lines之前。
如果不指定fields關鍵字,則預設使用: fields terminated by'\t' enclosed by'"' escaped by'\'
如果不指定一個lines子句,則moren預設使用: lines terminated by'\n'
例如:
load data infile "/jiaoben/load.txt" replace into table test.Orders fieldsterminated by ',' linesterminated by '/n';
5 load data infile 可以按指定的列把檔案匯入到資料庫中(即只匯入文字檔案中的某些列而不是全部),當我們要把資料的一部分內容匯入的時候,需要加入一些欄目(列/欄位/field)到MySQL資料庫中,以適應一些額外的需要。
比方說,我們要從Access資料庫升級到MySQL資料庫的時候
下面的例子顯示瞭如何向表中指定的欄位(field)中匯入資料:
load data infile "/home/Order txt" into table test.Orders(Order_Number, Order_Date, Customer_ID);
6 當在mysql伺服器主機上尋找檔案時,伺服器使用下列規則:
(1)如果給出一個絕對路徑名,伺服器使用該路徑名。
(2)如果給出一個有一個或多個前置部件的相對路徑名,伺服器相對伺服器的資料目錄搜尋檔案。
(3)如果給出一個沒有前置部件的一個檔名,伺服器在當前資料庫的資料庫目錄尋找檔案。
例如: /myfile txt”給出的檔案是從伺服器的資料目錄讀取,而作為“myfile txt”給出的一個檔案是從當前資料庫的資料庫目錄下讀取。
注意:文字檔案中欄位中的空值用\N表示
可能會遇到的問題:
1.local_infile OFF問題
mysql> show variables like 'local_infile'; +---------------+-------+ | Variable_name | Value | +---------------+-------+ | local_infile | OFF | +---------------+-------+ 1 row in set (0.00 sec) mysql> load data local infile 'D:\\ATMP\\mysql_repl\\5.6_local\\data.txt' into table test.t fields terminated by ',' OPTIONALLY ENCLOSED BY '\'' lines terminated by '\r\n'; ERROR 1148 (42000): The used command is not allowed with this MySQL version mysql> set global local_infile=ON; Query OK, 0 rows affected (0.00 sec)
2.secure-file-priv 選項禁止匯入匯出問題
MYSQL匯入CSV格式檔案資料執行提示錯誤(ERROR 1290):
The MySQL server is running with the --secure-file-priv option so it cannot execute this statement.
【1】分析原因
其實原因很簡單,因為在安裝MySQL的時候限制了匯入與匯出的目錄許可權。只允許在規定的目錄下才能匯入。
可以通過以下命令檢視secure-file-priv當前的值是什麼
SHOW VARIABLES LIKE "secure_file_priv";
結果:
可以看到,本地value的值為NULL。NULL代表什麼意思呢?經查資料:
(1)NULL,表示禁止。
(2)如果value值有資料夾目錄,則表示只允許該目錄下檔案(PS:測試子目錄也不行)。
(3)如果為空,則表示不限制目錄。
【2】解決方案
問題原因找到了,解決方案因業務需求而定。
(1)方案一:
把匯入檔案放入secure-file-priv目前的value值對應路徑即可。
(2)方案二:
把secure-file-priv的value值修改為準備匯入檔案的放置路徑。
(3)方案三:修改配置
去掉匯入的目錄限制。可修改mysql配置檔案(Windows下為my.ini, Linux下的my.cnf),在[mysqld]下面,檢視是否有:
secure_file_priv =
如上這樣一行內容,如果沒有,則手動新增。如果存在如下行:
secure_file_priv = /home
這樣一行內容,表示限制為/home資料夾。而如下行:
secure_file_priv =
這樣一行內容,表示不限制目錄,等號一定要有,否則mysql無法啟動。
修改完配置檔案後,重啟mysql生效。
重啟後:
關閉:service mysqld stop
啟動:service mysqld start
再查詢結果:
經驗證,匯入檔案正常。
Good Good Study, Day Day Up.
順序選擇迴圈 總結
3.No database selected最常見的問題,沒有選擇資料庫