mysql的批量處理
阿新 • • 發佈:2018-12-22
對於大批量資料的遷移工作,採用資料庫自身的高速批量處理能力可以較快的實現
匯出select * from tablename into outfile 'C:/Programdata/MySQL/MySQL Server 5.7/Uploads/檔名' fields terminated by ',' lines terminated by '\r\n'
當然也可以匯入自定義目錄,但是需要修改自定義目錄的讀取許可權
匯入load data [local] infile '檔案路徑(可以自定義)' into table tablename fields terminated by ',' lines terminated by '\r\n'
基本語法:
load data [low_priority] [local] infile 'file_name txt' [replace | ignore]
into table tbl_name
[fields
[terminated by't']
[OPTIONALLY] enclosed by '']
[escaped by'\' ]]
[lines terminated by'n']
[ignore number lines]
[(col_name, )]
load data infile語句從一個文字檔案中以很高的速度讀入一個表中。 使用這個命令之前,mysqld程序(服務)必須已經在執行。為了安全原因,當讀取位於伺服器上的文字檔案時,檔案必須處於資料庫目錄或可被所有人讀取。另外,為了對伺服器上檔案使用load data infile,在伺服器主機上你必須有file的許可權。
1 如果你指定關鍵詞low_priority,那麼MySQL將會等到沒有其他人讀這個表的時候,才把插入資料。可以使用如下的命令:
load data low_priority infile "/home/mark/data sql" into table Orders; 2 如果指定local關鍵詞,則表明從客戶主機讀檔案。如果local沒指定,檔案必須位於伺服器上。
3 replace和ignore關鍵詞控制對現有的唯一鍵記錄的重複的處理。如果你指定replace,新行將代替有相同的唯一鍵值的現有行。如果你指定ignore,跳過有唯一鍵的現有行的重複行的輸入。如果你不指定任何一個選項,當找到重複鍵時,出現一個錯誤,並且文字檔案的餘下部分被忽略。例如:
load data low_priority infile "/home/mark/data sql" replace into table Orders;
4 分隔符
(1) fields關鍵字指定了檔案記段的分割格式,如果用到這個關鍵字,MySQL剖析器希望看到至少有下面的一個選項:
terminated by分隔符:意思是以什麼字元作為分隔符
enclosed by欄位括起字元
escaped by轉義字元 terminated by描述欄位的分隔符,預設情況下是tab字元(\t)
enclosed by描述的是欄位的括起字元。
escaped by描述的轉義字元。預設的是反斜槓(backslash:\ ) 例如:load data infile "/home/mark/Orders txt" replace into table Orders fields terminated by',' enclosed by '"'; (2)lines 關鍵字指定了每條記錄的分隔符預設為'\n'即為換行符 如果兩個欄位都指定了那fields必須在lines之前。如果不指定fields關鍵字預設值與如果你這樣寫的相同: fields terminated by'\t' enclosed by ’ '' ‘ escaped by'\\' 如果你不指定一個lines子句,預設值與如果你這樣寫的相同: lines terminated by'\n' 例如:load data infile "/jiaoben/load.txt" replace into table test fields terminated by ',' lines terminated by '/n'; 5 load data infile 可以按指定的列把檔案匯入到資料庫中。 當我們要把資料的一部分內容匯入的時候,,需要加入一些欄目(列/欄位/field)到MySQL資料庫中,以適應一些額外的需要。比方說,我們要從Access資料庫升級到MySQL資料庫的時候 下面的例子顯示瞭如何向指定的欄目(field)中匯入資料:
load data infile "/home/Order txt" into table Orders(Order_Number, Order_Date, Customer_ID); 6 當在伺服器主機上尋找檔案時,伺服器使用下列規則:
(1)如果給出一個絕對路徑名,伺服器使用該路徑名。
(2)如果給出一個有一個或多個前置部件的相對路徑名,伺服器相對伺服器的資料目錄搜尋檔案。
(3)如果給出一個沒有前置部件的一個檔名,伺服器在當前資料庫的資料庫目錄尋找檔案。
例如: /myfile txt”給出的檔案是從伺服器的資料目錄讀取,而作為“myfile txt”給出的一個檔案是從當前資料庫的資料庫目錄下讀取。 注意:欄位中的空值用\N表示
into table tbl_name
[fields
[terminated by't']
[OPTIONALLY] enclosed by '']
[escaped by'\' ]]
[lines terminated by'n']
[ignore number lines]
[(col_name, )]
load data infile語句從一個文字檔案中以很高的速度讀入一個表中。
load data low_priority infile "/home/mark/data sql" into table Orders; 2
terminated by分隔符:意思是以什麼字元作為分隔符
enclosed by欄位括起字元
escaped by轉義字元 terminated by描述欄位的分隔符,預設情況下是tab字元(\t)
enclosed by描述的是欄位的括起字元。
escaped by描述的轉義字元。預設的是反斜槓(backslash:\ ) 例如:load data infile "/home/mark/Orders txt" replace into table Orders fields terminated by',' enclosed by '"'; (2)lines 關鍵字指定了每條記錄的分隔符預設為'\n'即為換行符 如果兩個欄位都指定了那fields必須在lines之前。如果不指定fields關鍵字預設值與如果你這樣寫的相同: fields terminated by'\t' enclosed by ’ '' ‘ escaped by'\\' 如果你不指定一個lines子句,預設值與如果你這樣寫的相同: lines terminated by'\n' 例如:load data infile "/jiaoben/load.txt" replace into table test fields terminated by ',' lines terminated by '/n'; 5 load data infile 可以按指定的列把檔案匯入到資料庫中。 當我們要把資料的一部分內容匯入的時候,,需要加入一些欄目(列/欄位/field)到MySQL資料庫中,以適應一些額外的需要。比方說,我們要從Access資料庫升級到MySQL資料庫的時候 下面的例子顯示瞭如何向指定的欄目(field)中匯入資料:
load data infile "/home/Order txt" into table Orders(Order_Number, Order_Date, Customer_ID); 6 當在伺服器主機上尋找檔案時,伺服器使用下列規則:
(1)如果給出一個絕對路徑名,伺服器使用該路徑名。
(2)如果給出一個有一個或多個前置部件的相對路徑名,伺服器相對伺服器的資料目錄搜尋檔案。
(3)如果給出一個沒有前置部件的一個檔名,伺服器在當前資料庫的資料庫目錄尋找檔案。
例如: /myfile txt”給出的檔案是從伺服器的資料目錄讀取,而作為“myfile txt”給出的一個檔案是從當前資料庫的資料庫目錄下讀取。 注意:欄位中的空值用\N表示
LOAD DATA INFILE 一直被認為是MySQL很強大的一個數據匯入工具,因為他速度非常的快。
不過有幾個問題一定要注意
1、編碼。
2、靈活匯入匯出。
一個例子:
先建立一個表:
CREATE TABLE Salary(
Id_P INT,
Salary INT
);
然後在D盤根目錄下建立了一個data.txt文字檔案。
data.txt的內容:
1,10000
2,8000
3,12000
4,9000
5,12000
6,10000
7,13000
然後執行:
load data local infile "D:/data.txt" into table salary fields terminated by ',';
執行之後data.txt中的資料就全部插入到Salary表中了。
注意:
terminated by ','制定了data.txt中的資料欄位間的分割符為','。