1. 程式人生 > >如何提高Pentaho Kettle的MySQL寫入速度

如何提高Pentaho Kettle的MySQL寫入速度

轉載自:https://blog.csdn.net/smooth00/article/details/69389424

使用Kettle的初期,一般只是關注Tranaction如何實現功能,對連線引數可以說基本不關注,其實這裡面隱含一些效能問題,如果不熟悉這些效能引數,要想提高效能還真的不容易。

參考1:http://julienhofstede.blogspot.nl/2014/02/increase-mysql-output-to-80k-rowssecond.html

參考2:http://forums.pentaho.com/showthread.php?142217-Table-Output-Performance-MySQL#9

通過在要插入mysql的資料庫連線引數中配置以下引數,就可以大量提高mysql資料批量插入的速度:


1、這是因為在資料庫連線引數中配置了以下兩個MySQL特定選項:

useServerPrepStmts = false
rewriteBatchedStatements = true

將會使大批量單條插入語句:

INSERT INTO t (c1,c2) VALUES ('One',1);
INSERT INTO t (c1,c2) VALUES ('Two',2);
INSERT INTO t (c1,c2) VALUES ('Three',3);

改寫成真正的批量插入語句:

INSERT INTO t (c1,c2) VALUES ('One',1),('Two',2),('Three',3);


2、通過設定MySQL如下連線引數:

useCompression=true

可以實現壓縮傳輸,優化客戶端和MySQL伺服器之間的通訊效能。