本文mysql資料庫安裝在樹莓派上

1 適當加大defaultFetchSize能提高ETL速度,大概10%

2 修改引數useCompression=true樹莓派插入效能暴漲10倍

下文是轉載內容

使用Kettle的初期，一般只是關注Tranaction如何實現功能，對連線引數可以說基本不關注，其實這裡面隱含一些效能問題，如果不熟悉這些效能引數，要想提高效能還真的不容易。

通過在要插入mysql的資料庫連線引數中配置以下引數，就可以大量提高mysql資料批量插入的速度：

1、這是因為在資料庫連線引數中配置了以下兩個MySQL特定選項：

useServerPrepStmts = false
rewriteBatchedStatements = true

將會使大批量單條插入語句：

INSERT INTO t (c1,c2) VALUES ('One',1);
INSERT INTO t (c1,c2) VALUES ('Two',2);
INSERT INTO t (c1,c2) VALUES ('Three',3);

改寫成真正的批量插入語句：

INSERT INTO t (c1,c2) VALUES ('One',1),('Two',2),('Three',3);

2、通過設定MySQL如下連線引數：
useCompression=true
樹莓派插入效能暴漲10倍

可以實現壓縮傳輸，優化客戶端和MySQL伺服器之間的通訊效能。

    [Python,SQL,ETL]交流群 164142295