1.linux使用自帶的命令執行spoon寫好的job命令以及效能調優策略
1.
[[email protected] data_integration]# nohup ./kitchen.sh /file file/desktopstatistics.kjb &
[1] 16537
[[email protected] data_integration]# nohup: 忽略輸入並把輸出追加到"nohup.out"
^C
[[email protected] data_integration]# ^C
[[email protected] data_integration]# ll
總用量 12444
drwxr-xr-x. 10 root root 137 11月 15 11:42 adaptive-execution
-rw-r--r--. 1 root root 551 5月 16 2017 Carte.bat
-rw-r--r--. 1 root root 405 5月 16 2017 carte.sh
drwxr-xr-x. 2 root root 126 11月 15 11:42 classes
drwxr-xr-x. 3 root root 35 11月 15 11:42 Data Integration.app
drwxr-xr-x. 2 root root 58 11月 15 11:42 Data Service JDBC Driver
drwxr-xr-x. 3 root root 39 11月 15 11:42 docs
-rw-r--r--. 1 root root 138 5月 16 2017 Encr.bat
-rw-r--r--. 1 root root 140 5月 16 2017 encr.sh
drwxr-xr-x. 3 root root 122 11月 20 10:56 file
-rw-r--r--. 1 root root 138902 11月 21 09:00 hs_err_pid14811.log
-rw-r--r--. 1 root root 149593 11月 20 15:56 hs_err_pid27766.log
-rw-r--r--. 1 root root 149750 11月 20 16:53 hs_err_pid8674.log
-rw-r--r--. 1 root root 17470 11月 20 16:52 hs_err_pid8746.log
-rw-r--r--. 1 root root 149845 11月 20 16:57 hs_err_pid9137.log
-rw-r--r--. 1 root root 961 11月 20 17:02 hs_err_pid9521.log
-rw-r--r--. 1 root root 131 5月 16 2017 Import.bat
-rw-r--r--. 1 root root 2354 5月 16 2017 import-rules.xml
-rw-r--r--. 1 root root 275 5月 16 2017 import.sh
-rw-r--r--. 1 root root 122 11月 20 12:10 jdbc_config.properties
-rw-r--r--. 1 root root 184 5月 16 2017 Kitchen.bat
-rwxr-xr-x. 1 root root 354 5月 16 2017 kitchen.sh
drwxr-xr-x. 2 root root 106 11月 15 11:42 launcher
drwxr-xr-x. 2 root root 12288 11月 16 11:24 lib
drwxr-xr-x. 6 root root 58 11月 15 11:42 libswt
-rw-r--r--. 1 root root 13366 5月 16 2017 LICENSE.txt
drwxr-xr-x. 2 root root 23 11月 20 11:32 logs
-rw-------. 1 root root 1219973 11月 21 09:12 nohup.out
-rw-r--r--. 1 root root 172 5月 16 2017 Pan.bat
-rw-r--r--. 1 root root 320 5月 16 2017 pan.sh
-rw-r--r--. 1 root root 10141551 5月 16 2017 PentahoDataIntegration_OSS_Licenses.html
drwxr-xr-x. 27 root root 4096 11月 15 11:42 plugins
-rw-r--r--. 1 root root 213 5月 16 2017 purge-utility.bat
-rw-r--r--. 1 root root 347 5月 16 2017 purge-utility.sh
drwxr-xr-x. 2 root root 176 11月 15 11:42 pwd
-rw-r--r--. 1 root root 1312 5月 16 2017 README.txt
-rw-r--r--. 1 root root 522 5月 16 2017 runSamples.bat
-rw-r--r--. 1 root root 305 5月 16 2017 runSamples.sh
drwxr-xr-x. 5 root root 51 11月 15 11:42 samples
-rw-r--r--. 1 root root 4098 5月 16 2017 set-pentaho-env.bat
-rw-r--r--. 1 root root 3710 5月 16 2017 set-pentaho-env.sh
drwxr-xr-x. 2 root root 29 11月 15 11:42 simple-jndi
-rw-r--r--. 1 root root 271 5月 16 2017 Spark-app-builder.bat
-rw-r--r--. 1 root root 309 5月 16 2017 spark-app-builder.sh
-rw-r--r--. 1 root root 3857 5月 16 2017 Spoon.bat
-rw-r--r--. 1 root root 220 5月 16 2017 spoon.command
-rw-r--r--. 1 root root 98 5月 16 2017 SpoonConsole.bat
-rw-r--r--. 1 root root 1271 5月 16 2017 SpoonDebug.bat
-rw-r--r--. 1 root root 1051 5月 16 2017 SpoonDebug.sh
-rw-r--r--. 1 root root 370070 5月 16 2017 spoon.ico
-rw-r--r--. 1 root root 1345 5月 16 2017 spoon.png
-rwxr-xr-x. 1 root root 6355 5月 16 2017 spoon.sh
drwxr-xr-x. 5 root root 47 11月 15 11:42 system
drwxr-xr-x. 3 root root 4096 11月 15 11:43 ui
-rw-r--r--. 1 root root 1628 5月 16 2017 yarn.sh
[
資訊: Registered blueprint namespace handler for http://cxf.apache.org/policy
十一月 21, 2018 9:12:31 上午 org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register
資訊: Registered blueprint namespace handler for http://www.w3.org/ns/ws-policy
十一月 21, 2018 9:12:31 上午 org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register
資訊: Registered blueprint namespace handler for http://www.w3.org/2006/07/ws-policy
十一月 21, 2018 9:12:31 上午 org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register
資訊: Registered blueprint namespace handler for http://schemas.xmlsoap.org/ws/2004/09/policy
十一月 21, 2018 9:12:31 上午 org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register
資訊: Registered blueprint namespace handler for http://docs.oasis-open.org/wss/2004/01/oasis-200401-wss-wssecurity-secext-1.0.xsd
十一月 2^C
[
資訊: Registered blueprint namespace handler for http://cxf.apache.org/policy
十一月 21, 2018 9:12:31 上午 org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register
資訊: Registered blueprint namespace handler for http://www.w3.org/ns/ws-policy
十一月 21, 2018 9:12:31 上午 org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register
資訊: Registered blueprint namespace handler for http://www.w3.org/2006/07/ws-policy
十一月 21, 2018 9:12:31 上午 org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register
資訊: Registered blueprint namespace handler for http://schemas.xmlsoap.org/ws/2004/09/policy
十一月 21, 2018 9:12:31 上午 org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register
資訊: Registered blueprint namespace handler for http://docs.oasis-open.org/wss/2004/01/oasis-200401-wss-wssecurity-secext-1.0.xsd
十一月 2^C
[
[[email protected] data_integration]# nohup ./kitchen.sh /file file/report.kjb &
[2] 17063
[[email protected] data_integration]# nohup: 忽略輸入並把輸出追加到"nohup.out"
[[email protected] data_integration]#
兩個紅色加粗部分為後臺新增的兩個服務在啟動
使用linux自帶命令進行掛載,執行命令如下:
nohup ./kitchen.sh /file file/report.kjb &
然後進入nohup.out(linux自帶的類似於log4j的日誌檔案),進行檢視:
命令列如下所示:
drwxr-xr-x. 2 root root 126 11月 15 11:42 classes
drwxr-xr-x. 3 root root 35 11月 15 11:42 Data Integration.app
drwxr-xr-x. 2 root root 58 11月 15 11:42 Data Service JDBC Driver
drwxr-xr-x. 3 root root 39 11月 15 11:42 docs
-rw-r--r--. 1 root root 138 5月 16 2017 Encr.bat
-rw-r--r--. 1 root root 140 5月 16 2017 encr.sh
drwxr-xr-x. 3 root root 122 11月 20 10:56 file
下面是生成的日誌的log日誌生成檔案:
-rw-r--r--. 1 root root 138902 11月 21 09:00 hs_err_pid14811.log
-rw-r--r--. 1 root root 17475 11月 21 09:20 hs_err_pid17107.log
-rw-r--r--. 1 root root 17524 11月 21 09:28 hs_err_pid17694.log
-rw-r--r--. 1 root root 16912 11月 21 09:31 hs_err_pid18092.log
-rw-r--r--. 1 root root 17411 11月 21 09:31 hs_err_pid18103.log
-rw-r--r--. 1 root root 149593 11月 20 15:56 hs_err_pid27766.log
-rw-r--r--. 1 root root 149750 11月 20 16:53 hs_err_pid8674.log
-rw-r--r--. 1 root root 17470 11月 20 16:52 hs_err_pid8746.log
-rw-r--r--. 1 root root 149845 11月 20 16:57 hs_err_pid9137.log
-rw-r--r--. 1 root root 961 11月 20 17:02 hs_err_pid9521.log
-rw-r--r--. 1 root root 131 5月 16 2017 Import.bat
-rw-r--r--. 1 root root 2354 5月 16 2017 import-rules.xml
-rw-r--r--. 1 root root 275 5月 16 2017 import.sh
-rw-r--r--. 1 root root 122 11月 20 12:10 jdbc_config.properties
-rw-r--r--. 1 root root 184 5月 16 2017 Kitchen.bat
啟動的命令列L----linux下:
-rwxr-xr-x. 1 root root 354 5月 16 2017 kitchen.sh
drwxr-xr-x. 2 root root 106 11月 15 11:42 launcher
drwxr-xr-x. 2 root root 12288 11月 16 11:24 lib
drwxr-xr-x. 6 root root 58 11月 15 11:42 libswt
-rw-r--r--. 1 root root 13366 5月 16 2017 LICENSE.txt
drwxr-xr-x. 2 root root 23 11月 20 11:32 logs
-rw-------. 1 root root 1226273 11月 21 09:33 nohup.out
-rw-r--r--. 1 root root 172 5月 16 2017 Pan.bat
-rw-r--r--. 1 root root 320 5月 16 2017 pan.sh
-rw-r--r--. 1 root root 10141551 5月 16 2017 PentahoDataIntegration_OSS_Licenses.html
drwxr-xr-x. 27 root root 4096 11月 15 11:42 plugins
-rw-r--r--. 1 root root 213 5月 16 2017 purge-utility.bat
-rw-r--r--. 1 root root 347 5月 16 2017 purge-utility.sh
drwxr-xr-x. 2 root root 176 11月 15 11:42 pwd
-rw-r--r--. 1 root root 1312 5月 16 2017 README.txt
-rw-r--r--. 1 root root 522 5月 16 2017 runSamples.bat
-rw-r--r--. 1 root root 305 5月 16 2017 runSamples.sh
drwxr-xr-x. 5 root root 51 11月 15 11:42 samples
-rw-r--r--. 1 root root 4098 5月 16 2017 set-pentaho-env.bat
-rw-r--r--. 1 root root 3710 5月 16 2017 set-pentaho-env.sh
drwxr-xr-x. 2 root root 29 11月 15 11:42 simple-jndi
-rw-r--r--. 1 root root 271 5月 16 2017 Spark-app-builder.bat
-rw-r--r--. 1 root root 309 5月 16 2017 spark-app-builder.sh
-rw-r--r--. 1 root root 3857 5月 16 2017 Spoon.bat
-rw-r--r--. 1 root root 220 5月 16 2017 spoon.command
-rw-r--r--. 1 root root 98 5月 16 2017 SpoonConsole.bat
-rw-r--r--. 1 root root 1271 5月 16 2017 SpoonDebug.bat
-rw-r--r--. 1 root root 1051 5月 16 2017 SpoonDebug.sh
-rw-r--r--. 1 root root 370070 5月 16 2017 spoon.ico
-rw-r--r--. 1 root root 1345 5月 16 2017 spoon.png
-rwxr-xr-x. 1 root root 6355 5月 16 2017 spoon.sh
drwxr-xr-x. 5 root root 47 11月 15 11:42 system
drwxr-xr-x. 3 root root 4096 11月 15 11:43 ui
-rw-r--r--. 1 root root 1628 5月 16 2017 yarn.sh
重新掛載啟動服務:
使用橙色的命令:
[[email protected] data_integration]# tail -fn 100 nohup.out //tail -fn 檢視檔案多少行,100行輸出目錄, nohup.out是檔名
Table 'wesafe_manage.report_areapatrolmonthly' doesn't exist
at org.pentaho.di.core.database.Database.getLookup(Database.java:2899)
at org.pentaho.di.core.database.Database.getLookup(Database.java:2875)
at org.pentaho.di.core.database.Database.getLookup(Database.java:2871)
at org.pentaho.di.trans.steps.insertupdate.InsertUpdate.lookupValues(InsertUpdate.java:89)
at org.pentaho.di.trans.steps.insertupdate.InsertUpdate.processRow(InsertUpdate.java:299)
... 2 more
Caused by: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Table 'wesafe_manage.report_areapatrolmonthly' doesn't exist
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
at com.mysql.jdbc.Util.handleNewInstance(Util.java:425)
at com.mysql.jdbc.Util.getInstance(Util.java:408)
at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:944)
at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3978)
at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3914)
at com.mysql.jdbc.MysqlIO.sendCommand(MysqlIO.java:2530)
at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:2683)
at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2495)
at com.mysql.jdbc.PreparedStatement.executeInternal(PreparedStatement.java:1903)
at com.mysql.jdbc.PreparedStatement.executeQuery(PreparedStatement.java:2011)
at org.pentaho.di.core.database.Database.getLookup(Database.java:2883)
... 6 more
2018/11/21 09:09:12 - 插入 / 更新 13.0 - ERROR (version 7.1.0.0-12, build 1 from 2017-05-16 17.18.02 by buildguy) : Unexpected error
2018/11/21 09:09:12 - 插入 / 更新 13.0 - ERROR (version 7.1.0.0-12, build 1 from 2017-05-16 17.18.02 by buildguy) : org.pentaho.di.core.exception.KettleStepException:
2018/11/21 09:09:12 - 插入 / 更新 13.0 - Error in step, asking everyone to stop because of:
2018/11/21 09:09:12 - 插入 / 更新 13.0 -
2018/11/21 09:09:12 - 插入 / 更新 13.0 - Error looking up row in database
2018/11/21 09:09:12 - 插入 / 更新 13.0 - Table 'wesafe_manage.report_areapatrolmonthly' doesn't exist
2018/11/21 09:09:12 - 插入 / 更新 13.0 -
2018/11/21 09:09:12 - 插入 / 更新 13.0 -
2018/11/21 09:09:12 - 插入 / 更新 13.0 - at org.pentaho.di.trans.steps.insertupdate.InsertUpdate.processRow(InsertUpdate.java:313)
2018/11/21 09:09:12 - 插入 / 更新 13.0 - at org.pentaho.di.trans.step.RunThread.run(RunThread.java:62)
2018/11/21 09:09:12 - 插入 / 更新 13.0 - at java.lang.Thread.run(Thread.java:748)
2018/11/21 09:09:12 - 插入 / 更新 13.0 - Caused by: org.pentaho.di.core.exception.KettleDatabaseException:
2018/11/21 09:09:12 - 插入 / 更新 13.0 - Error looking up row in database
2018/11/21 09:09:12 - 插入 / 更新 13.0 - Table 'wesafe_manage.report_areapatrolmonthly' doesn't exist
2018/11/21 09:09:12 - 插入 / 更新 13.0 -
2018/11/21 09:09:12 - 插入 / 更新 13.0 - at org.pentaho.di.core.database.Database.getLookup(Database.java:2899)
2018/11/21 09:09:12 - 插入 / 更新 13.0 - at org.pentaho.di.core.database.Database.getLookup(Database.java:2875)
2018/11/21 09:09:12 - 插入 / 更新 13.0 - at org.pentaho.di.core.database.Database.getLookup(Database.java:2871)
2018/11/21 09:09:12 - 插入 / 更新 13.0 - at org.pentaho.di.trans.steps.insertupdate.InsertUpdate.lookupValues(InsertUpdate.java:89)
2018/11/21 09:09:12 - 插入 / 更新 13.0 - at org.pentaho.di.trans.steps.insertupdate.InsertUpdate.processRow(InsertUpdate.java:299)
2018/11/21 09:09:12 - 插入 / 更新 13.0 - ... 2 more
2018/11/21 09:09:12 - 插入 / 更新 13.0 - Caused by: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Table 'wesafe_manage.report_areapatrolmonthly' doesn't exist
2018/11/21 09:09:12 - 插入 / 更新 13.0 - at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
2018/11/21 09:09:12 - 插入 / 更新 13.0 - at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
2018/11/21 09:09:12 - 插入 / 更新 13.0 - at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
2018/11/21 09:09:12 - 插入 / 更新 13.0 - at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
2018/11/21 09:09:12 - 插入 / 更新 13.0 - at com.mysql.jdbc.Util.handleNewInstance(Util.java:425)
2018/11/21 09:09:12 - 插入 / 更新 13.0 - at com.mysql.jdbc.Util.getInstance(Util.java:408)
2018/11/21 09:09:12 - 插入 / 更新 13.0 - at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:944)
2018/11/21 09:09:12 - 插入 / 更新 13.0 - at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3978)
2018/11/21 09:09:12 - 插入 / 更新 13.0 - at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3914)
2018/11/21 09:09:12 - 插入 / 更新 13.0 - at com.mysql.jdbc.MysqlIO.sendCommand(MysqlIO.java:2530)
2018/11/21 09:09:12 - 插入 / 更新 13.0 - at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:2683)
2018/11/21 09:09:12 - 插入 / 更新 13.0 - at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2495)
2018/11/21 09:09:12 - 插入 / 更新 13.0 - at com.mysql.jdbc.PreparedStatement.executeInternal(PreparedStatement.java:1903)
2018/11/21 09:09:12 - 插入 / 更新 13.0 - at com.mysql.jdbc.PreparedStatement.executeQuery(PreparedStatement.java:2011)
2018/11/21 09:09:12 - 插入 / 更新 13.0 - at org.pentaho.di.core.database.Database.getLookup(Database.java:2883)
2018/11/21 09:09:12 - 插入 / 更新 13.0 - ... 6 more
child index = 51, logging object : [email protected] parent=47e19a14-02d3-4c04-a4e1-526d2a952d05
2018/11/21 09:09:12 - 插入 / 更新 13.0 - 完成處理 (I=0, O=0, R=1, W=0, U=0, E=1)
2018/11/21 09:09:13 - areacheckdaily - 轉換被檢測
2018/11/21 09:09:13 - areacheckdaily - 轉換正在殺死其他步驟!
2018/11/21 09:09:14 - areacheckdaily - 轉換被檢測
2018/11/21 09:09:14 - areacheckdaily - 轉換正在殺死其他步驟!
2018/11/21 09:09:14 - areacheckdaily - 轉換被檢測
2018/11/21 09:09:14 - areacheckdaily - 轉換正在殺死其他步驟!
2018/11/21 09:09:15 - areacheckdaily - 轉換被檢測
2018/11/21 09:09:15 - areacheckdaily - 轉換正在殺死其他步驟!
2018/11/21 09:09:16 - areacheckdaily - 轉換被檢測
2018/11/21 09:09:16 - areacheckdaily - 轉換正在殺死其他步驟!
2018/11/21 09:09:16 - areacheckdaily - 轉換被檢測
2018/11/21 09:09:16 - areacheckdaily - 轉換正在殺死其他步驟!
2018/11/21 09:09:17 - areacheckdaily - 轉換被檢測
2018/11/21 09:09:17 - areacheckdaily - 轉換正在殺死其他步驟!
2018/11/21 09:09:18 - areacheckdaily - 轉換被檢測
2018/11/21 09:09:18 - areacheckdaily - 轉換正在殺死其他步驟!
2018/11/21 09:09:19 - areacheckdaily - 轉換被檢測
2018/11/21 09:09:19 - areacheckdaily - 轉換正在殺死其他步驟!
2018/11/21 09:09:19 - areacheckdaily - 轉換被檢測
2018/11/21 09:09:19 - areacheckdaily - 轉換正在殺死其他步驟!
2018/11/21 09:09:20 - areacheckdaily - 轉換被檢測
2018/11/21 09:09:20 - areacheckdaily - 轉換正在殺死其他步驟!
2018/11/21 09:09:21 - areacheckdaily - 轉換被檢測
2018/11/21 09:09:21 - areacheckdaily - 轉換正在殺死其他步驟!
2018/11/21 09:09:21 - areacheckdaily - 轉換被檢測
2018/11/21 09:09:21 - areacheckdaily - 轉換正在殺死其他步驟!
2018/11/21 09:09:22 - areacheckdaily - 轉換被檢測
2018/11/21 09:09:22 - areacheckdaily - 轉換正在殺死其他步驟!
2018/11/21 09:09:22 - areacheckdaily - ERROR (version 7.1.0.0-12, build 1 from 2017-05-16 17.18.02 by buildguy) : 錯誤被檢測到!
2018/11/21 09:09:22 - report - 完成作業項[轉換] (結果=[false])
2018/11/21 09:09:22 - report - 完成作業項[jdbc_config.properties] (結果=[false])
2018/11/21 09:09:22 - report - 任務執行完畢
2018/11/21 09:09:22 - Kitchen - Finished!
2018/11/21 09:09:22 - Kitchen - ERROR (version 7.1.0.0-12, build 1 from 2017-05-16 17.18.02 by buildguy) : Finished with errors
2018/11/21 09:09:22 - Kitchen - Start=2018/11/21 09:09:05.471, Stop=2018/11/21 09:09:22.462
2018/11/21 09:09:22 - Kitchen - Processing ended after 16 seconds.