2. 程式人生 > >win10 安裝DataX

win10 安裝DataX

阿新 • • 發佈：2018-11-19

1.資源準備

   JDK1.8

   Python2.7

   DataX（點選下載）

2.環境變數配置(以自己安裝目錄為準)

   %DATAX_HOME%\bin

   D:\Program Files\Python27\

   D:\Program Files\Java\jdk1.8.0_131\bin

3.在cmd視窗中輸入CHCP 65001 防止中文亂碼

4.測試（從stream讀取資料並列印到控制檯）

 a、檢視模板

  cd    %DATAX_HOME%\bin

    python datax.py -r streamreader -w streamwriter

會顯示如下內容

DataX (DATAX-OPENSOURCE-3.0), From Alibaba !
Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.


Please refer to the streamreader document:
     https://github.com/alibaba/DataX/blob/master/streamreader/doc/streamreader.md

Please refer to the streamwriter document:
     https://github.com/alibaba/DataX/blob/master/streamwriter/doc/streamwriter.md

Please save the following configuration as a json file and  use
     python {DATAX_HOME}/bin/datax.py {JSON_FILE_NAME}.json
to run the job.

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "streamreader",
                    "parameter": {
                        "column": [],
                        "sliceRecordCount": ""
                    }
                },
                "writer": {
                    "name": "streamwriter",
                    "parameter": {
                        "encoding": "",
                        "print": true
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": ""
            }
        }
    }
}

 

b、書寫配置檔案

     檔名：stream2stream.json 

內容如下：

{
  "job": {
    "content": [
      {
        "reader": {
          "name": "streamreader",
          "parameter": {
            "sliceRecordCount": 10,
            "column": [
              {
                "type": "String",
                "value": "helle DataX"
              },
              {
                "type": "string",
                "value": "你吃完晚飯了嗎？"
              },
              {
                "type": "string",
                "value": "不要在寫程式碼了，太累了"
              }
            ]
          }
        },
        "writer": {
          "name": "streamwriter",
          "parameter": {
            "encoding": "GBK",
            "print": true
          }
        }
      }
    ],
    "setting": {
      "speed": {
        "channel": 5
       }
    }
  }
}

c.執行配置檔案

python datax.py ./steam2stream.json

會出現如下結果：

  

DataX (DATAX-OPENSOURCE-3.0), From Alibaba !
Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.


2018-09-17 20:18:48.235 [main] INFO  VMInfo - VMInfo# operatingSystem class => sun.management.OperatingSystemImpl
2018-09-17 20:18:48.242 [main] INFO  Engine - the machine info  =>

        osInfo: Oracle Corporation 1.8 25.131-b11
        jvmInfo:        Windows 10 x86 10.0
        cpu num:        8

        totalPhysicalMemory:    -0.00G
        freePhysicalMemory:     -0.00G
        maxFileDescriptorCount: -1
        currentOpenFileDescriptorCount: -1

        GC Names        [PS MarkSweep, PS Scavenge]

        MEMORY_NAME                    | allocation_size                | init_size
        PS Eden Space                  | 256.25MB                       | 256.25MB
        Code Cache                     | 240.00MB                       | 2.25MB
        PS Survivor Space              | 42.50MB                        | 42.50MB
        PS Old Gen                     | 682.75MB                       | 682.75MB
        Metaspace                      | -0.00MB                        | 0.00MB


2018-09-17 20:18:48.270 [main] INFO  Engine -
{
        "content":[
                {
                        "reader":{
                                "name":"streamreader",
                                "parameter":{
                                        "column":[
                                                {
                                                        "type":"String",
                                                        "value":"helle DataX"
                                                },
                                                {
                                                        "type":"string",
                                                        "value":"你吃完晚飯了嗎？"
                                                },
                                                {
                                                        "type":"string",
                                                        "value":"不要在寫程式碼了，太累了"
                                                }
                                        ],
                                        "sliceRecordCount":10
                                }
                        },
                        "writer":{
                                "name":"streamwriter",
                                "parameter":{
                                        "encoding":"GBK",
                                        "print":true
                                }
                        }
                }
        ],
        "setting":{
                "speed":{
                        "channel":5
                }
        }
}

2018-09-17 20:18:48.289 [main] WARN  Engine - prioriy set to 0, because NumberFormatException, the value is: null
2018-09-17 20:18:48.292 [main] INFO  PerfTrace - PerfTrace traceId=job_-1, isEnable=false, priority=0
2018-09-17 20:18:48.292 [main] INFO  JobContainer - DataX jobContainer starts job.
2018-09-17 20:18:48.295 [main] INFO  JobContainer - Set jobId = 0
2018-09-17 20:18:48.325 [job-0] INFO  JobContainer - jobContainer starts to do prepare ...
2018-09-17 20:18:48.326 [job-0] INFO  JobContainer - DataX Reader.Job [streamreader] do prepare work .
2018-09-17 20:18:48.335 [job-0] INFO  JobContainer - DataX Writer.Job [streamwriter] do prepare work .
2018-09-17 20:18:48.336 [job-0] INFO  JobContainer - jobContainer starts to do split ...
2018-09-17 20:18:48.338 [job-0] INFO  JobContainer - Job set Channel-Number to 5 channels.
2018-09-17 20:18:48.348 [job-0] INFO  JobContainer - DataX Reader.Job [streamreader] splits to [5] tasks.
2018-09-17 20:18:48.349 [job-0] INFO  JobContainer - DataX Writer.Job [streamwriter] splits to [5] tasks.
2018-09-17 20:18:48.371 [job-0] INFO  JobContainer - jobContainer starts to do schedule ...
2018-09-17 20:18:48.380 [job-0] INFO  JobContainer - Scheduler starts [1] taskGroups.
2018-09-17 20:18:48.382 [job-0] INFO  JobContainer - Running by standalone Mode.
2018-09-17 20:18:48.391 [taskGroup-0] INFO  TaskGroupContainer - taskGroupId=[0] start [5] channels for [5] tasks.
2018-09-17 20:18:48.397 [taskGroup-0] INFO  Channel - Channel set byte_speed_limit to -1, No bps activated.
2018-09-17 20:18:48.401 [taskGroup-0] INFO  Channel - Channel set record_speed_limit to -1, No tps activated.
2018-09-17 20:18:48.412 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[1] attemptCount[1] is started
2018-09-17 20:18:48.415 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[0] attemptCount[1] is started
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
2018-09-17 20:18:48.421 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[3] attemptCount[1] is started
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
2018-09-17 20:18:48.433 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[2] attemptCount[1] is started
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
2018-09-17 20:18:48.440 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[4] attemptCount[1] is started
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
helle DataX     你吃完晚飯了嗎？        不要在寫程式碼了，太累了
2018-09-17 20:18:48.548 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[0] is successed, used[133]ms
2018-09-17 20:18:48.548 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[1] is successed, used[137]ms
2018-09-17 20:18:48.550 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[2] is successed, used[117]ms
2018-09-17 20:18:48.557 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[3] is successed, used[136]ms
2018-09-17 20:18:48.559 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[4] is successed, used[119]ms
2018-09-17 20:18:48.576 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] completed it's tasks.
2018-09-17 20:18:58.400 [job-0] INFO  StandAloneJobContainerCommunicator - Total 50 records, 1500 bytes | Speed 150B/s, 5 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 0.000s |  All Task WaitReaderTime 0.001s | Percentage 100.00%
2018-09-17 20:18:58.401 [job-0] INFO  AbstractScheduler - Scheduler accomplished all tasks.
2018-09-17 20:18:58.403 [job-0] INFO  JobContainer - DataX Writer.Job [streamwriter] do post work.
2018-09-17 20:18:58.410 [job-0] INFO  JobContainer - DataX Reader.Job [streamreader] do post work.
2018-09-17 20:18:58.412 [job-0] INFO  JobContainer - DataX jobId [0] completed successfully.
2018-09-17 20:18:58.414 [job-0] INFO  HookInvoker - No hook invoked, because base dir not exists or is a file: D:\datax\hook
2018-09-17 20:18:58.422 [job-0] INFO  JobContainer -
         [total cpu info] =>
                averageCpu                     | maxDeltaCpu                    | minDeltaCpu
                -1.00%                         | -1.00%                         | -1.00%


         [total gc info] =>
                 NAME                 | totalGCCount       | maxDeltaGCCount    | minDeltaGCCount    | totalGCTime        | maxDeltaGCTime     | minDeltaGCTime
                 PS MarkSweep         | 0                  | 0                  | 0                  | 0.000s             | 0.000s             | 0.000s
                 PS Scavenge          | 0                  | 0                  | 0                  | 0.000s             | 0.000s             | 0.000s

2018-09-17 20:18:58.431 [job-0] INFO  JobContainer - PerfTrace not enable!
2018-09-17 20:18:58.436 [job-0] INFO  StandAloneJobContainerCommunicator - Total 50 records, 1500 bytes | Speed 150B/s, 5 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 0.000s |  All Task WaitReaderTime 0.001s | Percentage 100.00%
2018-09-17 20:18:58.445 [job-0] INFO  JobContainer -
任務啟動時刻                    : 2018-09-17 20:18:48
任務結束時刻                    : 2018-09-17 20:18:58
任務總計耗時                    :                 10s
任務平均流量                    :              150B/s
記錄寫入速度                    :              5rec/s
讀出記錄總數                    :                  50
讀寫失敗總數                    :                   0

 

相關推薦

win10 安裝DataX

1.資源準備    JDK1.8    Python2.7    DataX（點選下載） 2.環境變數配置(以自己安裝目錄為準)    %DATAX_HOME%\bin    

Win10安裝Mongodb，並配置成服務

append 配置文件 log 模式 日誌文件 文件夾 sta fig clas 好吧，今天突然發現新買的surface上沒有安裝mongodb，然後想著安裝一下，順便記錄一下，雖說安裝過程很簡單 一：下載安裝，然後拷貝到C盤根目錄，這個就不多說了，比QQ都簡單。 二：把b

win10安裝MySQL免安裝版

nload com src 提示 下載 rsh init 修改 basedir 一：下載並解壓 這個就不多說了https://dev.mysql.com/downloads/mysql/，簡單的很 二：MySQL根目錄下新建my.ini [mysql] # 設置mysq

Win10安裝weblogic12C

回車 .cn ont 1.8 jdk1 ava 安裝 啟動 密碼 一、系統環境 Win10系統 Jdk1.8 64位 二、安裝Weblogic 第一步：用系統管理員身份打開CMD命令提示符，用CMD方式進入“fmw_12.1.3.0.0_wls.j

win10 安裝bugfree

win10 安裝bugfree前言因公司業務需求搭建bugfree 好長時間不搭建了今天來練練手吧！第一步下載安裝包 首先安裝bugfree需要一個集成包 不二之選是Xampp 。具體操作步驟如下首先安裝的時候會出現一個響應圖片：1.之後開始正式安裝會提示選擇YES即可。2.點擊yes之後會出現一個提示點擊o

win10 安裝mysql-5.7.19-winx64

安裝 win10 mysql 問：配置低不方便老開虛擬機還想學習一下mysql 怎麽辦，答：安裝在自己的Windows上。O(∩_∩)O 好了廢話不多說，下面開始1、 下載mysql-5.7.19-winx64包，沒有的去mysql網站https://dev.mysql.com/download

筆記本win10安裝node的尖酸歷程。。。。。。

mage 名稱 內部 選擇 控制 新建 來安 dem 構建工具 在公司的電腦搭建vue環境分分鐘搞定，周末閑的無聊給自己的電腦也搭建一個環境，誰知道這麽多的問題，記錄下這些問題，希望對那些安裝node環境有問題的朋友一些幫助。 1.下載安裝node 下載地址http://n

win10安裝Anaconda3出現failed to create anacoda menue錯誤的解決方案

family menu span 16px 安裝完成 bit 沒有 settings nav 其他描述：【Anaconda Prompt找不到】【開始菜單沒有Anaconda Prompt】【Anaconda failed to create anacoda menue】

win10安裝jdk1.8

解壓 network too 命令提示符 添加內容 com htm 系統 image 最近剛換電腦，閑來無事給電腦安裝jdk，發現環境變量的配置都給忘記了；今天來總結一下： 1.首先下載需要安裝的jdk的版本，http://www.oracle.com/technetwor

win10 安裝YII2

pst pen 配置環境變量 init 有一個 conf images 高級 生成 YII2下載地址：http://www.yiichina.com/download 高級版本和基本版本的區別是： 基礎版只有一個只有一個web應用，高級版則生成前後臺。建議使用高級版，方便

64位win10安裝mysql-5.6.37-winx64

變量 ica pie join tween transacti rime ast urn 一、安裝準備 mysql-5.6.37-winx64下載 二、安裝mysql 1.解壓mysql-5.7.11-win32.zip 到 c:\mysql-5.7.11-win32 2.

caffe+win10安裝與配置

images 參考 目錄 窗口 example .proto 信息 輸入 需求 1.Windows環境caffe安裝配置（無GPU） 參考：http://www.cnblogs.com/cxyxbk/p/5902034.html 解壓caffe-windows文件，將./w

win10 安裝nodejs，報錯there is a problem in the windows installer package

nload 裝包 ack next org get 就是 技術分享 提示符 1. 在開始面板找到命令提示符，右鍵選擇“以管理員身份運行” 2. 進入到安裝包的文件目錄內 3. 回到命令提示符窗口，運行安裝包名字 之後會跳出安裝提示，點擊運行 之後就一直next，就

win10安裝centos雙系統，遇到問題及解決方法

centos7;雙系統;entering emergency mode一、準備1.一個PC、U盤2.windows 下準備一塊空白分區（未分配）3..軟碟通制作centos7 U盤啟動二、開始安裝1.插上U盤，機器進BLOS，改成U盤啟動2.進入準備安裝界面 選 Install CentOS 7 回車幸運的話

win8 win10 安裝msi 提示2502、2503的錯誤代碼

white pack 中文 style rto eight 策略 輸入 gpe 1、按WIN+R，在運行框中輸入“gpedit.msc” 確認； 2、打開本地策略組編輯器後依次展開 ：“計算機配置”-》“管理模板”-》“windows組件”-》“windows instal

Win10 安裝 Linux 子系統

文件 alt 用戶 update etc windows10 main source run Win10 安裝 Linux 子系統 因為最近要使用Linux搭服務器，但是用遠程的話延遲很煩，用雙系統切換很麻煩，用虛擬機又會有點卡，剛好Windows10最近更新了正式版的

win10安裝C++Builder 6

files 軟件 exe www. windows builder 使用 x86 pack C++Builder 6 的優美、易用、強大至今無敵！沒有任何一款同類軟件，可與之相提並論。雖然過去這麽多年，仍不失優秀。當今已升級到win10，仍然想使用，經過摸索，還是可

win10安裝

iso 很多 nbsp sha 電腦 出現 查看 bsp 文件下載 在安裝win10系統時，出現了錯誤碼： 0x80070570. 很多人說是分區工具的問題或者是電腦內存的問題。 但是第一步先檢查時否ISO文件下載的有問題 盡量不要使用迅雷下載ISO文件，因為迅雷使用的是P

win10安裝及卸載SQL Server2008數據庫

color 規則 report 窗體 連接 wid 客戶 無法 正常 一.數據庫安裝環境 操作系統：win10 SQL server：SQL server 2008 R2二.全新數據庫安裝1.安裝擴展文件 雙擊安裝文件，彈出如下窗

win10 安裝python3.6且如何通過python解釋器運行.py文件。

點擊 3.6 shel 位置 鏈接 win 圖1 安裝目錄 語法 如何用python 解釋器運行.py文件 1. 我們在學習python中，主要是在 python3.6 shell 中學習python語法，如 圖1.1