2. 程式人生 > >Sqoop匯入Oracle資料表到HDFS

Sqoop匯入Oracle資料表到HDFS

阿新 • • 發佈：2019-01-17
set $HBASE_HOME to the root of your HBase installation. 18/05/22 17:05:23 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7 18/05/22 17:05:24 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead. 18/05/22 17:05:24 INFO oracle.OraOopManagerFactory: Data Connector for
Oracle and Hadoop is disabled. 18/05/22 17:05:24 INFO manager.SqlManager: Using default fetchSize of 1000 18/05/22 17:05:24 INFO tool.CodeGenTool: Beginning code generation 18/05/22 17:05:38 INFO manager.OracleManager: Time zone has been set to GMT 18/05/22 17:05:38 INFO manager.SqlManager: Executing SQL statement: SELECT
t.* FROM fund_info t WHERE 1=0 18/05/22 17:05:38 INFO orm.CompilationManager: HADOOP_MAPRED_HOME is /opt/hadoop-2.7.5 Note: /tmp/sqoop-root/compile/4075f495e729969d29b0eaff12af4492/TPA_DW_DIM_FUND_INFO.java uses or overrides a deprecated API. Note: Recompile with -Xlint:deprecation for details. 18/05/22 17:05:41 INFO orm.CompilationManager: Writing jar file: /tmp/sqoop-root/compile/4075
f495e729969d29b0eaff12af4492/fund_info.jar 18/05/22 17:05:41 INFO manager.OracleManager: Time zone has been set to GMT 18/05/22 17:05:42 WARN manager.OracleManager: The table fund_info contains a multi-column primary key. Sqoop will default to the column VC_SOURCE only for this job. 18/05/22 17:05:42 INFO manager.OracleManager: Time zone has been set to GMT 18/05/22 17:05:43 WARN manager.OracleManager: The table fund_info contains a multi-column primary key. Sqoop will default to the column VC_SOURCE only for this job. 18/05/22 17:05:43 INFO mapreduce.ImportJobBase: Beginning import of fund_info 18/05/22 17:05:43 INFO Configuration.deprecation: mapred.jar is deprecated. Instead, use mapreduce.job.jar 18/05/22 17:05:43 INFO manager.OracleManager: Time zone has been set to GMT 18/05/22 17:05:44 INFO Configuration.deprecation: mapred.map.tasks is deprecated. Instead, use mapreduce.job.maps 18/05/22 17:05:45 INFO client.ConfiguredRMFailoverProxyProvider: Failing over to rm2 18/05/22 17:05:47 INFO db.DBInputFormat: Using read commited transaction isolation 18/05/22 17:05:47 INFO mapreduce.JobSubmitter: number of splits:1 18/05/22 17:05:47 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1526097883376_0002 18/05/22 17:05:47 INFO impl.YarnClientImpl: Submitted application application_1526097883376_0002 18/05/22 17:05:48 INFO mapreduce.Job: The url to track the job: http://bigdata03-test:8088/proxy/application_1526097883376_0002/ 18/05/22 17:05:48 INFO mapreduce.Job: Running job: job_1526097883376_0002 18/05/22 17:05:57 INFO mapreduce.Job: Job job_1526097883376_0002 running in uber mode : false 18/05/22 17:05:57 INFO mapreduce.Job: map 0% reduce 0% 18/05/22 17:06:09 INFO mapreduce.Job: map 100% reduce 0% 18/05/22 17:06:09 INFO mapreduce.Job: Job job_1526097883376_0002 completed successfully 18/05/22 17:06:09 INFO mapreduce.Job: Counters: 30 File System Counters FILE: Number of bytes read=0 FILE: Number of bytes written=142851 FILE: Number of read operations=0 FILE: Number of large read operations=0 FILE: Number of write operations=0 HDFS: Number of bytes read=87 HDFS: Number of bytes written=565997 HDFS: Number of read operations=4 HDFS: Number of large read operations=0 HDFS: Number of write operations=2 Job Counters Launched map tasks=1 Other local map tasks=1 Total time spent by all maps in occupied slots (ms)=10014 Total time spent by all reduces in occupied slots (ms)=0 Total time spent by all map tasks (ms)=10014 Total vcore-milliseconds taken by all map tasks=10014 Total megabyte-milliseconds taken by all map tasks=10254336 Map-Reduce Framework Map input records=1123 Map output records=1123 Input split bytes=87 Spilled Records=0 Failed Shuffles=0 Merged Map outputs=0 GC time elapsed (ms)=64 CPU time spent (ms)=2870 Physical memory (bytes) snapshot=263938048 Virtual memory (bytes) snapshot=2146078720 Total committed heap usage (bytes)=112721920 File Input Format Counters Bytes Read=0 File Output Format Counters Bytes Written=565997 18/05/22 17:06:09 INFO mapreduce.ImportJobBase: Transferred 552.7314 KB in 24.7303 seconds (22.3504 KB/sec) 18/05/22 17:06:09 INFO mapreduce.ImportJobBase: Retrieved 1123 records. [[email protected] sqoop-1.4.7]#

相關推薦

Sqoop匯入Oracle資料表到HDFS

set $HBASE_HOME to the root of your HBase installation. 18/05/22 17:05:23 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7 18/05/22 17:05:24 WARN tool.BaseSq

使用sqoop將oracle資料匯入hdfs叢集

叢集環境：     hadoop1.0.0     hbase0.92.1     zookeeper3.4.3     hive0.8.1     sqoop-1.4.1-incubating__hadoop-1.0.0.tar 首先，當然前提是hadoop叢集環境已經

用sqoop將oracle資料匯入Hbase 使用筆記

網上已經有很多關於這方面的資料，但是我在使用過程中也遇見了不少問題 1. sqoop 的環境我沒有自己搭建  直接用的公司的 2. oracle 小白怕把公司環境弄壞了，自己用容器搭建了一個 docker pull docker.io/wnameless/oracle-xe

CVS 匯入oracle 資料庫表

轉載：https://blog.csdn.net/jiadianyong12138/article/details/79762155 1.首先在資料庫對應使用者下建表（t_test），欄位型別及名字要與CSV檔案相同。   2.新建txt（test.txt）檔案輸入：   &

sqoop匯入hive資料時對換行等特殊字元處理

使用場景：  公司大資料平臺ETL操作中，在使用sqoop將mysql中的資料抽取到hive中時，由於mysql庫中默寫欄位中會有換行符，導致資料存入hive後，條數增多（每個換行符會多出帶有null值得一條資料），導致統計資料不準確。 解決辦法： 利用一下兩個引數

Oracle資料表的id為undefined時資料無法刪除的解決辦法

Oracle資料庫有時經過了非法操作會出現資料表的主鍵為undefined的情況，如下所示： 此時執行刪除操作時往往會報錯誤，這使得資料刪除失敗，如圖： 注：由於該資料表是公司現成的資料表，所以說我將關鍵資訊給塗鴉了，不過該操作是不會影響解說的。 從上圖可以看出，

【資料庫】Navicat匯入匯出資料表

       當我們對mysql資料庫進行了誤操作，造成某個資料表中的部分資料丟失時，肯定就要利用備份的資料庫，對丟失部分的資料進行匯出、匯入操作了。Navicat工具正好給我們提供了一個數據表的匯入匯出功能。 1.匯出資料表         Navicat匯出資料表的格

批量匯入大資料表的時候 使用執行緒池處理

public class UpdateMebinfoThread implements Runnable{private int beginnum= 0;// 開始行數private int endnum= 0;// 讀取記錄數 public UpdateMebinfoTh

Navicat for MySQL使用手記(中）--匯入/匯出資料表

與phpMyAdmin和Mysql-Front相比，Navicat所匯出資料表的格式更多，同時增加了對Excel2007以上版本的支援，當設計完一個表後，如果有上百條或更多的原始資料需要匯入MySQL資料庫時我們就可以先把設計好的資料匯出到一個Excel表中，然後按照格式去填充資料，最後把這些填充完的資料再

大資料Sqoop系列之Sqoop匯入匯出資料

一、Sqoop介紹 Sqoop是一個用來將關係型資料庫和Hadoop中的資料進行相互轉移的工具，可以將一個關係型資料庫(例如Mysql、Oracle)中的資料匯入到Hadoop(例如HDFS、Hive、Hbase)中，也可以將Hadoop(例如HDFS、Hive、Hbase

如何檢視Oracle資料表的建表語句？

<script type="text/javascript" src="http://pagead2.googlesyndication.com/pagead/show_ads.js"> </script><script type="text/

Sqoop匯入MySQL所有表到Hive

1、匯入到Hive預設資料庫 [[email protected] sqoop-1.4.7]# bin/sqoop-import-all-tables --connect jdbc:mysql://node1:3306/esdb --userna

使用sqoop命令把oracle資料匯入hdfs/hbase/hive

（一）匯入HDFS建立Job#!/bin/bash #Oracle的連線字串，其中包含了Oracle的地址，SID，和埠號 CONNECTURL=jdbc:oracle:thin:@10.122.5.2:1521:db #使用的使用者名稱 ORACLENAME=db #使用的

從Navicat匯出oracle建表語句，應用sqoop將oracle中的表資料匯入到hive

                            ORACLE庫的操作首先選擇navicat作為這個檔案的工具，作為資料庫表結構的匯入和匯出工具。  匯出的時候 會連結構和資料都匯出來，會形成一個sql檔案  也可以只倒檢視或者表都可以的。但是以匯出的這個檔案匯入的時候

關於使用oozie做任務排程的問題。出現SQOOP from Oracle Connection reset error（從oracle匯入資料到HDFS上面）

最近在做通過sqoop 將oracle資料庫當中的資料匯入的HDFS上面，但是當我序列的時候是沒有一點問題的。但是為了達到叢集當中資源的額最大的使用率。想讓匯入資料做成並行去處理。在做並行的時候，有時候是好的，有時候就出錯，這樣不穩定的系統真的頭大。出現的問題如下： 8/10/29 15:01:03

oracle建立表空間及使用者，匯出匯入資料備份

轉載：https://blog.csdn.net/ludongshun2016/article/details/52849784?utm_source=copy  建立表空間及使用者 //建立臨時表空間   create temporary tablespace salt

利用sqoop將hive資料匯入Oracle中（踩的坑）

教程很多，這裡只說踩過的坑 1.下載sqoop時，還得下一個bin的包，拿到sqoop-1.4.6.jar 的包，放到hadoop的lib目錄下 2.匯入oracle，執行程式碼時，使用者名稱和表名必須大寫！且資料庫建表時表名必須大寫！  示例程式碼： sqoop expo

如何把excel中的資料匯入到oracle資料已有的表中

操作步驟如下： 準備資料:在excel中構造出需要的資料    2.將excel中的資料另存為文字檔案(有製表符分隔的)     3.將新儲存到文字檔案中的資料匯入到pl*sql中 &nb

使用sqoop將mysql 資料匯入hdfs時各種報錯

資訊 18/06/29 10:45:08 ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeException: java.lang.RuntimeException: java.sql.SQLExcepti

匯入匯出 Oracle 分割槽表資料

分享一下我老師大神的人工智慧教程！零基礎，通俗易懂！http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識，造福人民，實現我們中華民族偉大復興！