2. 程式人生 > >[Sqoop]Sqoop匯入與匯出

[Sqoop]Sqoop匯入與匯出

阿新 • • 發佈：2019-01-19
1. 匯入例項
1.1 登陸資料庫查看錶
  1. [email protected]:~$ mysql -u root -p
  2. Enter password:
  3. Welcome to the MySQL monitor.Commands end with ; or \g.
  4. YourMySQL connection id is 8
  5. Server version:5.6.30-0ubuntu0.15.10.1-log (Ubuntu)
  6. Copyright(c)2000,2016,Oracle and/or its affiliates.All rights reserved.
  7. Oracle is a registered trademark of 
     
    OracleCorporation and/or its
  8. affiliates.Other names may be trademarks of their respective
  9. owners.
  10. Type'help;' or '\h'for help.Type'\c' to clear the current input statement.
  11. mysql> use test;
  12. Reading table information for completion of table and column names
  13. You can turn off this feature to get a quicker startup with 
     
    -A
  14. Database changed
  15. mysql> show tables;
  16. +-----------------+
  17. |Tables_in_test|
  18. +-----------------+
  19. | employee        |
  20. | hotel_info      |
  21. +-----------------+
1.2 匯入操作

我們選擇employee這張表進行匯入。

  1. mysql> select * from employee;
  2. +--------+---------+-----------------+
  3. | name   | company | depart          |
  4. +--------+---------+-----------------+
     
  5. | yoona  | qunar   |創新事業部|
  6. | xiaosi | qunar   |創新事業部|
  7. | jim    | ali     |淘寶|
  8. | kom    | ali     |淘寶|
匯入的命令非常簡單，如下：
  1. sqoop import--connect jdbc:mysql://localhost:3306/test --table employee --username root -password root -m 1

上面程式碼是把test資料庫下employee表中資料匯入HDFS中，執行結果如下：

  1. 16/11/1316:37:35 INFO mapreduce.Job:The url to track the job: http://localhost:8080/
  2. 16/11/1316:37:35 INFO mapreduce.Job:Running job: job_local976138588_0001
  3. 16/11/1316:37:35 INFO mapred.LocalJobRunner:OutputCommitter set in config null
  4. 16/11/1316:37:35 INFO output.FileOutputCommitter:FileOutputCommitterAlgorithm version is 1
  5. 16/11/1316:37:35 INFO mapred.LocalJobRunner:OutputCommitter is org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter
  6. 16/11/1316:37:35 INFO mapred.LocalJobRunner:Waitingfor map tasks
  7. 16/11/1316:37:35 INFO mapred.LocalJobRunner:Starting task: attempt_local976138588_0001_m_000000_0
  8. 16/11/1316:37:35 INFO output.FileOutputCommitter:FileOutputCommitterAlgorithm version is 1
  9. 16/11/1316:37:35 INFO mapred.Task:UsingResourceCalculatorProcessTree:[]
  10. 16/11/1316:37:35 INFO db.DBInputFormat:Using read commited transaction isolation
  11. 16/11/1316:37:35 INFO mapred.MapTask:Processing split:1=1 AND 1=1
  12. 16/11/1316:37:35 INFO db.DBRecordReader:Working on split:1=1 AND 1=1
  13. 16/11/1316:37:35 INFO db.DBRecordReader:Executing query: SELECT `name`,`company`,`depart` FROM `employee` AS `employee` WHERE (1=1) AND (1=1)
  14. 16/11/1316:37:35 INFO mapreduce.AutoProgressMapper:Auto-progress thread is finished. keepGoing=false
  15. 16/11/1316:37:35 INFO mapred.LocalJobRunner:
  16. 16/11/1316:37:35 INFO mapred.Task:Task:attempt_local976138588_0001_m_000000_0 is done.And is in the process of committing
  17. 16/11/1316:37:35 INFO mapred.LocalJobRunner:
  18. 16/11/1316:37:35 INFO mapred.Task:Task attempt_local976138588_0001_m_000000_0 is allowed to commit now
  19. 16/11/1316:37:35 INFO output.FileOutputCommitter:Saved output of task 'attempt_local976138588_0001_m_000000_0' to hdfs://localhost:9000/user/xiaosi/employee/_temporary/0/task_local976138588_0001_m_000000
  20. 16/11/1316:37:35 INFO mapred.LocalJobRunner: map
  21. 16/11/1316:37:35 INFO mapred.Task:Task'attempt_local976138588_0001_m_000000_0' done.
  22. 16/11/1316:37:35 INFO mapred.LocalJobRunner:Finishing task: attempt_local976138588_0001_m_000000_0
  23. 16/11/1316:37:35 INFO mapred.LocalJobRunner: map task executor complete.
  24. 16/11/1316:37:36 INFO mapreduce.Job:Job job_local976138588_0001 running in uber mode :false
  25. 16/11/1316:37:36 INFO mapreduce.Job:  map 100% reduce 0%
  26. 16/11/1316:37:36 INFO mapreduce.Job:Job job_local976138588_0001 completed successfully
  27.  
 
    
            
      
    
           
    
              
              
    
            
    
            
    相關推薦
    
			   
            
            
            
 

    

    
    
    
    Sqoop匯入與匯出底層
    
     
     
								
								            
						
                
1.Sqoop匯入底層工作原理
（1）在匯入前，Sqoop使用JDBC來檢查將要匯入的資料表。

（2）Sqoop檢索出表中所有的列以及列的SQL資料型別。

（3）把這些SQL型別的對映到java資 
    

    
  
 

    

    
    
    
    [Sqoop]Sqoop匯入與匯出
    
     
     
                1. 匯入例項1.1 登陸資料庫查看錶[email protected]:~$ mysql -u root -pEnter password:Welcome to the MySQL monitor.Commands end with ; or \g.YourMyS 
    

    
  
 

    

    
    
    
    sqoop學習2（資料匯入與匯出命令）
    
     
     
                最近學習了下這個導資料的工具，但是在export命令這裡卡住了，暫時排不了錯誤。先記錄學習的這一點吧sqoop是什麼sqoop（sql-on-hadoop）：是用來實現結構型資料（如關係型資料庫）和hadoop之間進行資料遷移的工具。它充分利用了mapreduce的並行特點以 
    

    
  
 

    

    
    
    
    c# ASP.NET MVC模式 WPS的匯入與匯出的實現
    
     
      
 
 
 前提準備：  
 1.想要成功進行WPS的匯入與匯出，你得先下載WPS，然後找到etapi.dll檔案（路徑：\Kingsoft\WPS Office\10.1.0.7520\office6），WPS安裝路徑看你們具體的安裝路徑。 
  2.然後在自己的ASP.NET MVC 
    

    
  
 

    

    
    
    
    MySQL資料庫的匯入與匯出
    
     
      
 
 一.MYSQL的命令列模式的設定： 
 桌面->我的電腦->屬性->環境變數->新建->PATH=";path/mysql/bin;"其中path為MYSQL的安裝路徑。
 注:如果你的mysql命令以加入到環境變數,則不需要第一步,二.命令列進入MYSQL的 
    

    
  
 

    

    
    
    
    百萬級流水匯入與匯出(千萬級未測試)
    
     
      
  
  
 百萬級流水寫入檔案，再從檔案中寫入資料庫 
  
  千萬級資料量未測試 Laravel 中進行的除錯 
  
 class BusinessFlowsHistoryJob extends Job
{
    public function __construct()
    {
    } 
    

    
  
 

    

    
    
    
    HIVE資料的匯入與匯出詳解
    
     
     
                1.匯入

load data [local] inpath ''  [overwrite]  into database.table [partition(partcol=val)]

原始檔案在linux本地 加上local 如果原始資料檔案在hdfs 不用local

 
    

    
  
 

    

    
    
    
    linux上資料庫匯入與匯出（mysql）
    
     
      
 
 匯入資料庫 
 1.建立資料庫。 
  
   create database stillmealdbs; 
  
  
 2.linux下檢視Mysql預設編碼、修改預設編碼 
 檢視MySQL資料庫的預設編碼 
        1使用status 
    

    
  
 

    

    
    
    
    Matlab檔案和資料的匯入與匯出
    
     
     ref： https://blog.csdn.net/zengzeyu/article/details/72530596 
 
  
   
   Matlab檔案和資料的匯入與匯出 
   
   
   
    2017年05月19日 15:18:35 周吳鄭王 閱讀數：740
   
    

    
  
 

    

    
    
    
    資料庫實驗課堂作業-	5.資料庫的備份與還原 匯入與匯出
    
     
     
								
								            
							
							
							
  						資料庫實驗課堂作業


5.資料庫的備份與還原 匯入與匯出
--5.1.3
內容：
（1）將School資料庫的恢復模式設定為“完整”。
（2）為School資料庫建立一個新的備份裝置 
    

    
  
 

    

    
    
    
    Sqoop1 匯入與匯出資料
    
     
      
 
 
 https://blog.csdn.net/HG_Harvey/article/details/77985857 
 sqoop的參考 
 實習要求從hive裡把分割槽表匯出到oracle裡 
 指令碼：hiveORCL.op 
 export
--connect
jdbc:oracle:thi 
    

    
  
 

    

    
    
    
    Mysql的資料匯入與匯出
    
     
     
																				2018年11月14日 18:38:32
					wyh1128
						閱讀數：6
						
														
								標籤：
																mysql																
							
								 
    

    
  
 

    

    
    
    
    匯入與匯出mysql資料庫
    
     
     
                切記不要在powershell內進行操作  不然報錯：

ERROR:
Unknown command '\n'.
ERROR:
ASCII '\0' appeared in the statement, but this is not allowed unless opti 
    

    
  
 

    

    
    
    
    POI操作excel的匯入與匯出
    
     
     
                    趁著不忙，抽空寫了個用poi操作excel匯入匯出的功能的小例子。不多說，直接上程式碼！

poi的操作類：

package com.bao.excelUtil;

import java.io.File;
import java.io.FileInputStrea 
    

    
  
 

    

    
    
    
    docker映象檔案匯入與匯出
    
     
     
                因為公司內網不能直接pull docker映象，只能先下載docker映象，再copy到內網。  1）使用 save命令將 映象儲存為檔案       docker save -o  自定義檔名.tar  已存在的映象名  2）將檔案copy到內網  3） 使用load命令將 
    

    
  
 

    

    
    
    
    C# NPOI匯入與匯出Excel
    
     
     
                
使用 NPOI 你就可以在沒有安裝 Office 或者相應環境的機器上對 WORD/EXCEL 文件進行讀寫。

環境:.Net 4.0
NPOI版本:2.2
引用DLL
ICSharpCode.SharpZipLib.dll
NPOI.dll
NPOI.OOXML.dll 
    

    
  
 

    

    
    
    
    C# NPOI 匯入與匯出Excel文件 相容xlsx, xls
    
     
     
                



下面附上給我提示的部落格:



這裡使用的NPOI版本為: 2.1.3.1


版本內包含.Net 2.0 與.Net 4.0

.Net 4.0中包含檔案



使用時需引用需要引用所有5個dll

使用到的引用
using NPOI.HSSF.UserModel 
    

    
  
 

    

    
    
    
    玩轉Vagrant之工作環境的遷移（box的匯入與匯出）
    
     
     
                一、匯出篇

首先，大家知道，vagrant的執行是依託於VirtualBox這個虛擬機器軟體的，那麼我們首先找到VirtualBox的安裝位置，我的VirtualBox安裝在E:\Program Files\Oracle\VirtualBox，這個目錄下，我們使用cmd(注 
    

    
  
 

    

    
    
    
    JAVA中實現對Excel的匯入與匯出
    
     
     
                
1 使用Jxl實現Excel的匯入與匯出
1 ） 新建實體類Book
package com.bean;

public class Book {
	private Integer id ;
	private String  name ;
	private String 	 
    

    
  
 

    

    
    
    
    資料庫實驗課堂作業- 5.資料庫的備份與還原 匯入與匯出
    
     
      
 
  
  
  
    						資料庫實驗課堂作業
 
  
 5.資料庫的備份與還原 匯入與匯出 
 --5.1.3
內容：
（1）將School資料庫的恢復模式設定為“完整”。
（2）為School資料庫建立一個新的備份裝置。
（3）為School資料庫分別建立一個完整備份，差異備份和事務日