1. 程式人生 > >hive與mongodb連線

hive與mongodb連線

1.下載

wget http://repo1.maven.org/maven2/org/mongodb/mongo-hadoop/mongo-hadoop-hive/2.0.2/mongo-hadoop-hive-2.0.2.jar
wget http://repo1.maven.org/maven2/org/mongodb/mongo-hadoop/mongo-hadoop-core/2.0.2/mongo-hadoop-core-2.0.2.jar
wget http://repo1.maven.org/maven2/org/mongodb/mongo-java-driver/3.6.0/mongo-java-driver-3.6.0.jar
2.放入hive的lib目錄

cp /root/mongo-hadoop/mongo-hadoop-core-2.0.2.jar .

cp/root/mongo-hadoop/mongo-hadoop-hive-2.0.2.jar .
cp /root/mongo-hadoop/mongo-java-driver-3.6.0.jar .

3.改變所屬

cd /home/hadoop/hive/lib

chown -R hadoop.hadoop *

4.hive建表,連線MongoDB

CREATE EXTERNAL TABLE ccc

  id string,
  min_other_balance INT,
  oil_names array<string>,
  bank_account_name string
)
STORED BY 'com.mongodb.hadoop.hive.MongoStorageHandler'
WITH SERDEPROPERTIES('mongo.columns.mapping'='{"id":"_id","min_other_balance":"min_other_balance","oil_names":"oil_names","bank_account_name":"bank_account.name"}')
TBLPROPERTIES('mongo.uri'='mongodb://dddd8:

[email protected]:27017/bdb.ccc');

5.查詢

select * from ccc

注意:

1. set mongo.input.split.create_input_splits=false; 如果需要split許可權但沒有

2.在mongodb中設定許可權

相關推薦

hivemongodb連線

1.下載 wget http://repo1.maven.org/maven2/org/mongodb/mongo-hadoop/mongo-hadoop-hive/2.0.2/mongo-hadoop-hive-2.0.2.jar wget http://repo1.ma

java連線MongoDBMongoDB增刪改查詳解

1.MongoDB簡介 1.1什麼是MongoDB MongoDB 是一個跨平臺的,面向文件的資料庫,是當前 NoSQL 資料庫產品中最熱門的一種。它介於關係資料庫和非關係資料庫之間,是非關係資料庫當中功能最豐富,最像關係資料庫的產品。它支援的資料結構非

MongoDBpython連線及讀取資訊

# -*- coding: utf-8 -*- __author__ = 'zww' import pprint from pymongo import MongoClient from bson i

thinkphp開發總結(二)——同時連線mysqlmongodb資料庫

一、連線mongodb資料庫 連線mongodb我採用的是tp裡的config配置,在Common/Conf/config.php: <?php return array( //資料庫配置資

kettle案例七連線hive--抽取mongodb的資料儲存到hive

hive作為資料倉庫的載體,一般情況下我們會經常把資料儲存到hive中。 本章通過抽取mongodb的資料儲存到hive的案例來學習連線hive。 kettle把資料匯入hive有兩種思路 一種是通過hiveserver2使用JDBC的連線方式,這種是一條

MongoDB連線連線優化

預設每個連線數佔用10M記憶體ulimit -a 檢視stack sizeMongoDB伺服器記憶體要滿足 connection overhead + data size + index size即連線數開銷+熱點資料+索引連線數太多的問題:如果在日誌中遇到類似如下的錯誤資訊

HadoopMongoDB整合(Hive篇)

1.背景 公司希望使用MongoDB作為後端業務資料庫,使用Hadoop平臺作為資料平臺。最開始是先把資料從MongoDB匯出來,然後傳到HDFS,然後用Hive/MR處理。我感覺這也太麻煩了,現在不可能沒有人想到這個問題,於是就搜了一下,結果真找到一個Mon

Djangomongodb資料庫的連線

1、最開始需要下載一個第三方模組:mongoengine   2、下載完成之後,需要在settings中完成配置(在DATABASES後面,別問我為什麼,問了我也不告訴你...)   connect中傳入的是mongodb中的資料庫的庫      

[C#] C# MongoDB 的 CURD

-a () stat set new ati args info 插入 C# 與 MongoDB 的 CURD static void Main(string[] args) { //建立連接

python mongodb的交互---查找

小問題 文檔 問題 bsp fun -1 pri span div python與mongo數據庫交互時,在查找的時候註意的一些小問題: 代碼: 1 from pymongo import * 2 def find_func(): 3 #創建連接對象 4

Hivehivehadoop的聯系

ack create 交互 table ima ask str 數據信息 where Hive與Hadoop調用圖 解析:

hivehbase

mapreduce UC 位置 轉載 獲得 協作 reduce answer 大數據架構 作者:有點文鏈接:https://www.zhihu.com/question/21677041/answer/185664626來源:知乎著作權歸作者所有。商業轉載請聯系作者獲得授權

詳細分析Memcached緩存Mongodb數據庫的優點作用

io瓶頸 緩存 語句 一分鐘 SQ 維護 靈活 出了 友好 http://www.mini188.com/showtopic-1604.aspx 本文詳細講下Memcached和Mongodb一些看法,以及結合應用有什麽好處,希望看到大家的意見和補充。  Memcache

hivehbase關聯表的創建,外表方式

內部 col 屬於 cal key IT detail form 內部表 1.在Hive裏面創建一個表: hive> create table wyp(id int, > name string, > age int, > tel

全網最詳細的hive-site.xml配置文件裏如何添加達到HiveHBase的集成,即Hive通過這些參數去連接HBase(圖文詳解)

out 開源精神 http FN image ava ext 必須 .cn   不多說,直接上幹貨!   一般,普通的情況是    <configuration>   <property>   

hive hbase 結合

next pos jobs maven int info XP .com .org 一、hive與hbase的結合Hive會經常和Hbase結合使用,把Hbase作為Hive的存儲路徑,所以Hive整合Hbase尤其重要。使用Hive讀取Hbase中的數據,可以使用HQL語

hivemysql兩種數據源之間的join

alt mar tab tom hql sql 行數 成功 use   這篇文章是基於上一篇文章的續集 一:程序 1.程序、 1 package com.scala.it 2 3 import java.util.Properties 4 5 import

Appium手機電腦連線並正確執行的過程

Appium手機與電腦連線並正確執行的過程 在都已安裝完畢的情況下,有以下問題: 1、在cmd中執行 adb devices -l 提示不是內部命令 ——原因可能是:path中沒有新增adb的路徑; ——方案:編輯環境變數>系統環境變數>在path對應的值中 新增adb的絕對

Django中REST frameworkMongoDB的搭配使用

Django框架下,因其功能強大可為廣大使用者提供各種資料庫的配套使用方法。由於要學習學長的專案,所以我需要學習MongoDB資料庫搭配REST framework的使用,在網上查找了一些資料後發現大部分資料都是關於其自帶的sqlite3的,所以在這裡分享一下我在網上查詢到的一些MongoDB搭配R

jsp資料庫(二、使用連線資料來源連線資料庫)

一、介紹 1、資料來源,是當前Web應用開發中獲取資料庫連線的首選方法。使用資料來源這種技術,應用程式在啟動時只需建立少量的連線物件即可 2、連線池與定義了一些連線,當應用程式需要連線物件時就從連線池中取出一個,當連線物件使用完畢將其放回連線池,從而避免在每次請求連線時都要建立連線物件