hive學習-------初始hive
hive
資料倉庫: OLAP ,分析處理,儲存和分析,延遲高。
資料庫; OLTP,線上事務處理,低延遲,支援事務。
執行在hadoop之上,類SQL方法執行,Sql(hiveQL,Hql),MR運算。
操作的是結果化資料。
schema(模式 ,元資訊資料庫中),底層是HDFS檔案,dee\rby,mysql。
資料庫和表都是資料夾
hive 啟動
[[email protected] ~]$ schematool -initSchema -dbType derby //初始化模式 第一次用時
[[email protected] ~]$ hive --service metastore
啟動hiveserver2服務,接受多個客戶端連線請求,
[ [email protected] ~]$ hadoop dfsadmin -safemode leave
[[email protected] ~]$ hive --service hiveserver2 start
hive常用命令
1 . hive> !clear
2 . hive> dfs -ls / //檢視dfs根目錄
相關推薦
hive學習-------初始hive
hive 資料倉庫: OLAP ,分析處理,儲存和分析,延遲高。 資料庫; OLTP,線上事務處理,低延遲,支援事務。 執行在hadoop之上,類SQL方法執行,Sql(hiveQL,Hql),MR運算。 操作的是結果化資料。 schema(模式 ,元資訊資料庫中),底層是HDFS檔
大資料開發之Hive篇----初始hive及hadoop簡單回顧
我們先簡單回顧一下hadoop: a,Hadoop是什麼:海量資料分散式的儲存和計算框架。其中資料的儲存是hdfs(Hadoop Distributed File System),而計算是yarn/mapreduce。 b,Hadoop的訪問方式:shell,Java API,Web UI(
Hive學習(一)Hive的三種搭建方式
Hive三種搭建方式 一、本地模式(derby) 二、基於Mysql的本地模式 三、基於Mysql的遠端模式 1、解壓apache-hive-1.2.1-bin.tar.gz tar -zxvf apache-hi
Hive學習筆記 --- Hive中建立分割槽表,並且查詢資料
wechat:812716131 ------------------------------------------------------ 技術交流群請聯絡上面wechat ----------------------------------------------
Hive學習筆記 --- Hive建立分割槽表
wechat:812716131 ------------------------------------------------------ 技術交流群請聯絡上面wechat ----------------------------------------------
hive學習(三) hive的分割槽
1.Hive 分割槽partition 必須在表定義時指定對應的partition欄位 a、單分割槽建表語句: create table day_table (id int, content string) partitioned by (dt string);
Hive學習之Hive資料型別
Hive到0.13.0版本為止已經支援越來越多的資料型別,像傳統資料庫中的VCHAR、CHAR、DATE以及所特有的複合型別MAP、STRUCT等。Hive中的資料型別可以分為數值型別、字串型別、日期時間型別、複合型別以及其它型別,下面分別予以介紹。 數值型別
hive學習路線
ext mark hive 分享 hive學習 clas 線圖 mar log hive學習路線圖: hive學習路線
十二、Hadoop學習筆記————Hive的基本原理
中介 優化 prop 指示 使用 計劃分解 分享 ges 歷史數據 一般用戶用CLI(命令行界面)接口,元數據庫含有表結構 單用戶、多用戶、遠程服務 生成db文件,只能單客戶端使用數據庫 多用戶是最常用的使用模式 配置與多用戶一致 數據格式用戶自定義
Hive 學習
rmi vax tail pan ive XML 數據 mys 一行 在 hive-site.xml 中配置元數據存儲。這裏使用了 http://blog.csdn.net/reesun/article/details/8556078 中提到的一種方式。 <prop
Hive學習之路 (二)Hive安裝
different 0.10 director lar blog cut cti mysql extend Hive的下載 下載地址http://mirrors.hust.edu.cn/apache/ 選擇合適的Hive版本進行下載,進到stable-2文件夾可以看到穩
Hive學習之路 (一)Hive初識
完成 優化 ble 缺點 ase 適合 table vol 利用 Hive 簡介 什麽是Hive 1、Hive 由 Facebook 實現並開源 2、是基於 Hadoop 的一個數據倉庫工具 3、可以將結構化的數據映射為一張數據庫表 4、並提供 HQL(Hive
Hive學習之路 (三)Hive元數據信息對應MySQL數據庫表
需要 pri from metastore node rom lazy 測試 安裝 概述 Hive 的元數據信息通常存儲在關系型數據庫中,常用MySQL數據庫作為元數據庫管理。上一篇hive的安裝也是將元數據信息存放在MySQL數據庫中。 Hive的元數據信息在MySQ
Hive學習之路 (五)DbVisualizer配置連接hive
ado lan inf files AD sha comm HR 下載地址 一、安裝DbVisualizer 下載地址http://www.dbvis.com/ 也可以從網上下載破解版程序,此處使用的版本是DbVisualizer 9.1.1 具體的安裝步驟可以百度,
Hive學習之路 (六)Hive的DDL操作
存儲位置 BE 輔助 cond 允許 param 就是 文件夾 selected 庫操作 1、創建庫 語法結構 CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_
Hive學習之路 (七)Hive中文亂碼
min sta keys Coding ava eight img 字符集 步驟 Hive註釋中文亂碼 創建表的時候,comment說明字段包含中文,表成功創建成功之後,中文說明顯示亂碼 create external table movie( userID in
Hive學習之路 (六)Hive SQL之數據類型和存儲格式
OS big api 而且 好的 存儲 array 文本文件 字符串 一、數據類型 1、基本數據類型 Hive 支持關系型數據中大多數基本數據類型 類型描述示例 boolean true/false TRUE tinyint 1字
Hive學習之路 (十)Hive的高級操作
ipc functions nes aof inpu 輸入 表格 開發 eat 一、負責數據類型 1、array 現有數據如下: 1 huangbo guangzhou,xianggang,shenzhen a1:30,a2:20,a3:100 beijing,
Hive學習之路 (十五)Hive分析窗口函數(三) CUME_DIST和PERCENT_RANK
select rank com ble class mina src format () 這兩個序列分析函數不是很常用,這裏也練習一下。 數據準備 數據格式 cookie3.txt d1,user1,1000 d1,user2,2000 d1,user3,
Hive學習之路 (二十)Hive 執行過程實例分析
cred exe 重復 generator pan hql 語句 color SQ 一、Hive 執行過程概述 1、概述 (1) Hive 將 HQL 轉換成一組操作符(Operator),比如 GroupByOperator, JoinOperator 等 (2)操