十二、Hadoop學習筆記————Hive的基本原理
一般用戶用CLI(命令行界面)接口,元數據庫含有表結構
單用戶、多用戶、遠程服務
生成db文件,只能單客戶端使用數據庫
多用戶是最常用的使用模式
配置與多用戶一致
數據格式用戶自定義
所有的表都存於改配置路徑下,除了外部表
外部表指定location則可,刪除一個表只會刪除元數據(元數據(Metadata),又稱中介數據、中繼數據,為描述數據的數據(data about data),主要是描述數據屬性(property)的信息,用來支持如指示存儲位置、歷史數據、資源查找、文件記錄等功能),表中的數據不會刪除
客戶端提供查詢語序,給hive,hive交給driver處理,分為四步
1.編譯機編譯,從metastore中獲取元數據,生成邏輯計劃
2.執行物理計劃
3.Driver進行優化
4.執行器執行時對物理計劃分解為job,並提交給jobtracker,
十二、Hadoop學習筆記————Hive的基本原理
相關推薦
十二、Hadoop學習筆記————Hive的基本原理
中介 優化 prop 指示 使用 計劃分解 分享 ges 歷史數據 一般用戶用CLI(命令行界面)接口,元數據庫含有表結構 單用戶、多用戶、遠程服務 生成db文件,只能單客戶端使用數據庫 多用戶是最常用的使用模式 配置與多用戶一致 數據格式用戶自定義
十四、Hadoop學習筆記————Zookeeper概述
一致性 es2017 zookeepe 筆記 狀態 進入 keep 應用 嚴格 順序一致性:嚴格按照順序在zookeeper上執行 原子性:所有事物請求的結果,在整個集群的應用情況一致 單一視圖:無論從哪個服務器進入集群,看到的東西都是一致的 可靠性:服務端成功響應
十五、Hadoop學習筆記————Zookeeper的環境搭建
per ip地址 整數 zookeep keep ado ima leader選舉 環境搭建 linux中/opt一般用來存放應用/var目錄一般用來存放日誌 sample為樣例文件,復制一份zoo.cfg文件 配置zoo文件,id為服務器id(整數),host為
八、Hadoop學習筆記————調優之Hive調優
需要 cnblogs log logs nbsp .cn 集中 bsp 9.png 表1表2的join和表3表4的join同時運行 此法需要關註是否有數據傾斜(大量數據集中在某一區間段) 八、Hadoop學習筆記————調優之Hive調優
十、Oracle學習筆記:基本查詢語句各子句用法
一、查詢語句的組成 select * from tname where 條件 group by colName having 條件 order by colName 這些子句的先後執行順序: 1):from 子句:內部從右往左,從後往前執行
二十一、Oracle學習筆記:編寫函式和觸發器
一、函式或過程的選擇 1.如果要進行DML(增刪改),選擇儲存過程 2.如果沒有DML,選擇函式 二、函式 1.格式 create or replace function 函式名(引數1 型別,引數2 型別, 。。。) return
七、Hadoop學習筆記————調優之Hadoop參數調優
node 參數 受限 .com 資源 mage 預留空間 嘗試 nod dfs.datanode.handler.count默認為3,大集群可以調整為10 傳統MapReduce和yarn對比 如果服務器物理內存128G,則容器內存建議為100比較合理 配置總
四巨頭第十二周作業學習筆記
行為 一定的 tro 監控數據庫 和數 數據庫系統 自動 廣泛 通過 說明: 數據庫安全性概述:數據庫的安全性是指保護數據庫以防止不合法使用所造成的數據泄露、更改或者破壞。 數據庫的不安全因素:1、非授權用戶對數據庫的惡意存取和破壞2、數據庫中重要或者敏感
三十二、python學習之Flask框架(四)模板:jinja2模板、過濾器、模板複用(繼承、巨集、包含)、瞭解CSRF跨站請求攻擊
一、jinja2模板引擎的簡介: 1.模板: 1.1檢視函式的兩個作用: 處理業務邏輯; 返回響應內容; 1.3 什麼是模板: 模板其實是一個包含響應文字的檔案,不是特指的html檔案,其中用佔位符(變數)表示動態部分,告訴模板引擎其具體的
四十二、python學習之Django框架(二):類檢視與中介軟體
五、類檢視: 1.類檢視引入: 以函式的方式定義的檢視成為函式檢視,即我們常說的檢視函式. 但是, 檢視函式遭遇不同的請求方法(如get和post),並且需要做不同的處理時,我們如果在一個函式中編寫不同的業務邏輯,程式碼可讀性和複用性都不好. 例如:
十二、python學習之python高階二(property、魔法方法和魔法屬性、多繼承和多重繼承、閉包和裝飾器)
一、property: 1.get/set方法: 1.1 隱藏實現細節:在使用物件時,儘量不要讓使用者直接操作物件中的屬性,這樣會帶來安全隱患。改進辦法,使用私有屬性。 1.2 提供精確的訪問控制:學習過 set/get方法,是專門來為類的私有屬性提供訪問介面。 1.
hadoop學習筆記-hive安裝及操作
軟體下載: Mysql: Hive: 安裝環境: OS:Oracle redhad 5.6 x86 64bit Hadoop: hadoop-0.20.2 Mysql:mysql-5.5.24 Hive:hive-0.8.1 1. 安裝mysql -
2、Git學習筆記--Git基本介紹
一、版本控制介紹1、版本控制系統的概念版本控制是一種記錄一個或若干檔案內容變化,以便將來查閱特定版本修訂情況的系統。 實際上,可以對任何型別的檔案進行版本控制(例如寫作)。2、版本控制系統的型別(1)本地版本控制系統許多人習慣用複製整個專案目錄的方式來儲存不同的版本,或許還會
Hadoop學習筆記—1.基本介紹與環境配置
一、Hadoop的發展歷史 說到Hadoop的起源,不得不說到一個傳奇的IT公司—全球IT技術的引領者Google。Google(自稱)為雲端計算概念的提出者,在自身多年的搜尋引擎業務中構建了突破性的GFS(Google File System),從此檔案系統進入分散式時代。除此之外,Google在
二、Go學習筆記:HelloWorld示例及工作目錄
瞭解GOPATH目錄下的目錄結構 ,對於初學者而言只需瞭解src就行。 |- WorkSpace |- src |- pkg |- bin 本系列學習筆記部分改編自Go語言中文網,其中的教程是翻譯自國外教程,其中有一些語句翻譯不通難以理解。故
十五、Oracle學習筆記:序列(用於表字段值自增)
一、序列 1.序列是資料庫中為資料表提供的可以自動生成的唯一數值, 通常用來給主鍵欄位賦值。可以遞增或者遞減。作為主鍵的欄位,通常不人為賦值,需要使用序列自動生成的值。 2.序列關鍵字 sequence 序列和表一樣,都是資料庫中的物件。通常序列為一張表提供主鍵值。
第十二天java學習筆記
1.集合 資料型別可以任意物件 集合可以進行增刪改查CRUDC 分為collection 和map collection可以只存一個值,是一個介面 collection col=new ArrayL
Hadoop學習筆記-MapReduce工作原理
本文從一個初學者的角度出發,用通俗易懂的語言介紹Hadoop中MapReduce的工作原理。在介紹MapReduce工作原理前,本文先介紹HDFS的工作原理及架構,再介紹MapReduce的工作原理以及Shuffle的過程。 HDFS HDFS是Hado
二十五、Hadoop學記筆記————Hive復習與深入
介紹 root creat mat 5.7 語法 路徑 文件復制 AS Hive主要為了簡化MapReduce流程,使非編程人員也能進行數據的梳理,即直接使用sql語句代替MapReduce程序 Hive建表的時候元數據(表明,字段信息等)存於關系型數據庫中,數據存於HDF
Java第十六天學習筆記(基本資料物件、集合框架)
基本資料物件 基本資料型別物件包裝類 * 為了方便操作基本資料型別值,將其封裝成了物件,在物件中定義了屬性和行為豐富了該資料的操作。 * 用