Hive 與 HDFS 之間的聯絡、Hive 與 關係型資料庫的區別
1 Hive 與 HDFS 之間的聯絡
(1)hive 是基於 Hadoop 的一個數據倉庫工具,可以將結構化的資料檔案對映為一張資料庫表,並提供完整的 sql 查詢功能,可以將 sql 語句轉換為 MapReduce 任務進行執行。其優點是學習成本低,可以通過類 SQL 語句快速實現簡單的 MapReduce 統計,不必開發專門的 MapReduce 應用,十分適合資料倉庫的統計分析。
(2)Hive 是建立在 Hadoop 上的資料倉庫基礎構架。它提供了一系列的工具,可以用來進行資料提取轉化載入(ETL),這是一種可以儲存、查詢和分析儲存在 Hadoop 中的大規模資料的機制。Hive 定義了簡單的類 SQL 查詢語言,稱為 HQL,它允許熟悉 SQL 的使用者查詢資料。同時,這個語言也允許熟悉 MapReduce 開發者的開發自定義的 mapper 和 reducer 來處理內建的 mapper 和 reducer 無法完成的複雜的分析工作。
2 Hive 與 關係型資料庫 的區別
使用 hive 的命令列介面,感覺很像操作關係資料庫,但是 hive 和關係資料庫還是有很大的不同,下面我就比較下 hive 與關係資料庫的區別,具體如下:
Hive 和關係資料庫儲存檔案的系統不同,Hive 使用的是 hadoop 的 HDFS(hadoop 的分散式檔案系統),關係資料庫則是伺服器本地的檔案系統;
hive 使用的計算模型是 mapreduce,而關係資料庫則是自己設計的計算模型;
關係資料庫都是為實時查詢的業務進行設計的,而 Hive 則是為海量資料做資料探勘設計的,實時性很差;實時性的區別導致 Hive 的應用場景和關係資料庫有很大的不同;
Hive 很容易擴充套件自己的儲存能力和計算能力,這個是繼承 hadoop 的,而關係資料庫在這個方面要比資料庫差很多。
以上都是從巨集觀的角度比較 Hive 和關係資料庫的區別。
3 參考資料
相關推薦
類與介面之間關係、介面與介面之間關係、面向物件三大特徵之多型
一、類與介面之間關係: 實現關係。 1、類與介面要注意的事項: 1)重點內容非抽象類實現一個介面時,必須要把介面中所有方法全部實現。 2)抽象類實現一個介面時,可以實現也可以不實現介面中的 方法。 3)一個類可以實現多個介面 。 2、疑問: java為
Hive 與 HDFS 之間的聯絡、Hive 與 關係型資料庫的區別
1 Hive 與 HDFS 之間的聯絡 (1)hive 是基於 Hadoop 的一個數據倉庫工具,可以將結構化的資料檔案對映為一張資料庫表,並提供完整的 sql 查詢功能,可以將 sql 語句轉換為 MapReduce 任務進行執行。其優點是學習成本低,可以通
Hive簡介、什麼是Hive、為什麼使用Hive、Hive的特點、Hive架構圖、Hive基本組成、Hive與Hadoop的關係、Hive與傳統資料庫對比、Hive資料儲存
1.1 Hive簡介 1.1.1 什麼是Hive Hive是基於Hadoop的一個數據倉庫工具,可以將結構化的資料檔案對映為一張資料庫表,並提供類SQL查詢功能。 1.1.2 為什麼使用Hive Ø 直接使用hadoop所面
程序與執行緒的區別與聯絡、程序與執行緒的通訊方式.md
一、為什麼引入程序? 程序是為了提高CPU的執行效率,減少因為程式等待帶來的CPU空轉以及其他計算機軟硬體資源的浪費而提出來的。 二、為什麼引入執行緒? 為了減少程序切換和建立的開銷,提高執行效率和節省
關於數理統計學及其與概率論之間聯絡的一些理解
作為一名非統計學科班出身的同學,之前只學習過浙大《概率論與數理統計》一書,當時只在意那些公式、理論,應付考試,甚至不知道書中講述了兩門學科的知識:數理統計學、概率論,更不明白二者之間有何關係,直到最近拜讀了陳希孺先生的《數理統計學教程》,這才開始有一些理解,於是打
linux vim與terminal之間複製、貼上
Terminal用Ctrl+Insert將內容複製到該貼上板, Vim用Shift+Insert貼上(正常模式、輸入模式,或搜尋模式均可)。 Vim中選定要複製內容後,用Ctrl+Insert(用
MVC框架(二)----前端與後端MVC、MVVM等設計模式區別與聯絡
上篇文章中提到了前端的框架分類,其中前端JS框架中有些是MVC設計模式,但是java和dotNET平臺也有自己的MVC也有自己的設計模式,這兩類有什麼區別呢,好多猿們甚是不解,旁徵博引
windows 與Linux之間的上傳與下載 (xftp 安裝,rz.sz安裝)
sar 為什麽 我們 log download blog 也會 技術 xftp 第一步:確認是否已經安裝ftp軟件:which vsftpd service vsftpd status //查看ftp服務器狀態 service vsftpd start //啟
python全棧開發基礎【第二十四篇】(利用threading模塊開線程、join與守護線程、GIL與Lock)
roc print 例子 線程 -- elf 定期 listen cti 一多線程的概念介紹 threading模塊介紹 threading模塊和multiprocessing模塊在使用層面,有很大的相似性。 二、開啟多線程的兩種方式 創建線程的開銷比創建進程的開銷小,
linux與window之間的上傳與下載
服務 too -c ear grep div lin lena spa linux系統 root權限 ①. 安裝 編譯安裝 root 賬號登陸後,依次執行以下命令: tar zxvf lrzsz-0.12.20.tar.gz cd lrzsz-0.1
cookie與session;sessionStorage、globalStorage與localStorage
一. cookie與session 存在的原因: http是無狀態的協議,客戶端每次傳送請求都會重新驗證身份 為了在一次會話中便於驗證客戶端身份,服務端採取了cookie機制 實現方法是伺服器返回Set-Cookie的HTTP頭資訊並由客戶端儲存,之後客戶端
mysql備份與還原-mysqldump備份、mysql與source還原
註釋 命令 數據庫備份 event sin 提交 mas 數據庫 inno 以下都以在linux操作系統上的mysql為例 mysqldump備份 mysqldump實際就是將數據庫中的數據轉化為建庫、建表和插入記錄的sql語句 1.備份一個數據庫 [或其中幾個表],不指定
【陌上軒客】技術領域:涉獵Java、Go、Python、Groovy 等語言,高效能、高併發、高可用、非同步與訊息中介軟體、快取與資料庫、分散式與微服務、容器和自動化等領域; 興趣愛好:籃球,騎行,讀書,發呆; 職業規劃:勵志成為一名出色的伺服器端系統架構師。
陌上軒客 技術領域:涉獵Java、Go、Python、Groovy 等語言,高效能、高併發、高可用、非同步與訊息中介軟體、快取與資料庫、分散式與微服務、容器和自動化等領域; 興趣愛好:籃球,騎行,讀書,發呆; 職業...
資料結構與演算法12-樹、森林與二叉樹的轉換
樹和森林的二叉樹轉換 對於樹來說,在滿足樹的條件下可以是任意開頭,一個結點可以有任意多個孩子,顯然對樹的處理要複雜得多,去研究關於樹的性質和演算法,真的不容易。有沒有簡單的方法來處理樹呢?當然有啦~ 前面我們提到過的樹的孩子兄弟法可以將一棵樹用二叉連結串列進行儲存,所以藉助二叉連結串列,樹和
字元裝置驅動與塊裝置驅動、網路裝置驅動的區別
在Linux作業系統下有3類主要的裝置檔案型別:塊裝置、字元裝置和網路裝置。這種分類方法可以將控制輸入/輸出裝置的驅動程式與其他作業系統軟體分離開來。字元裝置是指存取時沒有快取的裝置。典型的字元裝置包括滑鼠、鍵盤、序列口等。字元裝置與塊裝置的主要區別是:在對字元裝置發出讀/
關係型資料庫和非關係型資料庫區別、oracle與mysql的區別
一、關係型資料庫 關係型資料庫,是指採用了關係模型來組織資料的資料庫。 關係模型是在1970年由IBM的研究員E.F.Codd博士首先提出的,在之後的幾十年中,關係模型的概念得到了充分的發展並逐漸成為主流資料庫結構的主流模型。 簡單來說,關係模型指的
SVN:客戶端與伺服器端安裝、配置與使用
SVN(SUBVERSION) 前言: SVN是Subversion的簡稱,是一個開放原始碼的版本控制系統,說得簡單一點SVN就是用於多個人共同開發同一個專案,共用資源的目的。類似的工具號有git(github是其應用)。 環境:ubuntu 16.4 客戶端:w
大資料(二十三)Hive【Hive三種啟動方式 、 HIVE Server2詳解 、 jdbc連結HIVE】
一:Hive的三種啟動方式 1, hive 命令列模式 進入hive安裝目錄,輸入bin/hive的執行程式,或者輸入 hive –service cli 用於linux平臺命令列查詢,查詢語句基本跟mysql查詢語句類似 2, hive
Java8 LocalDateTime獲取時間戳(毫秒/秒)、LocalDateTime與String互轉、Date與LocalDateTime互轉
本文目前提供:LocalDateTime獲取時間戳(毫秒/秒)、LocalDateTime與String互轉、Date與LocalDateTime互轉 文中都使用的時區都是東8區,也就是北京時間。這是為了防止伺服器設定時區錯誤時導致時間不對,如果您是其他時區,請自行修改
中間有跳板機,mac電腦如何與伺服器之間進行上傳與下載檔案
安裝zssh brew install zssh 上傳檔案 zssh登陸上跳板機 在跳板機上ssh到相應伺服器 在伺服器上cd至相應要放上傳檔案的目錄 rz -bye //在遠端伺服器的相應目錄上執行此命令,表示做好接