2. 程式人生 > >spark從入門到放棄三十二:Spark Sql(5)hive sql 簡述

spark從入門到放棄三十二:Spark Sql(5)hive sql 簡述

阿新 • • 發佈：2019-02-05

1 簡述

Spark Sql 支援對Hive 中儲存的資料進行讀寫。操作Hive中的資料時，可以建立HiveContext,而不是SqlContext.HiveContext 繼承自SqlContext,但是增加了在Hive元資料庫中查詢表，以及用HiveQl 語法編寫sql功能，除了sql方法之外還提供了hql方法，從而使用hive語法來編譯sql。
使用HiveContext ,可以執行Hive的大部分功能，包括建立表，往表裡匯入資料以及用Sql 語句查詢表中的資料，查詢出來的結果是一個Row 陣列。

2 儲存資料

Spark Sql 還允許將資料儲存到Hive 表中，呼叫DataFrame 的 saveAsTable 命令，即可將DataSet 中的資料儲存到Hive 表中，於registerTempTable 不同saveAsTable 是會將DataFrame 中的資料物化到Hive 表中的，而且還會在Hive元資料庫中建立表的元資料。
預設情況下SaveAsTable 會將一張Hive Manager Table ,也就是說，資料的位置都是由元資料庫中的資訊控制的。當ManagerTable 被刪除時，表中的資料也會一併被刪除。
RegisterTempTable 只是註冊一個臨時的表，只要Application 停止或者重啟了，那麼表就沒有了。而saveAsTable 石建立物理化的表，無論Application 是否重啟或者停止都會一直存在。

歡迎關注，更多福利

這裡寫圖片描述

相關推薦

spark從入門到放棄三十二:Spark Sql(5)hive sql 簡述

1 簡述 Spark Sql 支援對Hive 中儲存的資料進行讀寫。操作Hive中的資料時，可以建立HiveContext,而不是SqlContext.HiveContext 繼承自SqlContext,但是增加了在Hive元資料庫中查詢表，以及用Hi

VS2013/MFC程式設計入門之三十二（選單：VS2013選單資源詳解）

前面我們已經講完了所有的常用控制元件，本節開始為大家講解選單的概念及使用。        選單簡介        選單可以分為下拉式選單和彈出式選單。        下拉式選單一般在視窗標題欄下面顯示，大家還記得我們在VS2013/MFC程式設計入門之一（利用MFC

MyBatis從入門到精通(十二)：使用collection標籤實現巢狀查詢

最近在讀劉增輝老師所著的《MyBatis從入門到精通》一書，很有收穫，於是將自己學習的過程以部落格形式輸出，如有錯誤，歡迎指正，如幫助到你，不勝榮幸！ 本篇部落格主要講解使用collection標籤實現巢狀查詢的方法。 1. 需求升級 在上篇部落格中，我們實現了需求：根據使用者id查詢使用者資訊的同時獲取使用

spark從入門到放棄十二: 深度剖析寬依賴與窄依賴

文章地址：http://www.haha174.top/article/details/256658 根據hello world 的例子介紹一個什麼是寬依賴和窄依賴。 窄依賴：英文全名，Narrow Dependence.什麼樣的情況，叫做窄依賴呢？一

spark從入門到放棄三十三:Spark Sql(6)hive sql 案例 查詢分數大於80分的同學

DROP TABLE IF EXISTS student_info"); sqlContext.sql("CREATE TABLE IF NOT EXISTS student_info (name STRING ,age INT)"); System.out.println(

spark從入門到放棄一: worldcount-java

<properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <spark.vers

spark從入門到放棄 之 分散式執行jar包

scala程式碼如下： import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ /** * 統計字元出現

Python爬蟲從入門到放棄（十二）之 Scrapy框架的架構和原理

執行 持久 pip 下載 響應 .py example 數據模型 特殊 原文地址https://www.cnblogs.com/zhaof/p/7173397.html 這一篇文章主要是為了對scrapy框架的工作流程以及各個組件功能的介紹 Scrapy目前已經可以很好的在

spark從入門到放棄六: RDD 持久化原理

文章地址：http://www.haha174.top/article/details/252484 spark 中一個非常重要的功能特性就是可以將RDD 持久化到記憶體中。當對RDD進行持久化操作時，每個節點都會將自己操作的RDD的partition持久化

Spark從入門到精通三------scala版本的wordcount---java版本的wordcount----java-lambda版本的wordcount

交流QQ: 824203453 spark shell僅在測試和驗證我們的程式時使用的較多，在生產環境中，通常會在IDE中開發程式，然後打成jar包，然後提交到叢集，最常用的是建立一個Maven專案，利用Maven來管理jar包的依賴。 交流QQ:

Spark從入門到放棄---RDD

什麼是Spark？ 關於Spark具體的定義，大家可以去閱讀官網或者百度關於Spark的詞條，在此不再贅述。從一個野生程式猿的角度去理解，作為大資料時代的一個準王者，Spark是一款主流的高效能分散式計算大資料框架之一，和MapReduce，Hive，Flink等其他大資料框架一起支撐了大資料處理方案的一片

mysql 第三十二篇文章~並發導致的從庫延遲問題

efault nbsp 記錄 文章 定位 如果 增刪查改 mysql binlog 一 簡介:今天來聊聊周期性從庫延遲的問題 二 背景:近期每天的指定時間段,收到從庫延遲的報警,然後過一段時間恢復.由於從庫是提供讀服務的,所以需要解決 三 分析思路:

Spark學習之路 （十二）SparkCore的調優之資源調優JVM的基本架構

程序員 存儲 src ron 指示器 引用 double strong 功能 一、JVM的結構圖 1.1　Java內存結構 JVM內存結構主要有三大塊：堆內存、方法區和棧。 堆內存是JVM中最大的一塊由年輕代和老年代組成，而年輕代內存又被分成三部分，Eden空間、

Spark學習之路 （十二）SparkCore的調優之資源調優

限制 無法 數據 block 可能 executors 頻繁 通過 操作 摘抄自：https://tech.meituan.com/spark-tuning-basic.html 一、概述 在開發完Spark作業之後，就該為作業配置合適的資源了。Spark的資源參數，基

Spark視頻教程|Spark從入門到上手實戰

sparkSpark從入門到上手實戰網盤地址：https://pan.baidu.com/s/1uLUPAwsw8y7Ha1qWGjNx7A 密碼：m8l2備用地址（騰訊微雲）：https://share.weiyun.com/55RRnmc 密碼：8qywnp 課程是2017年錄制，還比較新，還是有學習的價

ElasticSearch最佳入門實踐（三十二）bulk api的奇特json格式與底層效能優化關係揭祕

1、bulk api奇特的json格式 {"action": {"meta"}}\n {"data"}\n {"action": {"meta"}}\n {"data"}\n 2、bulk中的每個操作都可能要轉發到不同的node的shard去執行 3、如果採用比較良好的js

從零開始之驅動發開、linux驅動（三十二、簡單方式的lcd的背光碟機動）

前面lcd章節我們知道了LCD的背光可以由兩種方式決定調節： 1.一種是I/O口直接輸出高低電平來控制背光的量滅，這種方式簡單，但不能調背光亮度。 2.另一種是採用PWM調節脈衝寬度的方式來控制背光，這種方式需要採用PWM驅動來實現，優點是可以調節螢幕亮度，節省電量。  

Spark從入門到精通（一）

什麼是Spark 大資料計算框架 離線批處理 大資料體系架構圖（Spark） Spark包含了大資料領域常見的各種計算框架：比如Spark Core用於離線計算，Spark SQL用於互動式查詢，Spark Streaming用於實時流式計算，Spark MLib用於機器學習，Spark

Java基礎系列（三十二）：斷言 + 日誌入門

斷言 在Java語言中，給出了3種處理系統錯誤的機制： 丟擲一個異常 日誌 使用斷言 那我們應該在什麼情況下去使用斷言呢？ 斷言失敗是致命的，不可恢復的錯誤 斷言失敗只用於開發和測試階段。

三十二、Vue-router入門