2. 程式人生 > >spark從入門到放棄三十三:Spark Sql(6)hive sql 案例 查詢分數大於80分的同學

spark從入門到放棄三十三:Spark Sql(6)hive sql 案例 查詢分數大於80分的同學

阿新 • • 發佈：2019-01-27
DROP TABLE IF EXISTS student_info"); sqlContext.sql("CREATE TABLE IF NOT EXISTS student_info (name STRING ,age INT)"); System.out.println("============================create table success"); //將學生的基本資訊匯入到StudentInfo 表 sqlContext.sql("LOAD DATA LOCAL INPATH '/data/hive/student_info/student_info.txt'
INTO TABLE student_info"); sqlContext.sql("DROP TABLE IF EXISTS student_scores"); sqlContext.sql("CREATE TABLE IF NOT EXISTS student_scores (name STRING ,score INT)"); //將學生的基本分數匯入到StudentInfo 表 sqlContext.sql("LOAD DATA LOCAL INPATH '/data/hive/student_info/student_scores.txt'
INTO TABLE student_scores"); //第二個功能接著將sql 返回的DataFrame 用於查詢 //執行sql 關聯兩張表查詢大於80分的學生 Dataset goodStudentDS=sqlContext.sql("SELECT ss.name ,s1.age,ss.score from student_info s1 JOIN student_scores ss ON s1.name=ss.name WHERE ss.score>=80"); //第三個功能，可以將 DataFrame 中的資料 理論上來說DataFrame 對應的RDD 資料 是ROW 即可 //將DataFrame 儲存到Hive 表中· // 接著將資料儲存到good_student_info 中 sqlContext.sql("
DROP TABLE IF EXISTS good_student_info"); System.out.println("create table success"); goodStudentDS.write().saveAsTable("good_student_info"); // 第四個功能 針對 good_student_info 表 直接建立 DataSet Dataset<Row> goodStudentDSRows=sqlContext.tables("good_student_info"); Row[] goodStudentRows=goodStudentDSRows.collect(); for (Row goodStudentRow:goodStudentRows){ System.out.println(goodStudentRow); } System.out.println(goodStudentRows); sc.close(); } }

相關推薦

spark從入門到放棄三十三:Spark Sql(6)hive sql 案例 查詢分數大於80分的同學

DROP TABLE IF EXISTS student_info"); sqlContext.sql("CREATE TABLE IF NOT EXISTS student_info (name STRING ,age INT)"); System.out.println(

用一條SQL語句查出每門課都大於80分的學生的姓名

src exist spa weight utf8 exists null ont http 用一條SQL語句查出每門課都大於80分的學生的姓名，數據表結構如下： 建表SQL如下： SET FOREIGN_KEY_CHECKS=0; -- --------------

spark從入門到放棄三十二:Spark Sql(5)hive sql 簡述

1 簡述 Spark Sql 支援對Hive 中儲存的資料進行讀寫。操作Hive中的資料時，可以建立HiveContext,而不是SqlContext.HiveContext 繼承自SqlContext,但是增加了在Hive元資料庫中查詢表，以及用Hi

spark從入門到放棄十二: 深度剖析寬依賴與窄依賴

文章地址：http://www.haha174.top/article/details/256658 根據hello world 的例子介紹一個什麼是寬依賴和窄依賴。 窄依賴：英文全名，Narrow Dependence.什麼樣的情況，叫做窄依賴呢？一

spark從入門到放棄一: worldcount-java

<properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <spark.vers

spark從入門到放棄 之 分散式執行jar包

scala程式碼如下： import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ /** * 統計字元出現

spark從入門到放棄六: RDD 持久化原理

文章地址：http://www.haha174.top/article/details/252484 spark 中一個非常重要的功能特性就是可以將RDD 持久化到記憶體中。當對RDD進行持久化操作時，每個節點都會將自己操作的RDD的partition持久化

Spark從入門到精通三------scala版本的wordcount---java版本的wordcount----java-lambda版本的wordcount

交流QQ: 824203453 spark shell僅在測試和驗證我們的程式時使用的較多，在生產環境中，通常會在IDE中開發程式，然後打成jar包，然後提交到叢集，最常用的是建立一個Maven專案，利用Maven來管理jar包的依賴。 交流QQ:

Spark從入門到放棄---RDD

什麼是Spark？ 關於Spark具體的定義，大家可以去閱讀官網或者百度關於Spark的詞條，在此不再贅述。從一個野生程式猿的角度去理解，作為大資料時代的一個準王者，Spark是一款主流的高效能分散式計算大資料框架之一，和MapReduce，Hive，Flink等其他大資料框架一起支撐了大資料處理方案的一片

Spark視頻教程|Spark從入門到上手實戰

sparkSpark從入門到上手實戰網盤地址：https://pan.baidu.com/s/1uLUPAwsw8y7Ha1qWGjNx7A 密碼：m8l2備用地址（騰訊微雲）：https://share.weiyun.com/55RRnmc 密碼：8qywnp 課程是2017年錄制，還比較新，還是有學習的價

Spark從入門到精通（一）

什麼是Spark 大資料計算框架 離線批處理 大資料體系架構圖（Spark） Spark包含了大資料領域常見的各種計算框架：比如Spark Core用於離線計算，Spark SQL用於互動式查詢，Spark Streaming用於實時流式計算，Spark MLib用於機器學習，Spark

Spark從入門到精通六------RDD的運算元

RDD程式設計API RDD運算元 運算元是RDD中定義的方法，分為轉換(transformantion)和動作(action)。Tranformation運算元並不會觸發Spark提交作業，直至Action運算元才提交任務執行，這是一個延遲計算的設計技巧，

Spark從入門到精通五----RDD的產生背景---建立方式及分割槽說明

交流QQ: 824203453 彈性分散式資料集RDD RDD概述 產生背景 為了解決開發人員能在大規模的叢集中以一種容錯的方式進行記憶體計算，提出了RDD的概念，而當前的很多框架對迭代式演算法場景與互動性資料探勘場景的處理效能非常

Spark基礎入門（三）--------作業執行方式

（一）SparkContext 代表對叢集的一個連線 驅動程式通過sparkContext連線spark叢集 每個JVM只允許啟動一個SparkContext，一個sparkContext連線代表一個application，每個application中可能有多個job（jo

spark學習記錄（三、spark叢集搭建）

一、安裝spark 1.上傳壓縮包並解壓 2.在conf目錄下配置slaves cp slaves.template slaves //在master機上配置worker節點 hadoop2 hadoop3 3.配置spark-env.sh cp spark-env.sh.t

MyBatis從入門到精通(十三)：使用discriminator鑑別器對映

最近在讀劉增輝老師所著的《MyBatis從入門到精通》一書，很有收穫，於是將自己學習的過程以部落格形式輸出，如有錯誤，歡迎指正，如幫助到你，不勝榮幸！ 本篇部落格主要講解鑑別器對映discriminator標籤的簡單用法。 1. 明確需求 在設計之初，sys_role表的enabled欄位有2個可選值，其中1

Spark學習筆記（三）-Spark Streaming

Spark Streaming支援實時資料流的可擴充套件（scalable）、高吞吐（high-throughput）、容錯（fault-tolerant）的流處理（stream processing）。               &n

Python程式設計：從入門到實踐（課後習題6）

# 6-1 人 name = { 'first_name': 'lili', 'last_name': 'zhang', 'age': 18, 'city': 'guangzhou' } print(name['first_name'] + ', ' + na

Presto-SQL與Hive-SQL區別與聯絡

一、前言     Presto使用ANSI SQL語法和語義，而Hive使用類似SQL的語言，稱為HiveQL，它在MySQL（它本身與ANSI SQL有很多不同）之後進行了鬆散的建模。     二、使用下標來訪問陣列的動態索引而不

案例2：用一條SQL查詢出數學語文成績都大於80分的學生姓名?

方法1： 查出科目成績有小於80分的學生姓名，再約束並去重學生不等於查出來的姓名 select distinct A.name from t_score A where A.name not in(select distinct B.name from t_score B where B.fenshu &