2. 程式人生 > >Spark SQL 筆記(19)——spark SQL 總結(2) DataFrame VS SQL

Spark SQL 筆記(19)——spark SQL 總結(2) DataFrame VS SQL

阿新 • • 發佈：2018-12-22

1 DataFrame

  • DataFrame = RDD + Schema
  • DataFrame is just a type alias for Dataset of Row
  • DataFrame over RDD : Catalyst optimization&schemas
  • DataFrame can handle : Text,JSON,Parquet,…
  • Both SQL and API Functions in DF still Catalyst optimized

2 Schema

https://spark.apache.org/docs/2.1.3/sql-programming-guide.html#interoperating-with-rdds

  • inferred
  • explicit

3 Loading & Saving Results

https://spark.apache.org/docs/2.1.3/sql-programming-guide.html#save-modes

4 SQL Function Coverage

SQL 覆蓋面

  • SQL 2003 support
  • Runs all 99 of TPC-DS benchmark queries
  • Subquery supports
  • vectorization

5 外部資料來源

https://spark-packages.org/

  • rdbms,need JDBC jars,
  • Parquet,Phoenix,csv,avro,…

相關推薦

Spark SQL 筆記(19)——spark SQL 總結(2) DataFrame VS SQL

1 DataFrame DataFrame = RDD + Schema DataFrame is just a type alias for Dataset of Row DataFrame ov

Spark SQL 筆記(18)——spark SQL 總結(1)

1 Spark SQl 使用場景 Ad-hoc querying of data in files Live SQL analytics over streaming data ETL capabilities alongside familiar SQL I

Spark SQL筆記整理（二）：DataFrame編程模型與操作案例

代碼 最重要的 ssi func nbu 產生 michael array image DataFrame原理與解析 Spark SQL和DataFrame 1、Spark SQL是Spark中的一個模塊，主要用於進行結構化數據的處理。它提供的最核心的編程抽象，就是Data

Spark SQL 筆記(4)——Spark SQL 介紹

1 Spark SQL 背景介紹 1.1 Hive 介紹 類似 sql 的 Hive QL 語言， sql -> mapreduce 改進： hive on tez，hive on spark, hive on mapreduce 1.2 Spark

Spark SQL 筆記(3)——Spark 環境搭建

1 local 模式 直接執行即可 2 Standalone 模式 和 Hadoop/HDFS 的架構類似 /home/hadoop/apps/spark-2.1.3-bin-2.6.0-cdh5.7.0/conf 2.1 spark-env.sh SPARK_MA

Spark SQL 筆記(16)—— Spark on YARN

1 Spark 的4種執行模式 不管使用壽命模式，Spark 應用程式的程式碼是不變的，只需要在提交的時候通過 --master引數來指定 Local,開發時使用 Standalone，Spark自帶的，如果一個叢集是 Standalone ,那麼就需要在多臺

Spark學習筆記：Spark Streaming與Spark SQL協同工作

Spark Streaming與Spark SQL協同工作 Spark Streaming可以和Spark Core，Spark SQL整合在一起使用，這也是它最強大的一個地方。 例項：實時統計搜尋次數大於3次的搜尋詞 package StreamingDemo i

Spark學習筆記(一)----spark運算元操作

1.前言 　　最近在幫公司瞭解大資料方面的技術，涉及到spark的相關內容，所以想寫個筆記記錄一下。目前用到的時spark2.1.0的版本，僅供學習參考。 2.正文 　　2.1spark官網運算元的分類 　　spark官網上面有對於運算元的描述，但是spark對於運算元的分類粒度較粗，大致為transform

Spark學習筆記4——spark執行機制

Spark架構及執行機制 Spark執行架構包括叢集資源管理器（Cluster Manager）、執行作業任務的工作節點（Worker Node）、每個應用的任務控制節點（Driver）和每個工作節點上負責具體任務的執行程序（Executor）。其中，叢集資源管理器可以是S

Spark學習筆記之-Spark遠端除錯

Spark遠端除錯 本例子介紹簡單介紹spark一種遠端除錯方法，使用的IDE是IntelliJ IDEA。 1、瞭解jvm一些引數屬性 -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,addres

【spark 學習筆記】Spark學習筆記精華（1）

好記性不如爛筆頭，順便就開始用手機練習打字了，也分享給感興趣的朋友學習下。 1.take可以檢視RDD中前面幾個元素，而且代價很小。 rdd.take(5) 2.可以用takeSample對資料

Spark SQL 筆記(2)——Spark 生態圈和 Hadoop 生態圈對比

1 Spark 產生的背景 1.1 MapReduce 的侷限性 程式碼繁瑣 只能夠支援map 和 reduce 方法； 執行效率低； 不適合多次迭代、互動式、流式的處理； 1.2 框架多樣化 批處理（離線）：MapReduce,H

Spark SQL 筆記(11)——實戰網站日誌分析（2）統計結果入庫

1 統計結果入庫 使用 DataFrame API 完成統計分析 使用 SQL API 完成統計分析 將結果寫入 MySQL 資料庫 1.1 調優點 分割槽欄位的資料型別的調整 https://

大資料實時計算Spark學習筆記（10）—— Spar SQL(2) -JDBC方式操作表

1 Spark SQL 的 JDBC 方式 POM 檔案新增依賴 <dependency> <groupId>mysql</groupId> <artifactId>mysql-connect

Spark SQL筆記整理（三）：加載保存功能與Spark SQL函數

code ren maven依賴 append 關聯 dfs 取值 struct nal 加載保存功能 數據加載（json文件、jdbc）與保存（json、jdbc） 測試代碼如下： package cn.xpleaf.bigdata.spark.scala.sql.p1

Spark SQL 筆記(5)—— Hive 到 Spark SQL（1）

1 SQLContext 1.1 Spark1.x 中Spark SQL 的入口點：SQLContext 參考連結 https://spark.apache.org/docs/1.6.1/sql-programming-guide.html#starting-point-sqlc

Spark SQL 筆記(1)—— Hive

1 大資料入門 學習 Hadoop ,Hive 的使用 學習 Spark DataFrame 和 DataSet 在 Spark 框架中的核心地位 2 Hive 2.1 hive 產生的背景 MapReduce 程式設計的不便性；

spark sql 內建配置（V2.2）

最近整理了一下spark SQL內建配。加粗配置項是對sparkSQL 調優效能影響比較大的項，小夥伴們按需酌情配置。後續會挑出一些通用調優配置，共大家參考。有不正確的地方，歡迎大家在留言區留言討論。  配置項 預設值 概述 spark.sql.optimi

Spark SQL效能調優(Spark2.3.2)

對於某些工作負載，可以通過在記憶體中快取資料或開啟一些實驗選項來提高效能。 1.在記憶體中快取資料 Spark SQL可以通過呼叫spark.catalog.cacheTable("tableName")或dataFrame.cache()使用記憶體中的列式格式來快取表。

Spark SQL 筆記(7)—— DataFrame API操作案例

1 測試資料 stu.txt 1|Anaa|111111|[email protected] 2|Bob|22222|[email protected] 3|Candy|333333