1. 程式人生 > >Spark SQL 支援絕大部分的 Hive 功能

Spark SQL 支援絕大部分的 Hive 功能

  • Hive 查詢語句, 包括 :

SELECT
GROUP BY
ORDER BY
CLUSTER BY
SORT BY

  • 所有的Hive運算子, 包括 :

關係運算符 (=, ⇔, ==, <>, <, >, >=, <=, etc)
算術運算子 (+, -, *, /, %, etc)
邏輯運算子 (AND, &&, OR, ||, etc)
複雜型別構造器 - 數學函式 (sign, ln, cos等)
String 函式 (instr, length, printf等)

  • 使用者自定義函式(UDF)
  • 使用者自定義聚合函式(UDAF)
  • 使用者自定義序列化格式(SerDes)
  • 視窗函式

  • Joins

JOIN
{LEFT|RIGHT|FULL} OUTER JOIN
LEFT SEMI JOIN - CROSS JOIN

  • Unions
  • 子查詢

SELECT col FROM ( SELECT a + b AS col from t1) t2

  • 取樣
  • Explain
  • 分割槽表,包括動態分割槽插入
  • 檢視
  • 所有 Hive DDL 功能, 包括 :

CREATE TABLE
CREATE TABLE AS SELECT
ALTER TABLE

  • 絕大多數Hive資料型別,包括

TINYINT
SMALLINT
INT
BIGINT
BOOLEAN
FLOAT
DOUBLE
STRING
BINARY
TIMESTAMP
DATE
ARRAY<>
MAP<>
STRUCT<>