1. 程式人生 > >sparkSQL本地單機版測試配置

sparkSQL本地單機版測試配置

配置SparkConfig,並採用直連方式搜尋資料來源中所有資料表格並且建立檢視,不這樣做的話,每一次查詢之前都必須將要查詢的表建立試圖才能找到(目前認為Spark不會自動遍歷資料來源中的表格並且自動createTempView),程式碼如下

package object learn {

  val driver = "com.mysql.jdbc.Driver"
var conn: Connection = _

  val mysqlUrl = "jdbc:mysql://localhost:3306/sparkSql_test"
val mysqlUser = "root"
val mysqlPwd 
= "root" val conf = new SparkConf() .set("spark.cassandra.connection.host", "10.1.1.21") .set("spark.cassandra.auth.username", "cassandra") .set("spark.cassandra.auth.password", "cassandra") .set("spark.jdbc.driver.class", "com.mysql.jdbc.Driver") .set("spark.jdbc.connection.url", "jdbc:mysql://localhost:3306/sparkSql_test"
) .set("spark.jdbc.auth.username", "root") .set("spark.jdbc.auth.password", "root") .set("spark.sql.crossJoin.enabled", "true") .setMaster("local[2]") .setAppName("Cassandra Mysql Examples") var sc: SparkContext = _ def getSparkContext = if (sc != null) sc else new SparkContext(conf
) def getStreamContext = new StreamingContext(new SparkContext(conf), Seconds(5)) def getSparkSession = SparkSession .builder() .config(conf) .enableHiveSupport() .getOrCreate() val CASSANDRA_FORMAT = "org.apache.spark.sql.cassandra" val MYSQL_FORMAT = "jdbc" def cassandraOptions(keyspace: String, table: String) = Map("keyspace" -> keyspace, "table" -> table) def mysqlOptions(table: String): Map[String, String] = { Map("url" -> mysqlUrl, "driver" -> driver, "dbtable" -> table, "user" -> mysqlUser, "password" -> mysqlPwd) } /** * 掃面Cassandra表並註冊 */ def registerCassandraTables: Unit = { val list = new LinkedList[String] var cluster = Cluster.builder.addContactPoints("10.1.1.21").withPort(9042) .withCredentials("cassandra", "cassandra").build var session = cluster.connect session.getCluster.getMetadata.getKeyspace("qiandw_test").getTables.forEach(new Consumer[TableMetadata] { override def accept(t: TableMetadata): Unit = { list.add(t.getName) } }) import scala.collection.JavaConverters._ list.asScala.foreach(t => getSparkSession.read.format(CASSANDRA_FORMAT).options(cassandraOptions("qiandw_test", t)).load().createOrReplaceTempView(t)) } /** * 掃面Mysql表並註冊 */ def registerMySqlTables: Unit = { var ss = getSparkSession Class.forName(driver) conn = DriverManager.getConnection(mysqlUrl, mysqlUser, mysqlPwd) var statement = conn.createStatement() var sql = "show tables;" var rs = statement.executeQuery(sql) while (rs.next()) { val tableName = rs.getString("Tables_in_huangjinxin") ss.read.format(MYSQL_FORMAT).options(mysqlOptions(tableName)).load().createOrReplaceTempView(tableName) } } }

相關推薦

sparkSQL本地單機測試配置

配置SparkConfig,並採用直連方式搜尋資料來源中所有資料表格並且建立檢視,不這樣做的話,每一次查詢之前都必須將要查詢的表建立試圖才能找到(目前認為Spark不會自動遍歷資料來源中的表格並且自動

MAC 單機測試

mcafee mac 今天在項目中,用到了mac,這裏的mac不是蘋果公司的mac,而是應用程序白名單。安裝軟件這裏就不贅述了,傻瓜式安裝,最主要是這東西需要lisence,沒有lisence安裝也是無用,所以此篇就是純文字解釋了。在mac安裝好之後,用管理員方式打開打開桌面快捷方式,進入到mac的安裝

Hadoop單機安裝配置

大數據 Hadoop [toc] Hadoop單機版安裝配置 前言 Hadoop單機版本的環境搭建比較簡單,這裏總結一下。 Centos基本配置 網絡配置 IPADDR=192.168.43.101 NETMASK=255.255.255.0 GATEWAY=192.168.43.2 DNS1=202

java實現kafka單機測試

這哥們的文章寫的很好,http://my.oschina.net/ielts0909/blog/93190   學習kafka可以讀一讀 我的系統是centos7(64位) java環境是: kafka安裝目錄: 需要修改config目錄下的server.propert

部署Redis4.x單機配置RDB和AOF持久化

一、環境及軟體 OS   soft version  CentOS 7.5   redis-4.0.12(目前是4.x最新) 二、下載及編譯Redis [[email prot

HBase1.2.0 windows單機安裝配置

1、首先從官網上下載HBase1.2.0安裝包 http://archive.apache.org/dist/hbase/ 2、解壓到指定目錄 3、修改conf/hbase-env.cmd set HBASE_MANAGES_ZK=true set H

Spark 1.6.2 單機安裝配置

本文將介紹Apache Spark 1.6.2在單機的部署,與在叢集中部署的步驟基本一致,只是少了一些master和slave檔案的配置。直接安裝scala與Spark就可以在單機使用,但如果用到hdfs系統的話hadoop和jdk也要配置,建議全部安裝配置好。

Zookeeper(五):單機測試、叢集測試、建立根節點

我們已經搭建好了zookeeper的單機版、偽叢集版、叢集版,現在啟動客戶端連上zkServer進行測試一、單機版測試1.1、命令測試連線上zookeeper的server:zkCli.sh -server 192.168.133.149:2180# 連線zookeeper單

kafka+zookeeper環境配置(linux環境單機

producer lai ror detail gin prop tex wget start 版本: CentOS-6.5-x86_64 zookeeper-3.4.6 kafka_2.10-0.10.1.0 一.zookeeper下載與安裝 1)下載 $ wge

【Spark筆記】Windows10 本地搭建單機Spark開發環境

語句 spl 嘗試 spa efi 下載界面 RR 是否 錯誤 0x00 環境及軟件 1、系統環境 OS:Windows10_x64 專業版 2、所需軟件或工具 JDK1.8.0_131 spark-2.3.0-bin-hadoop2.7.tgz hadoop-2.8

Java連線單機solr測試程式碼之solrJ的運用

1、首先確保solr伺服器已開啟,本地通過http://ip:埠號/solr可以訪問到 2、pom.xml中引用solrJ.jar包 <properties> <solrj.version>4.10.3</solrj.version&

windows本地安裝redis單機和叢集配置

1、下載redis地址:https://github.com/dmajkic/redis/downloads         直接解壓選擇32或者64位,重新命名即可   2、啟動服務:      cmd進入根目錄執行redis-server.exe redis.conf   //啟動正常能看到redis操作

redis單機安裝+測試+專案運用

【簡介】 Redis是一個開源的使用ANSI C語言編寫、支援網路、可基於記憶體亦可持久化的日誌型、Key-Value資料庫,並提供多種語言的API。     應用場景:前臺有一部分內容經常被大量多次的訪問的情況下就有必要使用redis了     優點:減少了對資料的訪問,

Redis單機安裝與配置

1,採用tar命令,解壓redis到指定目錄。 具體命令為 tar -xzvf redis-3.2.5.tar.gz -C ./ -C 指定解壓到目錄 2.進入redis目錄,將redis安裝到指定目錄。使用make PREFIX=/usr/local/redis i

win7 Redis 單機配置

開發環境:win7x64 redis官網只提供linux的下載 (redis官網https://redis.io) 去微軟的github下載win系統對應版本https://github.com/MicrosoftArchive/redis/releases下載對應版本 此

CentOS7.5 redis 單機安裝與配置

一、環境準備: CentOS Linux release 7.5.1804 (Core) redis-4.0.10 wget http://download.redis.io/releases/redis-4.0.10.tar.gz 2、解壓到*opt* 目

【Linux環境搭建】——Centos7下安裝配置單機RabbitMQ

前提準備好yum和wget環境說明系統 Centos7RabbitMQ版本 :rabbitmq-server-3.7.6-1.el7.noarch.rpm安裝Erlang因為RabbitMQ使用Erla

RocketMQ-單機安裝及遠端連線測試

安裝需要 jdk 1.8 centos 7 rocketmq 4.2.0 因為我是在阿里雲ECS上安裝的,所以centos就不用說了,jdk的安裝,如果沒有安裝可以看這篇文章:CentOS配置JAVA_HOME,下面就開始正式的安裝過程了。 安

Centos7 單機zookeeper安裝 ----以及叢集配置說明

1.到官網下載zookeeper穩定版本 2.上傳到linux系統 3.解壓tar.gz型別的檔案 [[email protected] ~]# cd /usr/local/packages/ [[email protected] packa

Hbase 單機的安裝配置

1 去conf目錄修改hbase-site.xml <configuration> <property> <name>hbase.rootdir</name> <value>hdfs://loc