java實現SparkSQL之jdbc方式程式設計訪問hive資料庫
阿新 • • 發佈:2018-12-14
第一步: 新增maven依賴
<repositories> <repository> <id>scala-tools.org</id> <name>Scala-Tools Maven2 Repository</name> <url>http://scala-tools.org/repo-releases</url> </repository> </repositories> <dependencies> <dependency> <groupId>org.scala-lang</groupId> <artifactId>scala-library</artifactId> <version>${scala.version}</version> </dependency> <!--sparkSQL 依賴--> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.11</artifactId> <version>${spark.version}</version> </dependency> <!--hiveSQL 的依賴--> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-hive_2.11</artifactId> <version>${spark.version}</version> </dependency> <!--配置hive的依賴--> <dependency> <groupId>org.spark-project.hive</groupId> <artifactId>hive-jdbc</artifactId> <version>1.2.1.spark2</version> </dependency> </dependencies>
第二步: 測試程式碼
import java.sql.DriverManager /** * 通過JDBC的方式來訪問 */ object SparkSQLThriftServerApp { def main(args: Array[String]){ //配置連線資料庫 Class.forName("org.apache.hive.jdbc.HiveDriver") // url: beeline的訪問路徑 ip是你的伺服器的ip, username: 伺服器的使用者名稱 password: 伺服器登入密碼 val conn = DriverManager.getConnection("jdbc:hive2://ip:10000","username","password") val pstm = conn.prepareStatement("select name,password from ligh") val res = pstm.executeQuery() //遍歷資料 while (res.next()){ println("name: "+res.getString("name") + ", password: " +res.getString("password")) } //關閉資料來源 res.close() pstm.close() conn.close() } }
第三步: 測試結果 第四步: 注意事項 4.1 千萬不要忘了開啟thriftserver伺服器端,不然就會報一下錯誤:
Could not open client transport with JDBC Uri: jdbc:hive2://ip:10000: java.net.ConnectException: Connection refused (Connection refused)
4.2 如果你是阿里雲伺服器,一定不要忘了開啟安全組埠,如果你是自己本機搭建的虛擬機器,不要忘記關閉防火牆.
有時間就學習,每天進步一點點…