1. 程式人生 > >java實現SparkSQL之jdbc方式程式設計訪問hive資料庫

java實現SparkSQL之jdbc方式程式設計訪問hive資料庫

第一步: 新增maven依賴

 <repositories>
     <repository>
       <id>scala-tools.org</id>
       <name>Scala-Tools Maven2 Repository</name>
       <url>http://scala-tools.org/repo-releases</url>
     </repository>
   </repositories>
   
   <dependencies>
     <dependency>
       <groupId>org.scala-lang</groupId>
       <artifactId>scala-library</artifactId>
       <version>${scala.version}</version>
     </dependency>
     <!--sparkSQL 依賴-->
     <dependency>
       <groupId>org.apache.spark</groupId>
       <artifactId>spark-sql_2.11</artifactId>
       <version>${spark.version}</version>
     </dependency>
     <!--hiveSQL 的依賴-->
     <dependency>
       <groupId>org.apache.spark</groupId>
       <artifactId>spark-hive_2.11</artifactId>
       <version>${spark.version}</version>
     </dependency>
     <!--配置hive的依賴-->
     <dependency>
       <groupId>org.spark-project.hive</groupId>
       <artifactId>hive-jdbc</artifactId>
       <version>1.2.1.spark2</version>
     </dependency>
   </dependencies>

第二步: 測試程式碼

import java.sql.DriverManager
/**
  *  通過JDBC的方式來訪問
  */
object SparkSQLThriftServerApp {

  def main(args: Array[String]){
      
    //配置連線資料庫
    Class.forName("org.apache.hive.jdbc.HiveDriver")
    // url: beeline的訪問路徑 ip是你的伺服器的ip, username: 伺服器的使用者名稱 password: 伺服器登入密碼
    val conn = DriverManager.getConnection("jdbc:hive2://ip:10000","username","password")
    val pstm = conn.prepareStatement("select name,password from ligh")
    val res = pstm.executeQuery()
    //遍歷資料
    while (res.next()){
      println("name: "+res.getString("name") + ", password: " +res.getString("password"))
    }
    //關閉資料來源
    res.close()
    pstm.close()
    conn.close()
  }
}

第三步: 測試結果 在這裡插入圖片描述 第四步: 注意事項 4.1 千萬不要忘了開啟thriftserver伺服器端,不然就會報一下錯誤:

Could not open client transport with JDBC Uri: jdbc:hive2://ip:10000: java.net.ConnectException: Connection refused (Connection refused)

4.2 如果你是阿里雲伺服器,一定不要忘了開啟安全組埠,如果你是自己本機搭建的虛擬機器,不要忘記關閉防火牆.

有時間就學習,每天進步一點點…