Spark查詢某個IP的歸屬地，二分演算法，try{}catch{}的使用，將結果存MySQL資料庫

阿新 • • 發佈：2019-02-05

1、建立Maven工程

2、編寫Pom檔案

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion> 
4.0.0</modelVersion>

    <groupId>cn.toto.spark</groupId>
    <artifactId>bigdata</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.source>1.7</maven.compiler.source>
        <maven.compiler.target>1.7</maven.compiler.target 
>
        <encoding>UTF-8</encoding>
        <scala.version>2.10.6</scala.version>
        <spark.version>1.6.2</spark.version>
        <hadoop.version>2.6.4</hadoop.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId 
>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>${scala.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.10</artifactId>
            <version>${spark.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop.version}</version>
        </dependency>

        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.38</version>
        </dependency>
    </dependencies>

    <build>
        <sourceDirectory>src/main/scala</sourceDirectory>
        <testSourceDirectory>src/test/scala</testSourceDirectory>
        <plugins>
            <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <version>3.2.2</version>
                <executions>
                    <execution>
                        <goals>
                            <goal>compile</goal>
                            <goal>testCompile</goal>
                        </goals>
                        <configuration>
                            <args>
                                <arg>-make:transitive</arg>
                                <arg>-dependencyfile</arg>
                                <arg>${project.build.directory}/.scala_dependencies</arg>
                            </args>
                        </configuration>
                    </execution>
                </executions>
            </plugin>

            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>2.4.3</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <filters>
                                <filter>
                                    <artifact>*:*</artifact>
                                    <excludes>
                                        <exclude>META-INF/*.SF</exclude>
                                        <exclude>META-INF/*.DSA</exclude>
                                        <exclude>META-INF/*.RSA</exclude>
                                    </excludes>
                                </filter>
                            </filters>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>

</project>

3、準備要處理的檔案

其中ip資訊的檔案（ip.txt）如下：
這裡寫圖片描述

1.0.1.0|1.0.3.255|16777472|16778239|亞洲|中國|福建|福州||電信|350100|China|CN|119.306239|26.075302
1.0.8.0|1.0.15.255|16779264|16781311|亞洲|中國|廣東|廣州||電信|440100|China|CN|113.280637|23.125178
1.0.32.0|1.0.63.255|16785408|16793599|亞洲|中國|廣東|廣州||電信|440100|China|CN|113.280637|23.125178
1.1.0.0|1.1.0.255|16842752|16843007|亞洲|中國|福建|福州||電信|350100|China|CN|119.306239|26.075302
1.1.2.0|1.1.7.255|16843264|16844799|亞洲|中國|福建|福州||電信|350100|China|CN|119.306239|26.075302
1.1.8.0|1.1.63.255|16844800|16859135|亞洲|中國|廣東|廣州||電信|440100|China|CN|113.280637|23.125178
1.2.0.0|1.2.1.255|16908288|16908799|亞洲|中國|福建|福州||電信|350100|China|CN|119.306239|26.075302

資料訪問檔案（access.log）如下：**
這裡寫圖片描述

20090121000132095572000|125.213.100.123|show.51.com|/shoplist.php?phpfile=shoplist2.php&style=1&sex=137|Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; Mozilla/4.0(Compatible Mozilla/4.0(Compatible-EmbeddedWB 14.59 http://bsalsa.com/ EmbeddedWB- 14.59  from: http://bsalsa.com/ )|http://show.51.com/main.php|
20090121000132124542000|117.101.215.133|www.jiayuan.com|/19245971|Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; TencentTraveler 4.0)|http://photo.jiayuan.com/index.php?uidhash=d1c3b69e9b8355a5204474c749fb76ef|__tkist=0; myloc=50%7C5008; myage=2009; PROFILE=14469674%3A%E8%8B%A6%E6%B6%A9%E5%92%96%E5%95%A1%3Am%3Aphotos2.love21cn.com%2F45%2F1b%2F388111afac8195cc5d91ea286cdd%3A1%3A%3Ahttp%3A%2F%2Fimages.love21cn.com%2Fw4%2Fglobal%2Fi%2Fhykj_m.jpg; last_login_time=1232454068; SESSION_HASH=8176b100a84c9a095315f916d7fcbcf10021e3af; RAW_HASH=008a1bc48ff9ebafa3d5b4815edd04e9e7978050; COMMON_HASH=45388111afac8195cc5d91ea286cdd1b; pop_1232093956=1232468896968; pop_time=1232466715734; pop_1232245908=1232469069390; pop_1219903726=1232477601937; LOVESESSID=98b54794575bf547ea4b55e07efa2e9e; main_search:14469674=%7C%7C%7C00; registeruid=14469674; REG_URL_COOKIE=http%3A%2F%2Fphoto.jiayuan.com%2Fshowphoto.php%3Fuid_hash%3D0319bc5e33ba35755c30a9d88aaf46dc%26total%3D6%26p%3D5; click_count=0%2C3363619
20090121000132406516000|117.101.222.68|gg.xiaonei.com|/view.jsp?p=389|Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; CIBA)|http://home.xiaonei.com/Home.do?id=229670724|_r01_=1; __utma=204579609.31669176.1231940225.1232462740.1232467011.145; __utmz=204579609.1231940225.1.1.utmccn=(direct)
20090121000132581311000|115.120.36.118|tj.tt98.com|/tj.htm|Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; TheWorld)|http://www.tt98.com/|

4.獲取ip歸屬地資訊

package cn.toto.spark

import java.io.{BufferedReader, FileInputStream, InputStreamReader}

import scala.collection.mutable.ArrayBuffer

/**
  * Created by toto on 2017/7/8.
  * 查詢IP的歸屬地資訊
  */
object IPLocationDemo {

  def ip2Long(ip: String): Long = {
    val fragments = ip.split("[.]")
    var ipNum = 0L
    for (i <- 0 until fragments.length){
      ipNum =  fragments(i).toLong | ipNum << 8L
    }
    ipNum
  }

  def readData(path: String) = {
    val br = new BufferedReader(new InputStreamReader(new FileInputStream(path)))
    var s: String = null
    var flag = true
    val lines = new ArrayBuffer[String]()
    while (flag)
    {
      s = br.readLine()
      if (s != null)
        lines += s
      else
        flag = false
    }
    lines
  }

  def binarySearch(lines: ArrayBuffer[String], ip: Long) : Int = {
    var low = 0
    var high = lines.length - 1
    while (low <= high) {
      val middle = (low + high) / 2
      if ((ip >= lines(middle).split("\\|")(2).toLong) && (ip <= lines(middle).split("\\|")(3).toLong))
        return middle
      if (ip < lines(middle).split("\\|")(2).toLong)
        high = middle - 1
      else {
        low = middle + 1
      }
    }
    -1
  }

  /**
    * 執行後的結果是：
    * 2016917821
    * 120.55.0.0|120.55.255.255|2016870400|2016935935|亞洲|中國|浙江|杭州||阿里巴巴|330100|China|CN|120.153576|30.287459
    *
    * 要求2016917821       在 |2016870400|2016935935|  之間。
    * @param args
    */
  def main(args: Array[String]): Unit = {
    val ip = "120.55.185.61"
    val ipNum = ip2Long(ip)
    println(ipNum)
    val lines = readData("E:\\learnTempFolder\\ip.txt")
    val index = binarySearch(lines, ipNum)
    print(lines(index))
  }
}

執行結果：
這裡寫圖片描述

5.查詢IP歸屬地相關資訊，並將這些資訊儲存到MySQL資料庫中

程式碼如下：

package cn.toto.spark

import java.sql.{Connection, Date, DriverManager, PreparedStatement}

import org.apache.spark.{SparkConf, SparkContext}

/**
  * Created by toto on 2017/7/8.
  */
object IPLocation {

  val data2MySQL = (iterator: Iterator[(String, Int)]) => {
    var conn: Connection = null
    var ps : PreparedStatement = null
    val sql = "INSERT INTO location_info (location, counts, accesse_date) VALUES (?, ?, ?)"
    try {
      conn = DriverManager.getConnection("jdbc:mysql://192.168.106.100:3306/bigdata", "root", "123456")
      iterator.foreach(line => {
        ps = conn.prepareStatement(sql)
        ps.setString(1, line._1)
        ps.setInt(2, line._2)
        ps.setDate(3, new Date(System.currentTimeMillis()))
        ps.executeUpdate()
      })
    } catch {
      case e: Exception => println("Mysql Exception")
    } finally {
      if (ps != null)
        ps.close()
      if (conn != null)
        conn.close()
    }
  }

  def ip2Long(ip: String): Long = {
    val fragments = ip.split("[.]")
    var ipNum = 0L
    for (i <- 0 until fragments.length){
      ipNum =  fragments(i).toLong | ipNum << 8L
    }
    ipNum
  }

  def binarySearch(lines: Array[(String, String, String)], ip: Long) : Int = {
    var low = 0
    var high = lines.length - 1
    while (low <= high) {
      val middle = (low + high) / 2
      if ((ip >= lines(middle)._1.toLong) && (ip <= lines(middle)._2.toLong))
        return middle
      if (ip < lines(middle)._1.toLong)
        high = middle - 1
      else {
        low = middle + 1
      }
    }
    -1
  }

  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setMaster("local[2]").setAppName("IpLocation")
    val sc = new SparkContext(conf)

    val ipRulesRdd = sc.textFile("E://workspace//ip.txt").map(line =>{
      val fields = line.split("\\|")
      val start_num = fields(2)
      val end_num = fields(3)
      val province = fields(6)
      (start_num, end_num, province)
    })
    //全部的ip對映規則
    val ipRulesArrary = ipRulesRdd.collect()

    //廣播規則
    val ipRulesBroadcast = sc.broadcast(ipRulesArrary)

    //載入要處理的資料
    val ipsRDD = sc.textFile("E://workspace//access.log").map(line => {
      val fields = line.split("\\|")
      fields(1)
    })

    val result = ipsRDD.map(ip => {
      val ipNum = ip2Long(ip)
      val index = binarySearch(ipRulesBroadcast.value, ipNum)
      val info = ipRulesBroadcast.value(index)
      //(ip的起始Num， ip的結束Num，省份名)
      info
    }).map(t => (t._3, 1)).reduceByKey(_+_)

    //向MySQL寫入資料
    result.foreachPartition(data2MySQL(_))

    //println(result.collect().toBuffer)
    sc.stop()
  }
}

資料庫SQL：

CREATE DATABASE bigdata CHARACTER SET utf8;

USE bigdata;

CREATE TABLE location_info (
    id INT(10) AUTO_INCREMENT PRIMARY KEY,
    location VARCHAR(100),
    counts INT(10),
    accesse_date DATE
) ENGINE=INNODB DEFAULT CHARSET=utf8;

執行程式，執行結果後：
這裡寫圖片描述

Spark查詢某個IP的歸屬地，二分演算法，try{}catch{}的使用，將結果存MySQL資料庫

1、建立Maven工程 2、編寫Pom檔案 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0"

Spark中ip對映資料應用庫，二分查詢省份，將結果寫入mysql

def main(args: Array[String]): Unit = { val conf = new SparkConf() .setMaster("local") .setAppName(IpLocation3.getClass.getName) val sc =

python 利用淘寶IP庫查詢IP歸屬地

load com country cit djang lib highlight 淘寶 AR #coding:utf-8 from django.test import TestCase import json import urllib ip = "114.114.

go環境+ip本地庫統計ip歸屬地

go環境+ip本地庫統計ip歸屬地一、服務器環境介紹： dell服務器PowerEdge R420 [root@git-server ~]# cat /etc/redhat-release CentOS release 6.9 (Final) [root@git-server ~]# uname -a Li

大資料學習之路89-sparkSQL自定義函式計算ip歸屬地

使用sparkSQL當遇到業務邏輯相關的時候，就有可能會搞不定。因為業務l邏輯需要寫很多程式碼，呼叫很多介面。這個時候sql就搞不定了。那麼這個時候我們就會想能不能將業務邏輯嵌入到sql中？這種就類似於我們在hive中使用過的自定義函式UDF(user define function使用者

專案諮詢——用HttpClient查詢電話號碼歸屬地

** 第一種方法 ** public class MainActivity extends AppCompatActivity { private EditText input; private TextView info; private final int

Java-獲取當前IP歸屬地

知道IP,獲取當前IP歸屬地的Java程式： package Main; import java.io.BufferedReader; import java.io.DataOutputStream; import java.io.IOException; import java.i

Java專案開發心得（一）：利用Java技術實現查詢手機號碼歸屬地

鑑於最近專案涉及到查詢歸屬地的問題，今天在此做一下技術分享，如果有更好的建議，還請讀者大神指出。迴歸正題，關於手機號碼歸屬地，想要查詢的無非是執行商、省份、市之類的資

利用百度API查詢手機號歸屬地

利用百度Api查詢手機號歸屬地開啟網址可以看到好幾個號碼歸屬地的查詢，有些是收費的，有些免費，如果呼叫不是特別頻繁，需要的資訊量不是特別多的話，免費的就足夠了。我開始看的是第一個介面：http://apistore.baidu.com/apiworks/

Android使用HttpURLConnect、HttpClient訪問WebService查詢手機號碼歸屬地

本內容適合初學Android網路程式設計、XML解析的童鞋檢視，主要內容已添加註釋，所以只貼程式碼即可。效果圖： ①訪問網路、解析XML檔案工具類: WebServiceUtil.java package com.lee.webservicedemo2.util;

【什麽時候用try..catch，什麽時候用throw和throws】

bsp 什麽特效 class pre 進行 row 功能自己原則:如果該功能內部可以將問題處理,用 try,如果處理不了,交由調用者處理,這是用 throws 區別: 當前程序需要繼續運行就 try 當前程序不需要繼續運行就throws 舉例:

php 高效、非遞迴迴圈所有下級，並將結果存為一維陣列

1.取出所有資料 public function teammember($id){ $next = pdo_fetchall("select id,openid,agentid from ".tablename("ewei_shop_member")."

8皇后以及N皇后演算法探究，回溯演算法的JAVA實現，非遞迴，迴圈控制及其優化

研究了遞迴方法實現回溯，解決N皇后問題，下面我們來探討一下非遞迴方案實驗結果令人還是有些失望，原來非遞迴方案的效能並不比遞迴方案效能高程式碼如下： package com.newflypig.eightqueen; import java.util.Date; /**

8皇后以及N皇后演算法探究，回溯演算法的JAVA實現，非遞迴，資料結構“棧”實現

是使用遞迴方法實現回溯演算法的，在第一次使用二維矩陣的情況下，又做了一次改一維的優化但是演算法效率仍然差強人意，因為使用遞迴函式的緣故下面提供另一種回溯演算法的實現，使用資料結構”棧“來模擬，遞迴函式的手工實現，因為我們知道計算機在處理遞迴時的本質就是棧時間複雜度是一樣的，空間

8皇后以及N皇后演算法探究，回溯演算法的JAVA實現，遞迴方案（一）

八皇后問題，是一個古老而著名的問題，是回溯演算法的典型案例。該問題是國際西洋棋棋手馬克斯·貝瑟爾於1848年提出：在8×8格的國際象棋上擺放八個皇后，使其不能互相攻擊，即任意兩個皇后都不能處於同一行、同一列或同一斜線上，問有多少種擺法。高斯認為有76種方案。1854年在柏林的象棋雜誌

pvuv的程式碼開發及提交spark程式jar包執行讀取資料來源並將結果寫入MySQL中

目錄 PvUvToMysql類 ConnectionUtils類 jdbc.properties檔案在IDEA中打jar包的兩種方式 IDEA打jar包 IDEA中maven方式打jar包提交spark程式ja

Golang 處理錯誤，panic defer PK try catch 機制

go 語言使用 panic defer 機制處理錯誤，但可能你喜歡使用 try catch 機制。因此，需知道兩種機制之間的關係。演示程式碼如下： package main import ( "er

將eclipse和mysql資料庫編碼格式設定成同一編碼，但是使用JDBC插入資料到mysql資料庫依然出現亂碼問題的解決方法。

問題的詳細在通過JDBC插入資料到mysql資料庫的時候，出現了中文字元亂碼的問題，由於在建立mysql資料庫的時候設定的預設編碼方式為utf-8格式，所以理因在使用eclipse時也應該使用utf-8格式，所以我更改了eclipse的編碼方式為utf-8，由於預設的編碼是

8皇后以及N皇后演算法探究，回溯演算法的JAVASCRIPT實現，遞迴方案

java原文參考這位大神，他的部落格中有關於N皇后問題的極限演算法我只是搬運翻譯的js實現 console.log使用node.js到時候替換即可。 //定義陣列克隆方法 Array.prototype.clone = function(){ var a=

初識和利用Servlet，獲取和顯示頁面提交的資料以及對MySQL資料庫的簡單操作 7.04

Servlet：web伺服器端的程式設計技術。是繼承了javax.servlet.http.HttpServlet類的Java類。由支援servlet的web伺服器（tomcat）呼叫和啟動執行。一個

Spark查詢某個IP的歸屬地，二分演算法，try{}catch{}的使用，將結果存MySQL資料庫

1、建立Maven工程

2、編寫Pom檔案

3、準備要處理的檔案

4.獲取ip歸屬地資訊

5.查詢IP歸屬地相關資訊，並將這些資訊儲存到MySQL資料庫中

相關推薦