2. 程式人生 > >SparkStreaming--小案例2對於爬蟲來的資料進行分析

SparkStreaming--小案例2對於爬蟲來的資料進行分析

阿新 • • 發佈：2018-12-27

請注意本部落格中程式碼頭和尾是固定模式，而lines是需要根據你的資料特點進行切分和整理的，我會附上我的一部分資料供參考，附在文件末尾。

1.統計某一時間段輸入資料出現次數（時間不斷更新）這不是爬蟲資料分析是一個熱身

package Test1226

import org.apache.spark.SparkConf
import org.apache.spark.streaming.{Seconds, StreamingContext}
//統計某一時間段資料出現次數（時間不斷更新）
object test01 {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("nwc").setMaster("local[2]")
    val ssc = new StreamingContext(conf, Seconds(5))
    ssc.sparkContext.setLogLevel("ERROR")
    ssc.checkpoint("d://123//12262")
    val lines = ssc.socketTextStream("lion", 2222)
    val words = lines.flatMap(_.split(" "))
    val pairs = words.map(word => (word, 1))
    val res = pairs.reduceByKeyAndWindow((a: Int, b: Int) => (a + b), Seconds(20), Seconds(10))
    res.print()
    ssc.start()
    ssc.awaitTermination()
    ssc.stop()
  }
}

2.統計哪個網站訪問量最多

package Test1226

import Test1225.Spider01.updateFunction
import org.apache.spark.SparkConf
import org.apache.spark.streaming.{Seconds, StreamingContext}

object test02 {
//  統計哪個網站訪問量最多
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("nwc").setMaster("local[2]")
    val ssc = new StreamingContext(conf, Seconds(5))
    ssc.sparkContext.setLogLevel("ERROR")
    ssc.checkpoint("d://123//122602")
    val lines = ssc.socketTextStream("lion", 2222)
    lines.map(x => x.split(" ")(6).split("\\?")(0)+" "+x.split(" ")(0)).map(x => (x,1)).reduceByKey(_+_)
      .map(x => x._1.split(" ")(0)).countByValue().map(x => (x._2,x._1))
      .transform(rdd => rdd.sortByKey(false)).map(x => (x._2,x._1))print()
    ssc.start()
    ssc.awaitTermination()
    ssc.stop()

  }
}

3.統計網站某模組訪問量降序排序

package Test1226

import org.apache.spark.SparkConf
import org.apache.spark.streaming.{Seconds, StreamingContext}

object test03 {
//  統計網站某模組訪問量降序排序
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("nwc").setMaster("local[2]")
    val ssc = new StreamingContext(conf, Seconds(5))
    ssc.sparkContext.setLogLevel("ERROR")
    ssc.checkpoint("d://123//122602")
    val lines = ssc.socketTextStream("lion", 3333)
    lines.map(x => (x.split(" ")(6).split("\\?")(0),x.split(" ")(9).toInt)).reduceByKey(_ + _)
        .map(x => (x._2,x._1)).transform(rdd => rdd.sortByKey(false)).map(x =>(x._2,x._1)).print()
    ssc.start()
    ssc.awaitTermination()
    ssc.stop()
  }
}

4.統計非200的報錯訪問量（200為正常訪問）

package Test1226

import org.apache.spark.SparkConf
import org.apache.spark.streaming.{Seconds, StreamingContext}

object test04 {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("nwc").setMaster("local[2]")
    val ssc = new StreamingContext(conf, Seconds(5))
    ssc.sparkContext.setLogLevel("ERROR")
    ssc.checkpoint("d://123//122602")
    val lines = ssc.socketTextStream("lion", 3333)
//    統計非200的報錯訪問量
    lines.filter(x => if(x.split(" ").length <= 8) false else true)
    lines.map(x => (x.split(" ")(6).split("\\?")(0)+" "+x.split(" ")(8),1))
      .filter(x => if(x._1.split(" ")(1)=="200")false else true).reduceByKey(_+_).print()

    ssc.start()
    ssc.awaitTermination()
    ssc.stop()
  }
}

5.統計ueragent的數量（最後一對雙引號中的內容）

package Test1226

import org.apache.spark.SparkConf
import org.apache.spark.streaming.{Seconds, StreamingContext}

object test05 {
//統計那個useragent數量
def main(args: Array[String]): Unit = {
  val conf = new SparkConf().setAppName("nwc").setMaster("local[2]")
  val ssc = new StreamingContext(conf, Seconds(5))
  ssc.sparkContext.setLogLevel("ERROR")
  ssc.checkpoint("d://123//122602")
  val lines = ssc.socketTextStream("lion", 3333)
  lines.map(_.split("\"")(5)).map((_,1)).reduceByKey(_+_).print()
  ssc.start()
  ssc.awaitTermination()
  ssc.stop()
}
}

6.統計前一分鐘的網站總訪問量

package Test1226

import org.apache.spark.SparkConf
import org.apache.spark.streaming.{Seconds, StreamingContext}

object test06 {
//統計前一分鐘的訪問量
def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("nwc").setMaster("local[2]")
    val ssc = new StreamingContext(conf, Seconds(5))
    ssc.sparkContext.setLogLevel("ERROR")
    ssc.checkpoint("d://123//12262")
    val lines = ssc.socketTextStream("lion", 2222)
    lines.window(Seconds(60)).count().print()
    ssc.start()
    ssc.awaitTermination()
    ssc.stop()
  }
}

所用部分資料：

120.197.87.216 - - [04/Jan/2012:00:00:02 +0800] "GET /home.php?mod=space&uid=563413&mobile=yes HTTP/1.1" 200 3388 "-" "-"
123.126.50.73 - - [04/Jan/2012:00:00:02 +0800] "GET /thread-679411-1-1.html HTTP/1.1" 200 5251 "-" "Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"
203.208.60.187 - - [04/Jan/2012:00:00:02 +0800] "GET /archiver/tid-3003.html HTTP/1.1" 200 2056 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
114.112.141.6 - - [04/Jan/2012:00:00:02 +0800] "GET /ctp080113.php?action=getgold HTTP/1.1" 200 13886 "-" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; InfoPath.3; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729)"
114.112.141.6 - - [04/Jan/2012:00:00:02 +0800] "GET /ctp080113.php?action=getmedal HTTP/1.1" 200 13882 "-" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; InfoPath.3; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729)"
110.6.179.88 - - [04/Jan/2012:00:00:02 +0800] "GET /forum.php?mod=attachment&aid=NTczNzU3fDFjNDdjZTgzfDEzMjI4NzgwMDV8MTMzOTc4MDB8MTEwMTcxMA%3D%3D&mobile=no HTTP/1.1" 200 172 "http://www.itpub.net/forum.php?mod=attachment&aid=NTczNzU3fDFjNDdjZTgzfDEzMjI4NzgwMDV8MTMzOTc4MDB8MTEwMTcxMA%3D%3D&mobile=yes" "Mozilla/5.0 (Linux; U; Android 2.2; zh-cn; ZTE-U V880 Build/FRF91) UC AppleWebKit/530+ (KHTML, like Gecko) Mobile Safari/530"
116.205.130.2 - - [04/Jan/2012:00:00:02 +0800] "GET /popwin_js.php?fid=6 HTTP/1.1" 200 32 "http://www.itpub.net/forum-6-1.html?ts=28" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0; QQDownload 702; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; AskTbPTV/5.11.3.15590; .NET4.0E)"
114.112.141.6 - - [04/Jan/2012:00:00:02 +0800] "GET /popwin_js.php?fid=133 HTTP/1.1" 200 11 "http://www.itpub.net/thread-1558574-3-9.html" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; InfoPath.3; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729)"
114.112.141.6 - - [04/Jan/2012:00:00:02 +0800] "GET /ctp080113.php?tid=1558574 HTTP/1.1" 200 5 "http://www.itpub.net/thread-1558574-3-9.html" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; InfoPath.3; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729)"
110.75.173.35 - - [04/Jan/2012:00:00:02 +0800] "GET /forum.php?goto=lastpost&mod=redirect&tid=1380214 HTTP/1.1" 302 5 "-" "Yahoo! Slurp China"
114.112.141.6 - - [04/Jan/2012:00:00:02 +0800] "GET /popwin_js.php?fid=133 HTTP/1.1" 200 11 "http://www.itpub.net/thread-1554759-4-10.html" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; InfoPath.3; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729)"
114.112.141.6 - - [04/Jan/2012:00:00:02 +0800] "GET /ctp080113.php?tid=1554759 HTTP/1.1" 200 5 "http://www.itpub.net/thread-1554759-4-10.html" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; InfoPath.3; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729)"
120.197.87.220 - - [04/Jan/2012:00:00:02 +0800] "GET /forum.php?mod=viewthread&tid=692703&extra=&page=2&mobile=yes HTTP/1.1" 200 4903 "-" "-"
 

 

 

 

 

 

 

 

 

 

 

 

相關推薦

SparkStreaming--小案例2對於爬蟲來的資料進行分析

請注意本部落格中程式碼頭和尾是固定模式，而lines是需要根據你的資料特點進行切分和整理的，我會附上我的一部分資料供參考，附在文件末尾。 1.統計某一時間段輸入資料出現次數（時間不斷更新）這不是爬蟲資料分析是一個熱身 package Test1226 import org.apache.s

mapreduce只用map來處理資料小案例，減少reduce一端資料傾斜

mapreduce一般是由map和reduce分工合作來完成任務，但有時map分割槽之後資料不一致導致資料傾斜，某一個reduce任務負載過大，執行速度減慢。本案例以map代替reduce的工作來解決資料傾斜問題。 原始碼如下： package MR_maps

學習react-簡單小案例(2)

har tel asc div content contain hello head 賦值 <html> <head> <title></title> <meta charset

繼承、方法重寫小案例2

1 package com.kehou.Animal; 2 3 /** 4 * 父類：動物類 5 * @author 6 * 7 */ 8 public abstract class Animal { 9 10 private String name; 11

C++遍歷日誌log目錄，並提取資料進行分析

1 前言 　　我們經常在編寫軟體的時候，需要載入log檔案來記錄程式執行過程中可能會出現的bug，或者記錄一些重要的執行資訊。一旦一個目錄下生成很多log檔案後，實際上我們管理與分析還是需要費一些時間

利用Python對QQ空間資料進行分析，瞭解你的QQ好友

對如下內容進行了分析: 好友發說說月份統計 好友所屬星座統計 好友手機裝置統計 好友發說說小時統計 對好友的好友進行統計 本人對於Python學習建立了一個小小的學習圈子，為各位提供了一個平臺，大家一起來討論學習Python。歡迎各位到來Python學習群：96041

Segment公司--整合資料進行分析

YC畢業生Segment獲得1500萬美元A輪融資        現在收集資料是每一個公司的必修課了，而且是從各種不同 API 上收集資料，但是你還要把這些資料整合起來才能發揮作用，Segment就能幫你整合各個平臺上的資料，並且迅速做出分析。現在 Segment 已經可

Python爬取雙色球資料進行分析

突發奇想，是否可以從雙色球的歷史資訊中分析出現次數最多的組合，那就從1+1的組合開始分析，嘿嘿，經常中這種組合也挺不錯哦！現在我們開始獲取資料，應該從中彩網的爬取資料比較靠譜，下面是指令碼。 # -*- coding:utf-8 -*- import re

如何抓取網頁中的實時監測資料進行分析

   使用wpf做了窗體，跟Silverlight開發環境一樣，將前臺設計與後臺開發邏輯分離開來，抓取南京市九個PM 2.5監測站點的資料     前臺程式碼： <Grid> <Button Content="資料獲取" Heigh

谷歌Jeff Dean團隊提出利用深度學習對「電子健康記錄」資料進行分析，可提高醫療診斷預測的準確性

圖：pixabay原文來源：arXiv作者：Alvin Rajkomar、Eyal Oren、K

小象學院Python入門基礎課程-五、案例2 分形樹繪製 案例分析 #怎麼用Python繪製圖形#turtle庫

分形樹繪製 1.0–五角星的繪製 • 案例描述 • 案例分析 • 上機實驗 • turtle庫 注意：呼叫turtle.exitonclick圖形窗口才會停在那裡！！！ 向右轉60度是直走方向的右手邊右轉60度！ 關於五角星的角度 則應該右拐180-36=

python資料處理小技巧-2

1，拆分含有多種分隔符的字串 import re s = 'sdjjg,jsa|jjalg\tjljl.ljei,jks;dji' #方法：使用s.split(), 分割單個符合 #使用正則表示式的re.split()方法，一次性拆分字串，使用+號表示分割連續多個 newStr =

利用爬蟲技術，仿有道翻譯小案例

import requests import time import hashlib import json inputInfo = input('請輸入你想要翻譯的內容:') # 請求的url必須是點選翻譯後跳轉出來的頁面路由 url = 'http://fanyi.youdao.co

Go語言基礎（十一）—— 實現命令列引數對資料的簡單查詢小案例

案例要求： 結合命令列引數、複合型別、包管理、排序等知識，寫一個商品管理系統 商品屬性包括：整型商品ID（gid）、字串型名稱(name)、整型類別(cid)、浮點型價格(price) 自己造一些假資料，實現如下功能： shop.exe -cmd single -gi

scrapy+ selenium的小案例兩則，爬取食品藥品監管和twitter使用者資料。

環境：python 3.6 scrapy selenium chrome chrome-driver windows 10 如何安裝python selenium 和對應谷歌版本的chrome-driver請自行在csdn中搜索。已經有很多大手子做過很詳細

web學習筆記（2）——style樣式使用的一些小案例

沒有樣式的H5是沒有靈魂的。style樣式有三個屬性：media，scope，type。type目前是統一的值“text/css”，用來指定樣式。scoped 屬性是布林屬性。如果使用該屬性，則樣式僅僅應用到 style 元素的父元素及其子元素，該功能並不是所有瀏覽器支援，據我所知，fire

angular,vue,react的基本語法—雙向資料繫結、條件渲染、列表渲染、angular小案例

基本語法： 1、雙向資料繫結 vue 指令：v-model="msg" react constructor(){ this.state{ msg:"雙向資料繫結" } render(){ <input type="text" value={this.state

2、Hibernate新增資料小測試

1、新建專案–點選建立配置檔案hibernate-cfg.xml 2、匯入包，加入依賴 3、通過資料庫中的表，來建立bean例項和Student.hbm.xml 4、bean類程式碼如下：Student.java public class Stude

適用於Python入門者的爬蟲和資料視覺化案例

本篇文章適用於Python小白的教程篇，如果有哪裡不足歡迎指出來，希望對你幫助。 本篇文章用到的模組： requests,re,os,jieba,glob,json,lxml,pyecharts,heapq,collection   首先 我們先進入到需要抓取的內容的

Python使用pandas讀取Excel檔案資料和預處理小案例

假設有Excel檔案data.xlsx，其中內容為 現在需要將這個Excel檔案中的資料讀入pandas，並且在後續的處理中不關心ID列，還需要把sex列的female替換為1，把sex列的male替換為0。本文演示有關的幾個操作。 （1）匯入pandas模組 >>> import p