2. 程式人生 > 其它 >電商專案實戰-瀏覽量統計功能實現3

電商專案實戰-瀏覽量統計功能實現3

阿新 • • 發佈：2021-07-22

1、統計頁面的瀏覽量

將讀入進來的檔案
count
將一行記錄做成一個固定的key，value賦值為1

2、PVStartApp.java

src/main/java/project/mrv1/PVStartApp.java

package project.mrv1;

/*
 * 第一版本瀏覽量的統計
 */

import mr.access.Access;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import
 
 org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;


 
import java.io.IOException;

public class PVStartApp {

    public static void main(String[] args) throws Exception{

        Configuration configuration = new Configuration();

        Job job = Job .getInstance(configuration);
        job.setJarByClass(PVStartApp.class);

        job.setMapperClass(MyMapper.
 
class);
        job.setReducerClass(MyReducer.class);

        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(LongWritable.class);

        job.setOutputKeyClass(NullWritable.class);
        job.setOutputValueClass(LongWritable.class);

        FileInputFormat.setInputPaths(job, new Path("access/raw/input/trackinfo_20130721.data"));
        FileOutputFormat.setOutputPath(job, new Path("output/v1/pvstart"));

        job.waitForCompletion(true);



    }

    static class MyMapper extends Mapper<LongWritable, Text, Text, LongWritable>{

        //將key固定
        private Text KEY = new Text("key");
        private LongWritable ONE = new LongWritable(1);

        //在這裡要實現一個map方法
        //直接輸入map+回車
        @Override
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            context.write(KEY, ONE);
        }
    }

    static class MyReducer extends Reducer<Text, LongWritable, NullWritable, LongWritable>{

        //在這裡要實現一個reduce方法
        //直接輸入reduce+回車
        @Override
        protected void reduce(Text key, Iterable<LongWritable> values, Context context) throws IOException, InterruptedException {

            long count = 0;
            for (LongWritable value: values){
                count++;
            }

            context.write(NullWritable.get(), new LongWritable(count));
        }
    }

}

3、trackinfo_20130721.data

access/raw/input/trackinfo_20130721.data

20946835322http://www.yihaodian.com/1/?tracker_u=2225501&type=3http://www.baidu.com/s?wd=1%E5%8F%B7%E5%BA%97&rsv_bp=0&ch=&tn=baidu&bar=&rsv_spt=3&ie=utf-8&rsv_sug3=5&rsv_sug=0&rsv_sug1=4&rsv_sug4=313&inputT=42351號店1SKAPHD3JZYH9EE9ACB1NGA9VDQHNJMX1NY9TPPG4SWG71358HGRJGQHQQBXY9GF96CVU2225501\N124.79.172.232msessionid:YR9H5YU7RZ8Y94EBJNZ2P5W8DT37Q9JH,unionKey:22255012013-07-21 09:30:01\Nhttp://www.baidu.com/s?wd=1%E5%8F%B7%E5%BA%97&rsv_bp=0&ch=&tn=baidu&bar=&rsv_spt=3&ie=utf-8&rsv_sug3=5&rsv_sug=0&rsv_sug1=4&rsv_sug4=313&inputT=42351\Nnull-10Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; MATP; Media Center PC 6.0; .NET4.0C; InfoPath.2; .NET4.0E)Win32上海市12013-07-21 09:30:01上海市66\N\N\N\N2013-07-21
20947290187http://www.yihaodian.com/ctg/s2/c5287-%E5%A4%A7%E7%B1%B3/b/a28186,28184-s1-v0-p1-price-d0-f0-m1-rt0-pid-k/1/http://www.yihaodian.com/ctg/s2/c5287-%E5%A4%A7%E7%B1%B3/b1879/a281862SKAPHD3JZYH9EE9ACB1NGA9VDQHNJMX1NY9TPPG4SWG71358HGRJGQHQQBXY9GF96CVU22255011124.79.172.232msessionid:YR9H5YU7RZ8Y94EBJNZ2P5W8DT37Q9JH,uname:chen45311,unionKey:22255012013-07-21 09:32:30134885852http://www.baidu.com/s?wd=1%E5%8F%B7%E5%BA%97&rsv_bp=0&ch=&tn=baidu&bar=&rsv_spt=3&ie=utf-8&rsv_sug3=5&rsv_sug=0&rsv_sug1=4&rsv_sug4=313&inputT=4235110\N1-10Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; MATP; Media Center PC 6.0; .NET4.0C; InfoPath.2; .NET4.0E)Win32 93 1search_order_2上海市1null上海市66\N\N\N\N2013-07-21
20947323490http://www.yihaodian.com/cmsPage/show.do?pageId=49248&provinceId=1http://www.yihaodian.com/cmsPage/show.do?pageId=48963&provinceId=13SKAPHD3JZYH9EE9ACB1NGA9VDQHNJMX1NY9TPPG4SWG71358HGRJGQHQQBXY9GF96CVU2225501\N124.79.172.232msessionid:YR9H5YU7RZ8Y94EBJNZ2P5W8DT37Q9JH,uname:chen45311,unionKey:22255012013-07-21 09:37:04134885852http://www.baidu.com/s?wd=1%E5%8F%B7%E5%BA%97&rsv_bp=0&ch=&tn=baidu&bar=&rsv_spt=3&ie=utf-8&rsv_sug3=5&rsv_sug=0&rsv_sug1=4&rsv_sug4=313&inputT=423520\N1-10Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; MATP; Media Center PC 6.0; .NET4.0C; InfoPath.2; .NET4.0E)Win32cms_pic_48963_542760_0上海市1上海市66\N\N\N\N2013-07-21
20947273602https://passport.yihaodian.com/passport/login_input.dohttp://www.yihaodian.com/1/?tracker_u=2225501&type=33SKAPHD3JZYH9EE9ACB1NGA9VDQHNJMX1NY9TPPG4SWG71358HGRJGQHQQBXY9GF96CVU2225501\N124.79.172.232msessionid:YR9H5YU7RZ8Y94EBJNZ2P5W8DT37Q9JH,unionKey:22255012013-07-21 09:30:11\Nhttp://www.baidu.com/s?wd=1%E5%8F%B7%E5%BA%97&rsv_bp=0&ch=&tn=baidu&bar=&rsv_spt=3&ie=utf-8&rsv_sug3=5&rsv_sug=0&rsv_sug1=4&rsv_sug4=313&inputT=42353\N1-10Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; MATP; Media Center PC 6.0; .NET4.0C; InfoPath.2; .NET4.0E)Win32YHD_TOP_login上海市1上海市66\N\N\N\N2013-07-21
20947308318http://www.yihaodian.com/marketing/allproduct.htmlhttp://www.yihaodian.com/item/user/continueShopping.do?ref=detail_continue_shopping_B-1_1_52_search.ctg_13SKAPHD3JZYH9EE9ACB1NGA9VDQHNJMX1NY9TPPG4SWG71358HGRJGQHQQBXY9GF96CVU2225501\N124.79.172.232msessionid:YR9H5YU7RZ8Y94EBJNZ2P5W8DT37Q9JH,uname:chen45311,unionKey:22255012013-07-21 09:34:59134885852http://www.baidu.com/s?wd=1%E5%8F%B7%E5%BA%97&rsv_bp=0&ch=&tn=baidu&bar=&rsv_spt=3&ie=utf-8&rsv_sug3=5&rsv_sug=0&rsv_sug1=4&rsv_sug4=313&inputT=423516\N1-10Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; MATP; Media Center PC 6.0; .NET4.0C; InfoPath.2; .NET4.0E)Win32YHD_TOP_index_5上海市1上海市66\N\N\N\N2013-07-21
20948276566http://www.yihaodian.com/checkoutV3/index.dohttp://www.yihaodian.com/cart/cart.do?action=view3SKAPHD3JZYH9EE9ACB1NGA9VDQHNJMX1NY9TPPG4SWG71358HGRJGQHQQBXY9GF96CVU2225501\N124.79.172.232msessionid:YR9H5YU7RZ8Y94EBJNZ2P5W8DT37Q9JH,uname:chen45311,unionKey:22255012013-07-21 09:50:43134885852http://www.baidu.com/s?wd=1%E5%8F%B7%E5%BA%97&rsv_bp=0&ch=&tn=baidu&bar=&rsv_spt=3&ie=utf-8&rsv_sug3=5&rsv_sug=0&rsv_sug1=4&rsv_sug4=313&inputT=423567\N1-10Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; MATP; Media Center PC 6.0; .NET4.0C; InfoPath.2; .NET4.0E)Win32mobile上海市1上海市66\N\N\N\N2013-07-21

相關推薦

電商專案實戰-瀏覽量統計功能實現3

1、統計頁面的瀏覽量 將讀入進來的檔案count將一行記錄做成一個固定的key，value賦值為1

電商專案實戰-頁面瀏覽量統計功能升級（十二）

1、PageStartV2App.java src/main/java/project/mrv2/PageStartV2App.java 與ProvinceStartV2App.java相同

電商專案實戰-頁面瀏覽量統計之頁面編號獲取測試7

1、url選擇 （1）必選帶 topicId= 2、目標 （1）獲取符合規則的pageId，然後進行統計

電商專案實戰

技術標籤：javaspring bootmybatis SpringBoot+MyBatisPlus實現分頁功能 前言 本片文章僅為了本人整理思路，總結經驗所寫。 （作為剛入行的新人，大佬看到勿噴。）

9-電商專案實戰

導包及基礎設定 import re import os import glob import numpy as np import pandas as pd import matplotlib.pyplot as plt

電商專案實戰-使用者行為日誌1

1、使用者行為日誌概述 （1）每一次訪問的行為（訪問、搜尋）產生的日誌 點進來花了多少時間加入購物車、花了多少時間下單、花了多少時間支付，這些對電商品臺都是很重要的。

電商專案實戰-專案需求及技術架構2

1、專案需求 （1）統計頁面的瀏覽量PV---使用mapreduce統計 （2）統計各個省份的瀏覽量---省、市---ip統計

電商專案實戰-打包至伺服器上執行（十三）

1、更改輸入、輸出路徑 （1）輸入路徑為：args[0] （2）輸出路徑為：args[1] 2、修改IPParser.java

電商專案實戰Hive實現-外部表在Hive中的使用

1、emp員工表是一個內部表MANAGED_TABLE （1）emp表，不要刪除 hive (testzhang_db)> show tables;

電商專案實戰Hive實現-track_info分割槽表的建立

1、開啟IDEA中的C:\\Users\\jieqiong\\IdeaProjects\\hadoop-train-v2\\input\\etl\\part-r-00000 2、建立外部表track_info

電商專案實戰Hive實現-將ETL資料載入到Hive表中

1、建立資料夾，放入原始資料 [hadoop@hadoop000 ~]$ hadoop fs -mkdir -p /project/input/raw [hadoop@hadoop000 data]$ hadoop fs -put trackinfo_20130721.data /project/input/raw/

Github上標星30K+的SpringBoot實戰電商專案mall

前言 mall專案致力於打造一個完整的電商系統，採用現階段流行技術實現。 專案介紹

[電商專案]--退出功能

技術標籤：專案# （vue全家桶）從零獨立開發企業級電商系統vue 前言 編寫退出模組

專案實戰--電商專案

01-框架搭建 01_走進電商 02_需求分析與系統設計 03_框架搭建 04_品牌增刪改查

電商專案“商品分類瀏覽”如何測試？附詳細思維導圖

電商專案無論是工作中，還是面試中，都是一個高頻出現的詞。面試官非常熱衷提問關於電商專案的問題。例如商品分類怎麼測試？購物車怎麼測試？訂單怎麼測試？優惠券怎麼測試？支付怎麼測試？等等

開發 Django 部落格文章閱讀量統計功能

作者：HelloGitHub-追夢人物 文中所涉及的示例程式碼，已同步更新到 HelloGitHub-Team 倉庫

電商專案app開發

購物app的開發 首先我們本次要寫的是一個電商的專案，專案主要功能有登入、註冊、商品展示、輪播圖、加入購物車、購物車管理、支付管理、地址管理、個人資訊的修改、商品的分類展示、微信支付等等。主要使用vue框架來

01-flask電商專案開發基礎配置

本專案前端採用vue-cli的腳手架，後端採用Flask的Web框架。專案通過完成使用者管理、許可權管理、商品管理、訂單管理、統計管理等功能，綜合了前後端的知識，希望使大家都能受益。

微服務分散式電商專案學習筆記（三）---- docker介紹安裝以及使用docker安裝軟體（2020/7/1）

其實在介紹docker的使用和安裝之前應該還要介紹虛擬機器的安裝與配置，以及虛擬網路的配置，但是我使用的是vmware，而視訊課使用的是vagrant，這一塊我簡看的，因此沒有過多的介紹，至於vmware的安裝配置和虛擬網路

打造多模組+高可用+高擴充套件Spring Cloud版分散式電商專案原始碼分享

spring cloud 版分散式電商專案，全力打造頂級多模組，高可用，高擴充套件電商專案