2. 程式人生 > >Hive資料分析實戰演練

Hive資料分析實戰演練

阿新 • • 發佈：2018-12-18

 

Hive資料分析實戰演練

文章來源：企鵝號 - 程式猿的修身養性

1、準備工作

Hive的底層是基於MapReduce分散式計算和HDFS分散式儲存，因此，在使用Hive進行資料操作前，需要先啟動Hadoop。如果事先已經搭建好了偽分散式環境的Hadoop，執行命令： start-all.sh，等待Hadoop啟動完成即可。

使用Hive進行資料分析操作，必然需要安裝和配置Hive資料倉庫工具，這裡就不介紹其安裝和配置了，具體內容可以參考前面相關文章。本文基於Hive的本地模式（元資料資訊儲存到第三方MySQL資料庫中）進行操作，執行命令：hive，等待Hive啟動完成。如下圖所示，這樣便可以在Hive的shell命令列視窗中進行資料分析操作。

在正式開始操作Hive進行資料分析之前，先介紹幾個Hive的基本命令。

建立資料庫

create database mytest;

切換到指定資料庫

use mytest;

檢視指定的資料庫資訊

describe database mytest;

檢視指定資料表的詳細資訊

desc formatted special1;

2、SUM、AVG、MIN、MAX函式

A、資料準備

建立檔案special1，往該檔案中輸入相應的測試資料，如下圖所示：

 

然後，將special1檔案拷貝到指定目錄下，這裡使用的目錄是：/root/temp，然後執行如下命令建立對應的外部表：

CREATE EXTERNAL TABLE special1 (

cookieid string,createtime string,pv INT)

ROW FORMAT DELIMITED FIELDS TERMINATED BY ','

stored as textfile location '/root/temp/special1/';

最後，執行如下命令將本地檔案special1中的資料匯入表special1中：

load data local inpath '/root/temp/special1' into table special1;

B、SUM函式使用

功能：實現分組內所有和連續累積的統計，注意,結果和ORDER BY相關,預設為升序。命令如下：

SELECT cookieid,createtime,pv,

SUM(pv) OVER(PARTITION BY cookieid ORDER BY createtime) AS pv1,--預設為從起點到當前行

SUM(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW) AS pv2,--從起點到當前行，結果同pv1

SUM(pv) OVER(PARTITION BY cookieid) AS pv3,--分組內所有行，會使得最終結果降序排列

SUM(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN 3 PRECEDING AND CURRENT ROW) AS pv4,--當前行+往前3行

SUM(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN 3 PRECEDING AND 1 FOLLOWING) AS pv5,--當前行+往前3行+往後1行

SUM(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN CURRENT ROW AND UNBOUNDED FOLLOWING) AS pv6--當前行+往後所有行

FROM special1;

執行結果如下圖所示：

 

解析：

pv1: 分組內從起點到當前行的pv累積，如11號的pv1等於10號的pv值加上11號的pv值, 12號的pv1等於10號的pv值加上11號的pv值加上12號的pv值；

pv2: 同pv1的計算方法；

pv3: 分組內(cookie1)所有的pv值累加；

pv4: 分組內當前行+往前3行，如11號=10號+11號，12號=10號+11號+12號，13號=10號+11號+12號+13號，14號=11號+12號+13號+14號；

pv5: 分組內當前行+往前3行+往後1行，如14號=11號+12號+13號+14號+15號=5+7+3+2+4=21；

pv6: 分組內當前行+往後所有行，如13號=13號+14號+15號+16號=3+2+4+4=13，14號=14號+15號+16號=2+4+4=10；

如果不指定ROWS BETWEEN,預設為從起點到當前行;

如果不指定ORDER BY，則將分組內所有值累加;

關鍵是理解ROWS BETWEEN含義,也叫做WINDOW子句：

PRECEDING：往前，FOLLOWING：往後，CURRENT ROW：當前行

UNBOUNDED：起點，UNBOUNDED PRECEDING 表示從前面的起點， UNBOUNDED FOLLOWING：表示到後面的終點

——其他AVG，MIN，MAX函式，和SUM函式的用法一樣。

C、AVG函式使用

功能：實現求分組內指定數量行資料的平均值。命令如下：

SELECT cookieid,createtime,pv,

AVG(pv) OVER(PARTITION BY cookieid ORDER BY createtime) AS pv1,--預設為從起點到當前行

AVG(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW) AS pv2,--從起點到當前行，結果同pv1

AVG(pv) OVER(PARTITION BY cookieid) AS pv3,--分組內所有行，會使得最終結果降序排列

AVG(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN 3 PRECEDING AND CURRENT ROW) AS pv4,--當前行+往前3行

AVG(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN 3 PRECEDING AND 1 FOLLOWING) AS pv5,--當前行+往前3行+往後1行

AVG(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN CURRENT ROW AND UNBOUNDED FOLLOWING) AS pv6--當前行+往後所有行

FROM special1;

執行結果如下圖所示：

 

D、MIN函式使用

功能：實現求分組內指定數量行資料的最小值。命令如下：

SELECT cookieid,createtime,pv,

MIN(pv) OVER(PARTITION BY cookieid ORDER BY createtime) AS pv1,--預設為從起點到當前行

MIN(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW) AS pv2,--從起點到當前行，結果同pv1

MIN(pv) OVER(PARTITION BY cookieid) AS pv3,--分組內所有行，會使得最終結果降序排列

MIN(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN 3 PRECEDING AND CURRENT ROW) AS pv4,--當前行+往前3行

MIN(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN 3 PRECEDING AND 1 FOLLOWING) AS pv5,--當前行+往前3行+往後1行

MIN(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN CURRENT ROW AND UNBOUNDED FOLLOWING) AS pv6--當前行+往後所有行

FROM special1;

執行結果如下圖所示：

 

E、MAX函式使用

功能：實現求分組內指定數量行資料的最大值。命令如下：

SELECT cookieid,createtime,pv,

MAX(pv) OVER(PARTITION BY cookieid ORDER BY createtime) AS pv1,--預設為從起點到當前行

MAX(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW) AS pv2,--從起點到當前行，結果同pv1

MAX(pv) OVER(PARTITION BY cookieid) AS pv3,--分組內所有行

MAX(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN 3 PRECEDING AND CURRENT ROW) AS pv4,--當前行+往前3行

MAX(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN 3 PRECEDING AND 1 FOLLOWING) AS pv5,--當前行+往前3行+往後1行

MAX(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN CURRENT ROW AND UNBOUNDED FOLLOWING) AS pv6--當前行+往後所有行

FROM special1;

執行結果如下圖所示：

 

3、NTILE、ROW_NUMBER、RANK，DENSE_RANK函式

A、資料準備

建立檔案special2，往該檔案中輸入相應的測試資料，如下圖所示：

 

然後，將special2檔案拷貝到指定目錄下，這裡使用的目錄是：/root/temp，然後執行如下命令建立對應的外部表：

CREATE EXTERNAL TABLE special2 (

cookieid string,createtime string,pv INT)

ROW FORMAT DELIMITED FIELDS TERMINATED BY ','

stored as textfile location '/root/temp/special2/';

最後，執行如下命令將本地檔案special2中的資料匯入表special2中：

load data local inpath '/root/temp/special2' into table special2;

B、NTILE函式使用

功能：NTILE(n)，用於將分組資料按照順序切分成n片，並返回當前切片值。

NTILE不支援ROWS BETWEEN，比如 NTILE(2) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN 3 PRECEDING AND CURRENT ROW)。如果切片不均勻，預設增加第一個切片的分佈。命令如下：

SELECT cookieid,createtime,pv,

NTILE(2) OVER(PARTITION BY cookieid ORDER BY createtime) AS rn1,--將分組內資料分成2片

NTILE(3) OVER(PARTITION BY cookieid ORDER BY createtime) AS rn2,--將分組內資料分成3片

NTILE(4) OVER(ORDER BY createtime) AS rn3--將所有資料分成4片

FROM special2

ORDER BY cookieid,createtime;

執行結果如下圖所示：

 

再比如，統計一個cookie，pv數最多的前1/3數量的天，命令如下：

SELECT cookieid,createtime,pv,

NTILE(3) OVER(PARTITION BY cookieid ORDER BY pv DESC) AS rn

FROM special2;

執行結果如下圖所示：

 

C、ROW_NUMBER函式使用

功能：從1開始，按照順序，生成分組內記錄的序列。比如，按照pv降序排列，生成分組內每天的pv名次。ROW_NUMBER()的應用場景非常多，再比如，獲取分組內排序第一的記錄;獲取一個session中的第一條refer等。命令如下：

SELECT cookieid,createtime,pv,

ROW_NUMBER() OVER(PARTITION BY cookieid ORDER BY pv desc) AS rn

FROM special2;

執行結果如下圖所示：

 

D、RANK和DENSE_RANK函式使用

功能：RANK()生成資料項在分組中的排名，排名相等會在名次中留下空缺位；DENSE_RANK()生成資料項在分組中的排名，排名相等不會在名次中留下空缺位。命令如下：

SELECT cookieid,createtime,pv,

RANK() OVER(PARTITION BY cookieid ORDER BY pv desc) AS rn1,

DENSE_RANK() OVER(PARTITION BY cookieid ORDER BY pv desc) AS rn2,

ROW_NUMBER() OVER(PARTITION BY cookieid ORDER BY pv DESC) AS rn3

FROM special2

WHERE cookieid = 'cookie1';

執行結果如下圖所示：

 

4、CUME_DIST、PERCENT_RANK函式

A、資料準備

建立檔案special3，往該檔案中輸入相應的測試資料，如下圖所示：

然後，將special3檔案拷貝到指定目錄下，這裡使用的目錄是：/root/temp，然後執行如下命令建立對應的外部表：

CREATE EXTERNAL TABLE special3 (

dept STRING,userid string,sal INT)

ROW FORMAT DELIMITED FIELDS TERMINATED BY ','

stored as textfile location '/root/temp/special3/';

最後，執行如下命令將本地檔案special3中的資料匯入表special3中：

load data local inpath '/root/temp/special3' into table special3;

B、CUME_DIST函式使用

功能：實現求小於等於當前值的行數/分組內總行數，比如，統計小於等於當前薪水的人數，所佔總人數的比例。命令如下：

SELECT dept,userid,sal,

CUME_DIST() OVER(ORDER BY sal) AS rn1,

CUME_DIST() OVER(PARTITION BY dept ORDER BY sal) AS rn2

FROM special3;

執行結果如下圖所示：

 

C、PERCENT_RANK函式使用

功能：實現求分組內當前行的RANK值-1/分組內總行數-1的比值，該函式的功能比較特殊，應用場景不太瞭解。命令如下：

SELECT dept,userid,sal,

PERCENT_RANK() OVER(ORDER BY sal) AS rn1,--分組內

RANK() OVER(ORDER BY sal) AS rn11,--分組內RANK值

SUM(1) OVER(PARTITION BY NULL) AS rn12,--分組內總行數

PERCENT_RANK() OVER(PARTITION BY dept ORDER BY sal) AS rn2

FROM special3;

執行結果如下圖所示：

 

5、LAG、LEAD、FIRST_VALUE、LAST_VALUE函式

A、資料準備

建立檔案special4，往該檔案中輸入相應的測試資料，如下圖所示：

 

然後，將special4檔案拷貝到指定目錄下，這裡使用的目錄是：/root/temp，然後執行如下命令建立對應的外部表：

CREATE EXTERNAL TABLE special4 (

cookieid string,createtime string,url STRING)

ROW FORMAT DELIMITED FIELDS TERMINATED BY ','

stored as textfile location '/root/temp/special4/';

最後，執行如下命令將本地檔案special4中的資料匯入表special4中：

load data local inpath '/root/temp/special4' into table special4;

B、LAG函式使用

功能：LAG(col,n,DEFAULT) 用於統計視窗內往上第n行的值，第一個引數為列名，第二個引數為往上第n行（可選，預設為1），第三個引數為預設值（當往上第n行為NULL時候，取預設值，如不指定，則為NULL）。命令如下：

SELECT cookieid,createtime,url,

ROW_NUMBER() OVER(PARTITION BY cookieid ORDER BY createtime) AS rn,

LAG(createtime,1,'1970-01-01 00:00:00') OVER(PARTITION BY cookieid ORDER BY createtime) AS last_1_time,

LAG(createtime,2) OVER(PARTITION BY cookieid ORDER BY createtime) AS last_2_time

FROM special4;

執行結果如下圖所示：

 

C、LEAD函式使用

功能：與LAG相反，LEAD(col,n,DEFAULT)用於統計視窗內往下第n行的值，第一個引數為列名，第二個引數為往下第n行（可選，預設為1），第三個引數為預設值（當往下第n行為NULL時候，取預設值，如不指定，則為NULL）。命令如下：

SELECT cookieid,createtime,url,

ROW_NUMBER() OVER(PARTITION BY cookieid ORDER BY createtime) AS rn,

LEAD(createtime,1,'1970-01-01 00:00:00') OVER(PARTITION BY cookieid ORDER BY createtime) AS next_1_time,

LEAD(createtime,2) OVER(PARTITION BY cookieid ORDER BY createtime) AS next_2_time

FROM special4;

執行結果如下圖所示：

 

D、FIRST_VALUE函式使用

功能：實現求分組內排序後，截止到當前行，第一個值。命令如下：

SELECT cookieid,createtime,url,

ROW_NUMBER() OVER(PARTITION BY cookieid ORDER BY createtime) AS rn,

FIRST_VALUE(url) OVER(PARTITION BY cookieid ORDER BY createtime) AS first1

FROM special4;

執行結果如下圖所示：

 

E、LAST_VALUE函式使用

功能：實現求分組內排序後，截止到當前行，最後一個值。命令如下：

SELECT cookieid,createtime,url,

ROW_NUMBER() OVER(PARTITION BY cookieid ORDER BY createtime) AS rn,

LAST_VALUE(url) OVER(PARTITION BY cookieid ORDER BY createtime) AS last1

FROM special4;

執行結果如下圖所示：

 

如果不指定ORDER BY，則預設按照記錄在檔案中的偏移量進行排序。命令如下：

SELECT cookieid,createtime,url,

FIRST_VALUE(url) OVER(PARTITION BY cookieid) AS first2

FROM special4;

執行結果如下圖所示：

 

如果想要取分組內排序後最後一個值，則需要變通一下。命令如下：

SELECT cookieid,createtime,url,

ROW_NUMBER() OVER(PARTITION BY cookieid ORDER BY createtime) AS rn,

LAST_VALUE(url) OVER(PARTITION BY cookieid ORDER BY createtime) AS last1,

FIRST_VALUE(url) OVER(PARTITION BY cookieid ORDER BY createtime DESC) AS last2

FROM special4

ORDER BY cookieid,createtime;

執行結果如下圖所示：

 

6、GROUPING SETS、GROUPING__ID、CUBE、ROOUP函式

A、資料準備

建立檔案special5，往該檔案中輸入相應的測試資料，如下圖所示：

 

然後，將special5檔案拷貝到指定目錄下，這裡使用的目錄是：/root/temp，然後執行如下命令建立對應的外部表：

CREATE EXTERNAL TABLE special5 (

month STRING,day STRING,cookieid STRING )

ROW FORMAT DELIMITED FIELDS TERMINATED BY ','

stored as textfile location '/root/temp/special5/';

最後，執行如下命令將本地檔案special5中的資料匯入表special5中：

load data local inpath '/root/temp/special5' into table special5;

B、GROUPINT SETS函式使用

功能：在一個GROUP BY查詢中，根據不同的維度組合進行聚合，等價於將不同維度的GROUP BY結果集進行UNION ALL。命令如下：

SELECT month,day,

COUNT(DISTINCT cookieid) AS uv,

GROUPING__ID

FROM special5

GROUP BY month,day

GROUPING SETS (month,day)

ORDER BY GROUPING__ID;

執行結果如下圖所示：

 

上面的語句等價於：

SELECT month,NULL,COUNT(DISTINCT cookieid) AS uv,1 AS GROUPING__ID FROM special5 GROUP BY month

UNION ALL

SELECT NULL,day,COUNT(DISTINCT cookieid) AS uv,2 AS GROUPING__ID FROM special5 GROUP BY day

再比如下述命令：

SELECT month,day,

COUNT(DISTINCT cookieid) AS uv,

GROUPING__ID

FROM special5

GROUP BY month,day

GROUPING SETS (month,day,(month,day))

ORDER BY GROUPING__ID;

執行結果如下圖所示：

 

上述命令等價於：

SELECT month,NULL,COUNT(DISTINCT cookieid) AS uv,1 AS GROUPING__ID FROM special5 GROUP BY month

UNION ALL

SELECT NULL,day,COUNT(DISTINCT cookieid) AS uv,2 AS GROUPING__ID FROM special5 GROUP BY day

UNION ALL

SELECT month,day,COUNT(DISTINCT cookieid) AS uv,3 AS GROUPING__ID FROM special5GROUP BY month,day

其中的GROUPING__ID，表示結果屬於哪一個分組集合。

C、CUBE函式使用

功能：根據GROUP BY的維度的所有組合進行聚合。命令如下：

SELECT month,day,

COUNT(DISTINCT cookieid) AS uv,

GROUPING__ID

FROM special5

GROUP BY month,day

WITH CUBE

ORDER BY GROUPING__ID;

執行結果如下圖所示：

 

上述命令等價於：

SELECT NULL,NULL,COUNT(DISTINCT cookieid) AS uv,0 AS GROUPING__ID FROM special5

UNION ALL

SELECT month,NULL,COUNT(DISTINCT cookieid) AS uv,1 AS GROUPING__ID FROM special5 GROUP BY month

UNION ALL

SELECT NULL,day,COUNT(DISTINCT cookieid) AS uv,2 AS GROUPING__ID FROM special5 GROUP BY day

UNION ALL

SELECT month,day,COUNT(DISTINCT cookieid) AS uv,3 AS GROUPING__ID FROM special5 GROUP BY month,day

D、ROLLUP函式使用

功能：是CUBE的子集，以最左側的維度為主，從該維度進行層級聚合。命令如下：

SELECT month,day,

COUNT(DISTINCT cookieid) AS uv,

GROUPING__ID

FROM special5

GROUP BY month,day

WITH ROLLUP

ORDER BY GROUPING__ID;

執行結果如下圖所示：

 

還可以實現這樣的上鑽過程：月天的uv->月的uv->總uv，把month和day調換順序，則以day維度進行層級聚合。命令如下：

SELECT day,month,

COUNT(DISTINCT cookieid) AS uv,

GROUPING__ID

FROM special5

GROUP BY day,month

WITH ROLLUP

ORDER BY GROUPING__ID;

執行結果如下圖所示：

 

  •  

相關推薦

Hive資料分析實戰演練

  Hive資料分析實戰演練 文章來源：企鵝號 - 程式猿的修身養性 1、準備工作 Hive的底層是基於MapReduce分散式計算和HDFS分散式儲存，因此，在使用Hive進行資料操作前，需要先啟動Hadoop。如果事先已經搭建好了偽分散式環境的Hadoop，執行命令：

轉載：Android 記憶體洩露分析實戰演練

版權宣告：本文為博主原創文章，未經博主允許不得轉載。 https://mp.csdn.net/postedit/82736058 轉載自任玉剛微信推文，非常全面所以記錄下來 1. 記憶體洩露簡介 記憶體洩露，即Memory Leak，指程式中不再使用到的物件因某種原因從而無法被GC正常回

Python資料分析實戰-Boston Public Schools GEO資料分析-Part1

     由於從事人工智慧的工作，接下來打算分享一系列的以案例形式的人工智慧、     資料分析的部落格文章。歡迎大家持續關注。本次我來分享一個數據分析的案例    專案目標：       

資料分析實戰之豆瓣小說知多少？

    最近學習了python爬蟲，於是，小試身手。     得到豆瓣上圖書標籤為“小說”（ ）的圖書資訊，簡單整理後，得到998條記錄，包含書名、作者、作者國籍、譯者、出版社、出版時間、價格、評分、評價人數9個欄位。下面就讓我們來看看小說的世界。 小說越火，水準越高？     評價人數不等於實際閱讀人數

零基礎Python資料分析實戰：豆瓣人的電影口味重嗎？

在上一篇文章中，我們實戰使用urllib和BeautifulSoup抓取了關於豆瓣電影TOP250的非常豐富的資訊，包括導演、編劇、演員、上映時間和地區、語言、別名、短評數、影評數、多少人想看、多少人看過等多達23個欄位。 接下來，我們要做的就是對這些資料進行分析、挖掘，得到儘可能多

資料分析實戰

2018年11月18日 09:31:32 yitian1585531 閱讀數：10 個人分類： 資料分析

大資料學習線路圖，Python/資料分析實戰基礎

本文主要歸納Python、資料分析的學習線路圖，學習方向：共分為五大板塊：板塊一：熟悉python，SQLpython（1）python語法（2）常用資料結構（列表、元組、字典）（3）python高階用法（日期和時間、列表推導式、高階函式、多執行緒）SQL（1）聚合（2）表連

R資料分析實戰——奧運會120年曆史

R語言在數理統計、資料分析以及資料視覺化也是一把利器，但是，不管是使用它的人還是瞭解的人多不如Python多。然而，其實R語言也是一門優雅的語言，也可以很好的處理資料，並且充分進行視覺化。下面，我們使用最近Kaggle上的一個數據集——奧運會120年曆史，具體進行資料分析。

Mac Android 記憶體洩漏分析 實戰演練

虛的概念就不講了，自己去網上搜，一大堆。  這裡來一次實戰演練簡書上有一篇講解 記憶體洩漏分析 的文章，總結的很到位，由淺入深，比較全面。建議結合起來閱讀預備知識:1、Mac版 MAT 官網下載地址:  (也可以自行百度)http://www.eclipse.org/down

2018最新Python資料分析實戰教程視訊 python資料分析班視訊 Python資料分析基礎教程 利用Python進行資料分析

系列一：《python資料分析基礎與實踐》章節1Python概況課時2Python簡介章節2Python安裝課時3安裝Anaconda課時4使用Anaconda章節3資料準備課時5資料型別 – 布林型課時6資料型別 – 數值型課時7資料型別 – 字元型課時8資料結構 – List課時9資料結構 – Tuple

《資料分析實戰》--用R做柱狀圖

《資料分析實戰》–用R做柱狀圖 背景：針對某公司的產品，發現當月的銷售額下降，但從市場環境還是從遊戲本身的狀態來看都有上升的空間，請查明下降的原因。 現狀：同上月相比銷售額下降 預期：銷售額恢復到同上月的水平 明確問題：由於公司的預算問題，當月沒有進

用pandas進行資料分析實戰

主要內容是進行資料讀取，資料概述，資料清洗和整理，分析和視覺化。按照本教程，相信大家的Pandas會上到一個新臺階，遇到文中沒有提及的錯誤，通過搜尋引擎解決吧。 首先載入我們的練習資料。 在pandas中，常用的載入函式是read_csv。除此之外還有r

Python 爬蟲和資料分析實戰

課程介紹本課程是 Python 爬蟲和資料分析專案實戰課程，主要分 3 部分：第 1 部分是 Python 爬蟲，主要使用 Urllib 3 和 BeautifulSoup 抓取天貓商城和京東商城胸罩銷售資料，並儲存到 SQLite 資料庫中；第 2 部分是對抓取的胸罩銷售資

Hive項目實戰：用Hive分析“余額寶”躺著賺大錢背後的邏輯

導入 mkdir 人的 path 帶來 tmp edate hive oop 一、項目背景 前兩年，支付寶推出的“余額寶”賺盡無數人的眼球，同時也吸引的大量的小額資金進入。“余額寶”把用戶的散錢利息提高到了年化收益率4.0%

2018/10/03-字串指令（重複指令、操作資料緩衝區指令）、rep與movx指令-《惡意程式碼分析實戰》

　　重複指令是一組操作資料緩衝區的指令。資料緩衝區通常是一個位元組陣列的形式，也可以是單字或者雙字。（Intel'稱這些指令為字串指令） 　　最常見的資料緩衝區操作指令是movsx、cmps、stosx和scasx，其中x可以是b、w後者d，分別表示位元組、字和雙字。這些指令對任何形式的資料都有效。 　　

Python3資料分析與挖掘實戰

課程目標： 讓學員從零基礎開始全面系統地掌握Python資料分析與挖掘的相關知識，並能夠勝任Python3資料分析及資料分析與挖掘中級工程師以上的工作，學完後，能夠讓學員掌握Python3基礎知識、編寫Python爬蟲進行網際網路資料採集、Python大資料分析與挖掘等方面的知

菜鷄日記——《Python資料分析與挖掘實戰》實驗6-1 拉格朗日插值法

實驗6-1 用拉格朗日插值法 題目描述：用拉格朗日插值法對missing_data.xls中表格的空值進行填補。 # p1, lab6 # Fill all of the null values with Lagrange's interpolation # Data file name i

小象學院大資料分析與資料探勘精華實戰+資料分析資料探勘實戰

課程簡介:     小象學院大資料分析與資料探勘精華實戰課程 資料分析資料探勘實戰視訊教程 ----------------------課程目錄------------------------------ 第1 章 ： 第一週回放課 課時1：第一課：

Python資料分析與挖掘實戰 pdf下載

Python資料分析與挖掘實戰是10餘位資料探勘領域資深專家和科研人員，10餘年大資料探勘諮詢與實施經驗結晶。從資料探勘的應用出發，以電力、航空、醫療、網際網路、生產製造以及公共服務等行業真實案例為主線，深入淺出介紹Python資料探勘建模過程，實踐性極強。 本書共15章，分兩個部分：基礎

從0到1搭建基於Kafka、Flume和Hive的海量資料分析系統(一)資料收集應用

大資料時代，一大技術特徵是對海量資料採集、儲存和分析的多元件解決方案。而其中對來自於感測器、APP的SDK和各類網際網路應用的原生日誌資料的採集儲存則是基本中的基本。本系列文章將從0到1，概述一下搭建基於Kafka、Flume、Zookeeper、HDFS、Hive的海量資料分析系統的框架、核心應用和關鍵模組