2. 程式人生 > >關聯規則的R語言實現

關聯規則的R語言實現

阿新 • • 發佈：2019-02-17
############################ 關聯分析 案例實踐 ############################  背景假定: 在電影商店中,一個客戶在一次購物中(也可不同時間段多次購買)購買了很多不同種類,品牌的電影盤。我們要從中找到有用的資訊,提升商店的銷售。 問題提出: 1、那麼針對個體客戶來說,他們購買的偏好是什麼? 即購買的A商品,可能會購買那種潛在商品(影片) 2、在客戶中,有沒有明顯的使用者群細分方式? 使用資料: rattle包中，csv目錄下的 dvdtrans.csv 檔案 資料描述: 該原始資料僅僅包含了兩個欄位(ID, Item) 使用者ID，商品名稱。 ##### code start #####  # 載入包 library(arules) # 載入資料 dvdtrans <- read.csv(system.file("csv", "dvdtrans.csv", package="rattle") )  # 函式system.file()見預備知識 # 將資料轉換為arules關聯規則方法apriori 可以處理的資料形式.交易資料 data <- as(split(dvdtrans$Item, dvdtrans$ID), "transactions") # 檢視一下資料 attributes(data)
# 使用apriori函式生成關聯規則 rules <- apriori(data, parameter= list(support=0.6, conf=0.8,target="rules")) # 使用inspect函式提取規則 inspect(rules) ##### code end #####  上面的示例只是給一個感覺。繼續… #################### nutshell

##################################################################

使用資料:Titanic

# look for data

str(Titanic)

# transform table into data frame

df <- as.data.frame(Titanic)

head(df)

> head(df)

ClassSexAgeSurvivedFreq

1  1st   MaleChild      No    0

2  2nd   MaleChild      No    0

3  3rd   MaleChild      No  35

4  Crew  MaleChild      No    0

titanic.raw <- NULL

# 如果頻率欄位大於0,將該行記錄按列追加到變數中,Freq=0,當然就不追加

for(iin1:4) {

titanic.raw <- cbind(titanic.raw, rep(as.character(df[,i]),df$Freq))

}

# 前35行都是一樣的

]]]]> titanic.raw[1:36,]

      [,1]  [,2]    [,3]    [,4]

[1,]"3rd""Male"  "Child""No"

[2,]"3rd""Male"  "Child""No"

[3,]"3rd""Male"  "Child""No"

[4,]"3rd""Male"  "Child""No"

...

[35,]"3rd""Male"  "Child""No"

[36,]"3rd""Female""Child""No"

# transform to data frame

titanic.raw <- as.data.frame(titanic.raw)

> head(titanic.raw)

   V1  V2    V3V4

1 3rd MaleChildNo

2 3rd MaleChildNo

3 3rd MaleChildNo

4 3rd MaleChildNo

5 3rd MaleChildNo

6 3rd MaleChildNo

# 生成資料框後新增屬性名稱

names(titanic.raw) <- names(df)[1:4];dim(titanic.raw);

summary(titanic.raw)

# 轉換後:每一行代表了一個人,可以用於關聯規則。轉換前是什麼型別的資料? (按照class、sex、年齡彙總的生存人數的資料)

With the function, the default settings are:1) supp=0.1, which is the minimum support of rules;2) conf=0.8, which is the minimum confidence of rules; and 3) maxlen=10, which is the maximum length of rules.

library(arules)

rules <- apriori(titanic.raw) # apriori可以直接傳遞非transactions型別的物件,內部自動轉換

rules # 根據最小的 (supp=0.1,conf=0.8),返回的規則的最多個數 10個

summary(rules);

inspect(rules);

quality(rules) <- quality(rules)

inspect(rules)
翻譯: 關聯規則挖掘一個常見的現象是，很多產生的規則並不是有趣的。考慮到我們只關心規則的右件(rhs)表示是否生存， 所以我們引數 appearance 中設定 rhs=c("Survived=No", "Survived=Yes") 並確定 只有這兩種情況出現在 規則右件中(rhs). 其它的項集可以出現在規則左件(lhs)，使用default="lhs"設定。 上面的結果也可以看到,第一個規則的lhs 是個空集，為了排除這樣的規則，可以使用minlen=2。 而且，演算法處理的過程被壓縮(簡化)是通過verbose=F設定的。 關聯規則挖掘結束後，規則將會以lift提升度按照從大到小的排序方式進行排序

rules.better <- apriori(titanic.raw,

     parameter=list(minlen=2,supp =0.005,conf =0.8),

     appearance= list(rhs=c("Survived=No","Survived=Yes"),default="lhs"),

     control= list(verbose=F)

)

# base on lift sorted

rules.sorted <- sort(rules.better, by="lift")

inspect(rules.sorted)

> inspect(rules.sorted)

   lhs            rhs                supportconfidence    lift

1  {Class=2nd,                                                   

Age=Child}  => {Survived=Yes} 0.0109041341.00000003.095640

2  {Class=2nd,                                                   

    Sex=Female,                                                  

Age=Child}  => {Survived=Yes} 0.0059064061.00000003.095640

3  {Class=1st,                                                   

Sex=Female} => {Survived=Yes} 0.0640617900.97241383.010243

4  {Class=1st,                                                   

    Sex=Female,                                                  

Age=Adult}  => {Survived=Yes} 0.0636074510.97222223.009650

5  {Class=2nd,                                                   

Sex=Female} => {Survived=Yes} 0.0422535210.87735852.715986

6  {Class=Crew,                                                  

Sex=Female} => {Survived=Yes} 0.0090867790.86956522.691861

7  {Class=Crew,                                                  

    Sex=Female,                                                  

Age=Adult}  => {Survived=Yes} 0.0090867790.86956522.691861

8  {Class=2nd,                                                   

    Sex=Female,                                                  

Age=Adult}  => {Survived=Yes} 0.0363471150.86021512.662916

9  {Class=2nd,                                                   

    Sex=Male,                                                    

Age=Adult}  => {Survived=No}  0.0699681960.91666671.354083

10 {Class=2nd,                                                   

Sex=Male}   => {Survived=No}  0.0699681960.86033521.270871

11 {Class=3rd,                                                   

    Sex=Male,                                                    

Age=Adult}  => {Survived=No}  0.1758291690.83766231.237379

12 {Class=3rd,                                                   

Sex=Male}   => {Survived=No}  0.1917310310.82745101.222295

翻譯: 當其它設定不發生變化的情況下，越小的支援度會產生更多的規則。這種產生的規則中項集之間的關聯看起來更像是隨機的。 在上例中，最小支援度為0.005，那麼每一個規則至少有 支援度*交易數(記錄數) 個案例 是滿足支援度為0.005的。（2201 * 0.005 = 12） 支援度，置信度，提升度是選擇興趣規則的三個方法。還有一切其它的衡量方法，包括卡方，gini等。有多餘20中這樣的計算方法在interestMeasure()方法中 ### 規則的剪枝 從上面的例子中，我們能夠發現一些規則與其它規則相比沒有提供額外的資訊。(提供的資訊少)。 比如第二個規則給出的資訊，在第一個規則中已經都闡述明白了。因為規則1告訴我們 所有的 2nd-class的孩子都倖存了。 (即 Class=2nd，Age=Child 所有的都倖存了,置信度和lift都是一致的，再增加一個sex的判斷是冗餘的) 我們以這個例子來闡述何種情況定義為redundant（冗餘） 總體來說，規則2 是 規則1 的衍生規則，如果規則2 和 規則1 有相同的 提升度或者 比 規則1 更低的提升度，那麼規則2 就被認為是冗餘的。 總結 ：規則2 比 規則1 lhs多了sex的條件，同時lift ，兩者相同，所以規則2冗餘

   lhs            rhs                support confidence    lift

1  {Class=2nd,                                                   

Age=Child}=>{Survived=Yes}0.010904134  1.0000000   3.095640

2  {Class=2nd,                                                   

    Sex=Female,                                                 

Age=Child}=>{Survived=Yes}0.005906406  1.0000000   3.095640

程式碼： 函式解釋: is.subset(r1, r2): 檢查r1是否為r2的子集
lower.tri():返回一個邏輯 以TRUE為下三角的matrix；diag=T表示包含主對角線

# redundant

subset.matrix <- is.subset(rules.sorted, rules.sorted) # 

# 使得下三角包含主對角線設定為NA

subset.matrix[lower.tri(subset.matrix, diag=T)] <- NA

# 計算列TRUE的數量

redundant <- colSums(subset.matrix, na.rm=T) >= 1; # 

which(redundant) # 冗餘規則的下標

# 刪除冗餘規則

rules.pruned <- rules.sorted[!redundant]

inspect(rules.pruned)

> inspect(rules.pruned)

  lhs            rhs                support   confidence    lift

1 {Class=2nd,                                                   

Age=Child}  => {Survived=Yes} 0.0109041341.0000000     3.095640

2 {Class=1st,                                                   

Sex=Female} => {Survived=Yes} 0.0640617900.9724138     3.010243

3 {Class=2nd,                                                   

Sex=Female} => {Survived=Yes} 0.0422535210.8773585     2.715986

4 {Class=Crew,                                                  

Sex=Female} => {Survived=Yes} 0.0090867790.8695652     2.691861

5 {Class=2nd,                                                   

   Sex=Male,                                                    

Age=Adult}  => {Survived=No}  0.0699681960.9166667     1.354083

6 {Class=2nd,                                                   

Sex=Male}   => {Survived=No}  0.0699681960.8603352     1.270871

7 {Class=3rd,                                                   

   Sex=Male,                                                    

Age=Adult}  => {Survived=No}  0.1758291690.8376623     1.237379

8 {Class=3rd,                                                   

Sex=Male}   => {Survived=No}  0.1917310310.8274510     1.222295 規則的解釋：(解釋規則) 很容易就能找到高提升度的資料，但是理解識別出來的規則並不是一件容易的事情。 關聯規則在尋找商業意義上被誤解讀是很常見的。 比如，第一個規則，{Class=2nd,Age=Child}  => {Survived=Yes} 規則的置信度為1，提升度為3，並且沒有規則揭示age=Child時，class=c("1nd","3nd"). 因此，這樣可能就會被分析師解釋為：類別為2的孩子比其它類別的孩子(1,3)有更高的生存機率。 這種解釋是完全的錯誤的！！！！ 這個規則僅表示 所有類別為2的孩子倖存下來了，但是沒有提供任何資訊 來進行比較不同的類別的孩子的生存率 為了研究以上的問題，我們可以通過找到規則右件為存活的，即rhs為 Survived=Yes, 規則左件lhs 僅僅包括 Class=1st,2nd,3rd, Age=Child,Adult;不包括其它項集(如default="none") 我們對支援度和置信度使用較之前擬合模型這兩個引數較低的閾值，去找出所有孩子不同類別的規則。 為了方便，先將原來計算的規則寫出來，好做比較

# former rules set

rules.better <- apriori(titanic.raw,

parameter=list(minlen=2,supp =0.005,conf =0.8),

appearance= list(rhs=c("Survived=No","Survived=Yes"),default="lhs"),

control= list(verbose=F)

)

# compare rules set

rules <- apriori(titanic.raw, 

parameter=list(minlen=3,supp=0.002,conf=0.2),

appearance= list(rhs=c("Survived=Yes"),

   lhs=c("Class=1st","Class=2nd", "Class=3rd",

   "Age=Child","Age=Adult"),

   default="none"),

control= list(verbose =F)

);

rules.sorted <- sort(rules, by = "confidence")

inspect(rules.sorted)

 lhs            rhs          support     confidence      lift

1{Class=2nd,                                                   

Age=Child}=>{Survived=Yes}0.010904134  1.0000000     3.0956399

2{Class=1st,                                                   

Age=Child}=>{Survived=Yes}0.002726034  1.0000000     3.0956399

3{Class=1st,                                                   

Age=Adult}=>{Survived=Yes}0.089504771  0.6175549     1.9117275

4{Class=2nd,                                                   

Age=Adult}=>{Survived=Yes}0.042707860  0.3601533     1.1149048

5{Class=3rd,                                                   

Age=Child}=>{Survived=Yes}0.012267151  0.3417722     1.0580035

6{Class=3rd,                                                   

Age=Adult}=>{

相關推薦

關聯規則R語言實戰(Apriori演算法)

最近遇到一個業務問題需要用關聯規則的演算法來實現，為了解決業務問題，我又重新複習了一遍以前就學過的Apriori演算法並將其運用到業務場景中。下面，我想談一談在在具體的業務實現過程中我的一些感想。 一.理論背景 1.1基本術語定義 　　Ｘ和Y各代

R語言實現關聯規則與推薦演算法(學習筆記)

R語言實現關聯規則筆者前言：以前在網上遇到很多很好的關聯規則的案例，最近看到一個更好的，於是便學習一下，寫個學習筆記。推薦演算法中物品-物品用關聯規則；人物-物品用協同過濾；人-人用社會網路分析；特徵-

機器學習演算法（一）——關聯規則Apriori演算法及R語言實現方法

關聯規則演算法算是一種十分常用的機器學習演算法，無論是面試還是日後工作中都會經常出現，那麼本篇小博就記錄一下自己學習關聯規則經典演算法Apriori的筆記。 1、概述 Apriori演算法是用一種稱為逐層搜尋的迭代方法，從項集長度k=1開始，選出頻繁的k=1項集，根據先驗性

關聯規則的R語言實現

############################ 關聯分析 案例實踐 ############################  背景假定: 在電影商店中,一個客戶在一次購物中(也可不同時間段多次購買)購買了很多不同種類,品牌的電影盤。我們要從中找到有用的資訊,提升商店的銷售。 問題提出: 1

R語言實現兩文件對應行列字符替換

pack nbsp mode none 安裝 lse 規則 改變 2.x 假設存在文件file1.xlsx，其內容如下： 存在文件file2.xlsx，其內容如下： 現在我想從第七列開始，將file2所有的字符替換成file1一樣的，即第七、八、九、十列不需要

Fisher線性判別及R語言實現

目錄 判別分析  線性判別分析 求Fisher線性判別函式 計算判別界值 資料如下 R程式碼 程式碼解釋及結果分析 判別分析 discriminat analysis,是多變數統計中用於判別樣品所屬類別的一種統計分析方法。它所解決的問題是在一些已知研

R語言實現影象查重

（商業目的引用該文章請聯絡我，個人部落格引用該文章請註明來源，謝謝） 通過三個指令碼實現影象查重（需要提前匯入R的jpeg庫） R指令碼路徑： D:\Computer Science\Programming\R\ImageProcessing 影象儲存路徑： D:\

logistic邏輯迴歸公式推導及R語言實現

Logistic邏輯迴歸 Logistic邏輯迴歸模型 線性迴歸模型簡單，對於一些線性可分的場景還是簡單易用的。Logistic邏輯迴歸也可以看成線性迴歸的變種，雖然名字帶回歸二字但實際上他主要用來二分類，區別於線性迴歸直接擬合目標值，Logistic邏輯迴歸擬合的是正類和負類的對數機率。 假設有一個二分類問

用R語言實現對不平衡資料的四種處理方法

https://www.weixin765.com/doc/gmlxlfqf.html 在對不平衡的分類資料集進行建模時，機器學**演算法可能並不穩定，其預測結果甚至可能是有偏的，而預測精度此時也變得帶有誤導性那麼，這種結果是為何發生的呢？到底是什麼因素影響了這些演算法的表現？   在不平衡的

基於R語言實現SVM

library(lattice) xyplot(Petal.Length ~ Petal.Width, data = iris, groups = Species, + auto.key=list(corner=c(1,0)))   data("iris") attac

KNN最近鄰分類的R語言實現

思想簡介 KNN（k-Nearest Neighbor)是一種懶惰機器學習演算法(lazy learning)。所謂k最近鄰，就是k個最近的鄰居的意思，說的是每個樣本都可以用它最接近的k個鄰居來代表。簡而言之，它在拿到訓練集資料時並不急著去建模，而是在拿到測試集資料後，再到訓練集資料

R語言實現LDA主題模型分析知乎話題

 這是一篇關於文字主題分析的應用實踐，主要嘗試聚焦幾個問題，什麼是LDA主題模型？如何使用LDA主題模型進行文字？我們將知乎上面的轉基因話題精華帖下面的提問分成六大主題進行實踐。 轉基因“風雲再起” 2017年5月18日璞谷塘悄然開張，這是小崔線上販賣非轉基因食品的網

應用統計學與R語言實現學習筆記（五）——引數估計

Chapter 5 Estimation 本篇是第五章，內容是引數估計。 1.引數估計的一般問題 正如前面介紹的，統計學的兩大分支，分別是描述統計和推斷統計。所以今天來談談推斷統計的第一大問題——引數估計。當然一般叫統計推斷的會更多些，二者是一樣

推薦演算法-關聯規則|R

推薦演算法-關聯規則 1 概念 關聯規則是常見的推薦演算法，從發現大量使用者行為資料中發現有強關聯的規則。 關聯規則是一種無監督的機器學習方法，用於知識發現。優點是能夠從大量行為資料中挖掘出無法直接感受到的規則，往往能給出意想不到的規則組合。缺點是難

Bagging演算法的R語言實現

原始連結 http://www.tuicool.com/articles/yIjyiu bagging 是bootstrap aggregating的縮寫，是第一批用於多分類整合演算法。 bagging演算法如下：  迴圈K次，每次都從樣本集D中有放回地抽取樣本集Di，這樣總共得到k個樣本集，用這K個樣

區域性搜尋演算法的R語言實現

禁忌演算法 禁忌演算法是啟發式演算法對個體的應用的一種。由於在運用最速下降或者最速上升區域性搜尋最值的時候可能會因為到了區域性最小值後停止搜尋。這裡禁忌演算法是一種可以look back的演算法，但是需要設定一些禁忌目錄來保證搜尋不是無限的。 例如：在B

應用統計學與R語言實現學習筆記（二）——資料收集

Chapter 2 Data Collection 本篇是第二章，內容是資料收集。 1.資料來源 做科學研究離不開資料，而資料的來源有哪些呢？ 這裡比較簡單地將資料來源分為兩類：直接（一手）資料和間接（二手）資料。 直接資料的資料獲取來源包括

常用連續型分佈介紹及R語言實現

R的極客理想系列文章，涵蓋了R的思想，使用，工具，創新等的一系列要點，以我個人的學習和體驗去詮釋R的強大。 R語言作為統計學一門語言，一直在小眾領域閃耀著光芒。直到大資料的爆發，R語言變成了一門炙手可熱的資料分析的利器。隨著越來越多的工程背景的人的加入，R語言的社群在迅速擴大成長。現在已不僅僅是統計領域，教

【決策樹】ID3演算法理解與R語言實現

一、演算法理解 想來想去，還是決定用各大暢銷書中的相親例子來解釋什麼叫決策樹。 簡單來說，決策樹就是根據各種變數，作為輸入條件，最終輸出決策的過程。比如上圖中女方在相親過程中，影響是否見男方的變數有年齡、長相、收入、是否是公務員等。 最終在各種變數組合下，最終輸出見或不

基於使用者的協同過濾演算法(Java實現或R語言實現

　　協同過濾的步驟是： 　　建立資料模型 —> 使用者相似度演算法 —>使用者近鄰演算法 —>推薦演算法。 　　基於使用者的協同過濾演算法在Mahout庫中已經模組化了，通過4個模組進行統一的方法呼叫。首先，建立資料模型(DataModel