原文地址：http://blog.sina.com.cn/s/blog_6a17628d0100v83b.html

1． 挖掘關聯規則

1.1 什麼是關聯規則

一言蔽之，關聯規則是形如X→Y的蘊涵式，表示通過X可以推導“得到”Y，其中X和Y分別稱為關聯規則的先導(antecedent或left-hand-side, LHS)和後繼(consequent或right-hand-side, RHS)

1.2 如何量化關聯規則

關聯規則挖掘的一個典型例子便是購物車分析。通過關聯規則挖掘能夠發現顧客放入購物車中的不同商品之間的關聯，分析顧客的消費習慣。這種關聯規則的方向能夠幫助賣家瞭解哪些商品被顧客頻繁購買，從而幫助他們開發更好的營銷策略。比如：將經常同時購買的商品擺近一些，以便進一步刺激這些商品一起銷售；或者，將兩件經常同時購買的商品擺遠一點，這樣可能誘發買這兩件商品的使用者一路挑選其他商品。

在資料探勘當中，通常用“支援度”（support）和“置性度”（confidence）兩個概念來量化事物之間的關聯規則。它們分別反映所發現規則的有用性和確定性。比如：

Computer => antivirus_software , 其中 support=2%, confidence=60%

表示的意思是所有的商品交易中有2%的顧客同時買了電腦和防毒軟體，並且購買電腦的顧客中有60%也購買了防毒軟體。在關聯規則的挖掘過程中，通常會設定最小支援度閾值和最小置性度閾值，如果某條關聯規則滿足最小支援度閾值和最小置性度閾值，則認為該規則可以給使用者帶來感興趣的資訊。

1.3

 關聯規則挖掘過程

1）幾個基本概念：

關聯規則A->B的支援度support=P(AB)，指的是事件A和事件B同時發生的概率。

置信度confidence=P(B|A)=P(AB)/P(A),指的是發生事件A的基礎上發生事件B的概率。

同時滿足最小支援度閾值和最小置信度閾值的規則稱為強規則。

如果事件A中包含k個元素，那麼稱這個事件A為k項集，並且事件A滿足最小支援度閾值的事件稱為頻繁k項集。

2）挖掘過程：

第一，找出所有的頻繁項集；

第二，由頻繁項集產生強規則。

2． 什麼是Apriori

2.1 Apriori介紹

Apriori

演算法使用頻繁項集的先驗知識，使用一種稱作逐層搜尋的迭代方法，k項集用於探索(k+1)項集。首先，通過掃描事務（交易）記錄，找出所有的頻繁1項集，該集合記做L₁，然後利用L₁找頻繁2項集的集合L₂，L₂找L₃，如此下去，直到不能再找到任何頻繁k項集。最後再在所有的頻繁集中找出強規則，即產生使用者感興趣的關聯規則。

其中，Apriori演算法具有這樣一條性質：任一頻繁項集的所有非空子集也必須是頻繁的。因為假如P(I)< 最小支援度閾值，當有元素A新增到I中時，結果項集（A∩I）不可能比I出現次數更多。因此A∩I也不是頻繁的。

2.2 連線步和剪枝步

在上述的關聯規則挖掘過程的兩個步驟中，第一步往往是總體效能的瓶頸。Apriori演算法採用連線步和剪枝步兩種方式來找出所有的頻繁項集。

1） 連線步

為找出L_k（所有的頻繁k項集的集合），通過將L_k-1（所有的頻繁k-1項集的集合）與自身連線產生候選k項集的集合。候選集合記作C_k。設l₁和l₂是L_k-1中的成員。記l_i[j]表示l_i中的第j項。假設Apriori演算法對事務或項集中的項按字典次序排序，即對於（k-1）項集l_i，l_i[1]<l_i[2]<……….<l_i[k-1]。將L_k-1與自身連線，如果(l₁[1]=l₂[1])&&( l₁[2]=l₂[2])&&……..&& (l₁[k-2]=l₂[k-2])&&(l₁[k-1]<l₂[k-1])，那認為l₁和l₂是可連線。連線l₁和l₂ 產生的結果是{l₁[1],l₁[2],……,l₁[k-1],l₂[k-1]}。

2） 剪枝步

C_K是L_K的超集，也就是說，C_K的成員可能是也可能不是頻繁的。通過掃描所有的事務（交易），確定C_K中每個候選的計數，判斷是否小於最小支援度計數，如果不是，則認為該候選是頻繁的。為了壓縮C_k,可以利用Apriori性質：任一頻繁項集的所有非空子集也必須是頻繁的，反之，如果某個候選的非空子集不是頻繁的，那麼該候選肯定不是頻繁的，從而可以將其從C_K中刪除。

（Tip：為什麼要壓縮C_K呢？因為實際情況下事務記錄往往是儲存在外儲存上，比如資料庫或者其他格式的檔案上，在每次計算候選計數時都需要將候選與所有事務進行比對，眾所周知，訪問外存的效率往往都比較低，因此Apriori加入了所謂的剪枝步，事先對候選集進行過濾，以減少訪問外存的次數。）

2.3 Apriori演算法例項

交易ID	商品ID列表
T100	I1，I2，I5
T200	I2，I4
T300	I2，I3
T400	I1，I2，I4
T500	I1，I3
T600	I2，I3
T700	I1，I3
T800	I1，I2，I3，I5
T900	I1，I2，I3

上圖為某商場的交易記錄，共有9個事務，利用Apriori演算法尋找所有的頻繁項集的過程如下:

詳細介紹下候選3項集的集合C3的產生過程：從連線步，首先C3={{I1,I2,I3}，{I1,I2,I5}，{I1,I3,I5}，{I2,I3,I4}，{I2,I3,I5}，{I2,I4,I5}}（C3是由L2與自身連線產生）。根據Apriori性質，頻繁項集的所有子集也必須頻繁的，可以確定有4個候選集{I1,I3,I5}，{I2,I3,I4}，{I2,I3,I5}，{I2,I4,I5}}不可能時頻繁的，因為它們存在子集不屬於頻繁集，因此將它們從C3中刪除。注意，由於Apriori演算法使用逐層搜尋技術，給定候選k項集後，只需檢查它們的（k-1）個子集是否頻繁。

3． Apriori虛擬碼

演算法：Apriori 輸入：D - 事務資料庫；min_sup - 最小支援度計數閾值 輸出：L - D中的頻繁項集 相關推薦 頻繁模式挖掘 Apriori 演算法簡介 本文主要介紹頻繁模式挖掘演算法，以及其典型的應用和Apriori演算法。頻繁模式挖掘，相關性挖掘，關聯規則學習，Apriori演算法等等，這些看似不同但本質上一樣的概念一直以來被用於描述資料探勘的相關內容。所謂的資料探勘是指利用統計的方法從某個資料集中發現有價值 頻繁模式挖掘 Apriori 原文地址：http://blog.sina.com.cn/s/blog_6a17628d0100v83b.html 1． 挖掘關聯規則 1.1 什麼是關聯規則 一言蔽之，關聯規則是形如X→Y的蘊涵式，表示通過X可以推導“得到”Y，其中X和Y分別稱 頻繁模式挖掘apriori演算法介紹及Java實現 頻繁模式是頻繁地出現在資料集中的模式（如項集、子序列或者子結構）。例如，頻繁地同時出現在交易資料集中的商品（如牛奶和麵包）的集合是頻繁項集。 一些基本概念 支援度：support(A=>B)=P(A並B) 置信度：confidence(A=>B)=P(B|A) 評價頻繁模式挖掘和關聯分析的指標(模型興趣度度量方法) 強規則不一定是有趣的 關聯分析和頻繁模式挖掘的兩大經典演算法包括：Apriori演算法和FP-growth。 其在學習過程中的評價指標主要包括支援度（包括支援度計數）和置信度（也叫可信度）。但其實這兩個指標有一定的侷限性。 示例問題如下： 假設一共有10000個事務，其中包括A事件的 基於約束的頻繁模式挖掘 7.3.1 關聯規則的元規則制導挖掘 元規則的作用是什麼？ 元規則使得使用者可以說明他們感興趣的規則的語法形式。規則的形式可以作為約束，幫助提高 挖掘的效能。也是說，它挖掘一種規則的形式（或者說，屬性的組合模式而不是這種組合本身。） 那麼如何使用元規則指導挖掘過程呢？ 首 時間序列頻繁模式挖掘：A->(EFG)->C 模式的思考 首先了解一下 A->(EFG)->C 是個什麼形式： 這裡面被括號包覆的部分表示EFG是無序存在的，比如EFG,EGF,GEF,GFE他們都可以統一寫成（EFG）的形式，假設這四個項集都只 【資料探勘學習筆記】10.頻繁模式挖掘基礎 一、基本概念頻繁模式– 頻繁的出現在資料集中的模式– 項集、子序或者子結構動機– 發現數據中蘊含的事物的內在規律• 項(Item) – 最小的處理單位 – 例如：Bread, Milk• 事務(Transaction) – 由事務號和項集組成 – 例如：<1, {Bre 【資料探勘學習筆記】11.頻繁模式挖掘進階與關聯規則 一、關聯規則關聯規則步驟：– 1、找個這個“同一項集”，相同的項集對應的規則有相同的支援度，找到支援度≥minsup的項集– 2、計算項集中所有規則的置信度，找到置信度≥minconf的規則由頻繁項集生成關聯規則生成關聯規則– 給定頻繁項集L，找出L的所有非空子集f，滿足f 頻繁模式挖掘的模式評估方法 頻繁模式挖掘可以出很多模式，但是判斷一個模式是否有趣，需要用到模式的評估方法。下面介紹常用的模式評估方法。（假設項集A、B） 1、支援度   包含項集A和B的項的元組數與所有元組數的比值，一般計為P（ FP-Growth序列頻繁模式挖掘 1演算法設計目標 輸入不同的命令是使用者使用Linux伺服器的基本途徑，通過長時間採集不同使用者在使用伺服器過程中所使用的命令序列，挖掘其中頻繁出現的命令序列，可以幫助我們瞭解使用者使用該伺服器的基本規律。 此外，如果存在多臺伺服器，那麼我們可以分析挖掘這些伺服器中使用者輸 購物籃分析分類演算法——頻繁模式挖掘（聚類演算法）         頻繁模式是頻繁地出現在資料集中的模式，包括頻繁項集（如牛奶和麵包）、頻繁子序列（首先購買PC，然後是數碼相機，再後是記憶體卡）或頻繁子結構（涉及不同的結構形式，如子圖、子樹或子格，它可 頻繁模式挖掘（Frequent Pattern Mining）        頻繁模式挖掘（FrequentPatternMining）是資料探勘中很常用的一個種挖掘，今天給大家介紹的一種名叫Apriori的頻繁模式挖掘演算法。先來看看什麼叫頻繁模式？~就是經常一起出現的模式，這裡的“模式”是一個比較抽象的概念，我們來看一個具體的例子， 手推FP-growth (頻繁模式增長）算法------挖掘頻繁項集 att 相同 事務 支持 apr 一次 多個 什麽 統計 一.頻繁項集挖掘為什麽會出現FP-growth呢？ 原因：這得從Apriori算法的原理說起，Apriori會產生大量候選項集（就是連接後產生的），在剪枝時，需要掃描整個數據庫（就是給出的數據），通過模式匹配檢查候 挖掘頻繁模式、關聯和相關性：基本概念和方法 基本概念 頻繁模式： 頻繁模式是頻繁地出現在資料集中的模式（如項集、子序列或子結構）。 例如：頻繁地同時出現在交易資料集中的商品（如香皂和洗衣液）的集合是頻繁項集。 序號 交易號 香皂（a） 洗髮露（b） 洗衣液（c） 牙膏 資料探勘之挖掘頻繁模式的基本概念及方法 摘自《DATA MINING:Concepts and Techniques》一書，以及個人理解，主要為自己鞏固和總結，如有紕漏和出錯的地方，還請指出。此書第六章開頭指出    頻繁模式（frequent pattern），是指頻繁地出現在資料集中的模式，譬如項集，子序列或子 【資料探勘筆記六】挖掘頻繁模式、關聯和相關性：基本概念和方法 6.挖掘頻繁模式、關聯和相關性：基本概念和方法 頻繁模式（frequent pattern）是頻繁地出現在資料集中的模式。 6.1 基本概念 頻繁模式挖掘搜尋給定資料集中反覆出現的聯絡，旨在發現大型事務或關係資料集中項之間有趣的關聯或相關性，其典型例子就是購物籃分析。 購物 【資料探勘概念與技術】學習筆記6-挖掘頻繁模式、關聯和相關性：基本概念和方法（編緝中） 頻繁模式是頻繁地出現在資料集中的模式（如項集、子序列或子結構）。頻繁模式挖掘給定資料集中反覆出現的聯絡。“購物籃”例子，想象全域是商店中商品的集合，每種商品有一個布林變數，表示該商品是否出現。則每個購物籃可以用一個布林向量表示。分析布林向量，得到反映商品頻繁關聯或同時購買的購買模式。這些模式可用關聯規則來表示 資料探勘中的模式發現（五）挖掘多樣頻繁模式 挖掘多層次的關聯規則(Mining Multi-Level Associations) 定義 項經常形成層次。 如圖所示 那麼我們可以根據項的細化分類得到更多有趣的模式，發現更多細節的特性。 Level-reduced min-support 2018-03-24 第六章：挖掘頻繁模式、關聯和相關性：基本概念 6.3 模式評估方法  大部分關聯規則挖掘演算法都使用支援度-置信度框架。儘管最小支援度和置信度閥值有助於排除大量無趣規則的探查，但仍然會產生一些使用者不感興趣的規則。強規則不一定是有趣的，甚至會誤導。    如：假設有10000個事務中，資料顯示6000個顧客事務包含計算機遊戲，7500個事務包含錄影，而4 挖掘頻繁模式、相關和關聯（1） 頻繁模式（Frequent Pattern）是頻繁出現在資料集中的模式（如項集，子序列和子結構）。頻繁模式一般可以用關聯規則表示如何判斷模式是否頻繁，有兩個基本的度量： 支援度（support）：該模式在所有被考察的物件中的佔比，表示了該模式（規則）的有用性； 置信度（