海量資料探勘Mining Massive Datasets(MMDs) -Jure Leskovec courses學習筆記之association rules關聯規則與頻繁項集挖掘

{Frequent Itemsets: Often called "association rules," learn a number of techniques for finding items that appear unusually often together.  The classical story of "beer and diapers" (people who buy diapers in a supermarket are unusually likely to buy beer) is an example of this data-mining technique.}

題外話: lz真的不建議看這個視訊，當你看了這個視訊後，你會發現，原本一個簡單的問題可以通過很優雅的方式簡單地解釋清楚的時候，主講人總是偏離方向，以一種相當繁瑣隱晦的形式講到另一個地方去，而讓人一下子就可以明白的解釋總是講不出來，讓人看不懂（說真的，那個比較老的主講人講解的是相當水），並且製作的ppt中的語句完全不是最好的，總是缺點什麼，總要加一點註釋在下面才能更好明白那是什麼意思。所以關於頻繁項集挖掘以及關聯規則，lz建議看看《資料探勘概念與技術》這本書中第六章 挖掘頻繁模式、關聯和相關性：基本概念與方法的內容，講的相當清晰易懂）

Frequent Itemsets頻繁項集

與相似性分析的區別：相似性分析，研究的物件是集合之間的相似性關係。而頻繁項集分析，研究的集合間重複性高的元素子集。

Market-Basket 模型及其應用

Note: 一個item可以看成是買的一個東西，其集合就是項集。一個basket就是買的東西的集合，也是一個項集，但一般看作是多個項集的集合。

頻繁項集的應用：真實超市購物籃的分析，文件或網頁的關聯程式分析，文件的抄襲分析，生物標誌物（疾病與某人生物生理資訊的關係）

應用一：人們會同時買什麼

Note:

1. Run a sale on diapers; raise price of beer.是一種營銷策略，但是反過來卻不是。這就要分析頻繁項集的原因。

2. 當然這種營銷策略只對實體店有效。超市購物籃的分析，主要是針對實體銷售商，而不是線上零售商，這是因為實體銷售可以找點頻繁項集合後，可以採取對一種頻繁項商品促銷，而擡高相關的頻繁項其他商品的價格來獲利，因為客戶一般不會去另外一家店購買其他的商品。而這種策略在線上銷售時，會忽略“長尾”客戶的需求。對於實體銷售，商品的數量和空間資源有限，所以只能針對一些暢銷商品進行關注和指定策略。而對於線上銷售，沒有資源限制，而且客戶切換商戶很方便，所以實體店銷售的策略不合適線上銷售，線上銷售更應該關注相似客戶群的分析，雖然他們的購買的產品不是最暢銷、頻繁的，但對客戶群的偏好分析，可以很容易做到對每個客戶進行定製化廣告推薦，所以，相似性分析對線上銷售更為重要。

應用二：抄襲plagiarism檢測

Note: the basket corresponding to a sentence contains all the documents in which that sentence appears.
應用三：詞關聯

關聯規則Association Rules、支援度與置信度

Support支援度

支援度： 包含頻繁項集F的集合的數目。項集的支援度就是項集應該在所有basket中出現的數目。>=項集的支援度的項集都是頻繁項集。

Confidence置信度

置信度：confidence(A=>B) = P(B|A) = support(A U B)/support(A) = support_count(A U B)/support_count(A)，就是itemA存在時itemB也存在的條件概率，也是頻繁項A與某項B的並集的支援度 與 頻繁項集A的支援度的比值。

尋找關聯規則和頻繁項集

關聯規則挖掘兩個步驟

1. 尋找所有頻繁項集（滿足最小支援度的項集）

2. 由頻繁項集產生關聯規則（滿足最小支援度和最小可信度的項集）

Note: 確定頻繁項集，{i}只需要support，而{i,j}則需要support*confidence.

Note:

1. 這種尋找關聯規則的方法步驟是：先找到支援度>=cs的，然後去掉其中一個item j，找到支援度>=s的，這樣去掉j後的項集{i}->j的置信度>=c，{i}->j就是一個關聯規則。

2. 這種解釋完全沒有《資料探勘概念與技術》中的解釋清晰明瞭。

頻繁項集的計算模型

演算法瓶頸

尋找頻繁二項集的演算法

Naive Algorithm樸素演算法

頻繁項對{i, j}在記憶體中的存放方式

{用什麼資料結構來儲存頻繁二項集數對更有效}

Triangular Matrix三角陣方法

{採用一個數組來儲存這個三角陣中的元素，它可以節省二維陣列一半的空間}

Note: translate from an items name in the data to its integer.A hash table whose key is the original name of the item in the data will do just fine.

Note: 因為pairs存放在一個一維陣列中。則頻繁對(i, j)存放的位置就是上面這個公式。

Tabular三元組方法

{當頻繁項對的數目小於C(n, 2)的數目的1/3時，三元組的方式相對於三角陣比較有優勢}

Note: 連結串列實現需要指標指向下一個，這樣就是16p而不是12p了。

兩種方法的比較和取捨

如果有大於1/3的候選二項集是頻繁二項集，那麼使用Triangular結構儲存比較好。if more than one-third of possible pairs are present in at least one basket,you prefer the triangular matrix.

設頻繁一項集數目為N，頻繁二項集的數目為M，候選二項集自然就是N^2/2。則使用Triangular矩陣儲存頻繁二項集的空間為4*N^2/2， 使用Tabular結構儲存頻繁二項集的空間為12*M。當大於1/3的候選二項集是頻繁二項集，也就是1/3 * N^2/2 < M，這時4*N^2/2 < 12*M，使用Triangular矩陣儲存頻繁二項集的空間較小。

A-priori演算法

{通過限制候選產生來發現頻繁項集。Aprior有點類似廣度優先的演算法。}

頻繁項集的先驗性質：單調性和反單調性

Note: 尋找頻繁二項集是掃描兩次，頻繁k項集當然是k次。if you want to go pass pairs to larger item sets,then you need k passes, define frequent items that's of size up to K.

A-priori演算法步驟

頻繁二項集的挖掘

If there's still too many counts to maintain in main memory,we need to try something else,a different algorithm,splitting the task among different processors, or even buying more memory.

A-Priori演算法中使用Triangular Matrix

Note:

1. 也就是第一次掃描後，選出頻繁一項集並重新編號，組成Triangular Matrix。在Triangular Matrix中再選出頻繁二項集重新編號，並組成Triangular Matrix，再進行下一次Apriori演算法的計算。

2. There are better ways to organize the table that save space,if the fraction of items that are frequent is small.For example, we could use a hash table in which we stored only the frequent items with the key being the old number and the associated value being the new number.(也就是Tabular?)

頻繁K項集挖掘

資料探勘概念與技術中對Apriori演算法的圖解

是不是簡單清晰得多！

Apriori演算法記憶體需求分析

每次計算一個頻繁k{k = 1-K}項集，都要掃描一次basket(transaction交易)

Apriori演算法的記憶體的使用情況，左邊為第一步時的記憶體情況，右圖為第二步時記憶體的使用情況

在第一步（對所有item掃描計數，並選出頻繁一項集）裡，我們只需要兩個表，一個用來儲存項的名字到一個整數的對映，用這些整數值代表項，一個數組來計數這些整數。

Reviews複習

Triangular Matrix和Tabular的選擇

Note: S是N和M的函式。

從上面分析可知：如果有大於1/3的候選二項集是頻繁二項集（也就是1/3 * N^2/2 < M <=> N^2 < 6M），那麼使用Triangular結構儲存比較好。並且使用Triangular矩陣儲存頻繁二項集的空間為4*N^2/2， 使用Tabular結構儲存頻繁二項集的空間為12*M。

N = 10,000, M=50,000,000,則N^2 = 10^8 < 6M=3*10^8,故使用Triangular矩陣來儲存頻繁二項集，空間為S = 4*N^2/2=2*10^8。(的確比12*M = 6*10^8小)

N = 100,000, M=40,000,000,則N^2 = 10^10 > 6M=2.4*10^8,故使用Tabular來儲存頻繁二項集，空間為S =12*M=4.8*10^8。(的確比4*N^2/2= 2*10^10小)

N = 100,000, M=100,000,000,則N^2 = 10^10 > 6M=6*10^8,故使用Tabular矩陣來儲存頻繁二項集，空間為S =12*M=12*10^8。(的確比4*N^2/2= 2*10^10小)

N = 30,000, M=100,000,000,則N^2 = 9*10^8 > 6M=6*10^8,故使用Tabular矩陣來儲存頻繁二項集，空間為S =12*M=18*10^8。(的確比4*N^2/2= 12*10^8小)