• （1）詞集模型：Set Of Words，單詞構成的集合，集合自然每個元素都只有一個，也即詞集中的每個單詞都只有一個
• （2）詞袋模型：Bag Of Words，如果一個單詞在文件中出現不止一次，並統計其出現的次數（頻數）

為文件生成對應的詞集模型和詞袋模型

考慮如下的文件：

dataset = [['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
         ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
         ['my'
 
, 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
         ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
         ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
         ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]

list of lists 的每一行表示一個文件；

第一步：生成詞彙表

vocabSet = set()
for doc in dataset:
    vocabSet |= set(doc)
vocabList = list(vocabSet)

為每一個文件建立詞集向量/詞袋向量

# 詞集模型
SOW = []
for doc in dataset:
    vec = [0]*len(vocabList)
    for i, word in enumerate(vocabList):
        if word in doc:
            vec[i] = 1
    SOW.append(doc) 

# 詞袋模型
BOW = []
for
 
 doc in dataset:
    vec = [0]*len(vocabList)
    for word in doc:
        vec[vocabList.index[word]] += 1
    BOW.append(vec)