機器學習(Machine Learning, ML)是一門多領域交叉學科，涉及概率論、統計學、逼近論、凸分析、演算法複雜度理論等多門學科。專門研究計算機怎樣模擬或實現人類的學習行為，以獲取新的知識或技能，重新組織已有的知識結構使之不斷改善自身的效能。它是人工智慧的核心，是使計算機具有智慧的根本途徑，其應用遍及人工智慧的各個領域，它主要使用歸納、綜合而不是演繹。（本文是個人的筆記，有些內容是引用）

有這麼一句話在業界廣泛流傳：資料和特徵決定了機器學習的上限，而模型和演算法只是逼近這個上限而已。那特徵工程到底是什麼呢？顧名思義，其本質是一項工程活動，目的是最大限度地從原始資料中提取特徵以供演算法和模型使用。說白了特徵工程就是將你自己收集到的資料轉化為演算法需要的資料形式。下圖是一個例子

接下來介紹幾種比較常見的特徵抽取

字典特徵抽取（使用sklearn）

字典資料抽取：把字典中一些類別資料，分別進行轉換成特徵，對於本來就是數值型的資料比如說溫度等直接保留，而對於有類別的資料則要先轉化為字典資料，sklearn中採用one-hot編碼的方式處理。

下面是one-hot編碼的舉例：

原字典

{'city':'北京','temperature':100},{'city':'上海','temperature':20},{'city':'杭州','temperature':90}

one-hot編碼後的字典：

{'city=北京': 1.0, 'temperature': 100.0}, {'city=上海': 1.0, 'temperature': 20.0}, {'city=杭州': 1.0, 'temperature': 90.0}

經過sklearn處理後轉化成的陣列：

可以清楚的看到city是用類別的，所以說先將city=城市名轉化為特徵名（一個類別對應一個特徵名），接著如果1代表符合特徵，0代表不符合。

下面是使用sklearn編寫的簡單字典資料抽取的程式碼：

from sklearn.feature_extraction import DictVectorizer

def dictvec():
    """
    字典資料抽取
    :return: None
    """
    #例項化
    dict = DictVectorizer()
    #呼叫fit_transform()
    data = dict.fit_transform([{'city':'北京','temperature':100},{'city':'上海','temperature':20},{'city':'杭州','temperature':90}])
    print('預設返回sparse矩陣')#好處在於節約記憶體，方便儲存
    print(data)

    #對比
    dict1 = DictVectorizer(sparse=False)
    data1 = dict1.fit_transform([{'city': '北京', 'temperature': 100}, {'city': '上海', 'temperature': 20}, {'city': '杭州', 'temperature': 90}])
    print('原陣列')
    print(dict1.get_feature_names())#檢視特徵名稱
    print(data1)

    return None

if __name__ == "__main__":
    dictvec()
 

文字特徵抽取（使用sklearn庫）

CounterVectorizer方法

a、統計所有文章中當前所有的詞，重複的字看做一次->詞的列表

b、對每一篇文章，在詞的列表裡面進行統計每個詞出現的次數（其中單個字母不統計）

下面是Python程式碼:

def countvec():
    """
    對文字進行特徵值化
    :return: None
    """
    cv = CountVectorizer()

    #預設返回sparse矩陣
    data = cv.fit_transform(["life is short,i like python is","life is too too long,i dislike python"])

    print(cv.get_feature_names())
    print(data.toarray())

    return None

如果要想處理中文則需要先進行分詞處理（這裡使用jieba進行分詞）

下面是對中文文字進行特徵抽取的Python程式碼：

def cutword():
    con1 = jieba.cut("有這麼一句話在業界廣泛流傳：資料和特徵決定了機器學習的上限，而模型和演算法只是逼近這個上限而已。那特徵工程到底是什麼呢？顧名思義，其本質是一項工程活動，目的是最大限度地從原始資料中提取特徵以供演算法和模型使用。")
    con2 = jieba.cut("資訊冗餘：對於某些定量特徵，其包含的有效資訊為區間劃分，例如學習成績，假若只關心“及格”或不“及格”，那麼需要將定量的考分，轉換成“1”和“0”表示及格和未及格。二值化可以解決這一問題。")

    #轉化成列表
    content1 = list(con1)
    content2 = list(con2)

    #把列表轉換成字串
    c1 = ' '.join(content1)
    c2 = ' '.join(content2)

    return c1,c2

def hanzivec():
    """
    中文特徵值化
    :return: None
    """
    c1,c2 = cutword()
    print(c1,c2)
    cv = CountVectorizer()

    # 預設返回sparse矩陣
    data = cv.fit_transform([c1,c2])

    print(cv.get_feature_names())
    print(data.toarray())

    return None

tfidf

在文章分類的應用場景中，只使用詞語出現的次數進行特徵抽取是沒有用的，因為會有很多其他詞（例如所以等中性詞）
會影響演算法對於文字的分析，所以我們需要將其他詞彙歸於一類。達到下圖的效果

TF-IDF的主要思想是：如果某個詞或短語在一篇文章中出現的頻率高，並且在其他文章中很少出現，則認為此詞或者短語具有很好的類別區分能力，適合用來分類。具體實現如下：

 Tf:term frequency詞的頻率

 idf:inverse document frequency：log(總文件數量/該次出現的文件數量)

 詞的重要性=tf*idf

 這樣可以算出哪些詞對於當篇文章的重要性比較大,也就可以實現文章分類的需求

下面是用TF-IDF進行文字特徵提取的Python程式碼：

def tfidfvec():
    """
    中文特徵值化
    :return: None
    """
    c1,c2 = cutword()
    print(c1,c2)
    tf = TfidfVectorizer()

    # 預設返回sparse矩陣
    data = tf.fit_transform([c1,c2])

    print(tf.get_feature_names())
    print(data.toarray())

    return None