What Is Natural Language Processing?

本文將學習自然語言處理，當給予計算機一篇文章，它並不知道這篇文章的含義。為了讓計算機可以從文章中做出推斷，我們需要將文章轉化為數值表示。這個過程使得計算機能夠憑語法規則去識別它。那麼首先就要學會如何將文章變為數值表示。

Looking At The Data

Hacker News網站是一個可以提交文章的社群網站，並且其他的人可以對文章進行投票。投票最高的文章會被放到首頁，這樣就有更多的人可以看到它。我們的資料集就是 Hacker News網站2006年到2015年提交的文章集合。Arnaud Drizard利用Hacker News API爬取到了這些資料。我們從中隨機抽取了3000個樣本，刪除了所有多餘的列，最終資料的屬性如下：

• submission_time – when the article was submitted.
• upvotes – number of upvotes the article got.
• url – the base url of the article.
• headline – the headline of the article.

• 我們將通過文章的標題來預測文章會收到多少投票（換句話就是哪種文章更受歡迎），首先將資料中的元素值為NA的行刪除掉。

import pandas as pd
submissions = pd.read_csv("sel_hn_stories.csv"
 
)
submissions.columns = ["submission_time", "upvotes", "url", "headline"]
submissions = submissions.dropna()

Tokenization

• 我們為了預測某個標題會得到多少個投票，那麼首先需要將標題轉換為數值表示。可以用詞袋模型（ bag of words model）來完成這個轉換，詞袋模型中將每個文字表示為一個數值型向量。看個例子：

• 詞袋模型的第一步就是分詞，將一個句子根據空格將其分散為一個個不相連的單詞。

tokenized_headlines = []
for
 
 item in submissions["headline"]:
    tokenized_headlines.append(item.split(" "))

Preprocessing

• 由於大小寫代表的意思相同，因此我們需要將所有的單詞都轉換為小寫
• 剔除掉標點符號

punctuation = [",", ":", ";", ".", "'", '"', "’", "?", "/", "-", "+", "&", "(", ")"]
clean_tokenized = []
for item in tokenized_headlines:
    tokens = []
    for token in item:
        token = token.lower()
        for punc in punctuation:
            token = token.replace(punc, "")
        tokens.append(token)
    clean_tokenized.append(tokens)

Assembling A Matrix

• 現在獲取了每個文字的詞袋，下一步就是將這些詞袋求並集。
• 利用single_tokens 剔除掉了只出現一次的單詞，這樣的單詞沒有多大意義。unique_tokens 自然就是儲存的大於一次的單詞。
• counts是個值全為0的DataFrame，其中列標籤為unique_tokens 中的單詞，行標籤為標題序號。

import numpy as np
unique_tokens = []
single_tokens = []
for tokens in clean_tokenized:
    for token in tokens:
        if token not in single_tokens:
            single_tokens.append(token)
        elif token in single_tokens and token not in unique_tokens:
            unique_tokens.append(token)

counts = pd.DataFrame(0, index=np.arange(len(clean_tokenized)), columns=unique_tokens)

Counting Tokens

• 填充上面構造的全零DataFrame，遍歷每個token 中的所有單詞，進行計數：

for i, item in enumerate(clean_tokenized):
    for token in item:
        if token in unique_tokens:
            counts.iloc[i][token] += 1

Removing Extraneous Columns

• 我們的屬性高達2309，並且其中絕大部分取值為0，這樣不便於分析。較多的屬性只會讓模型更加擬合噪音而不是真正的資訊，因此容易導致過擬合問題。

print(len(unique_tokens))
'''
2309
'''

有兩類特徵會降低模型的精度

• 第一種：只出現過幾次，這樣的特徵會導致過擬合。因為模型沒有更多的資訊來精確的確定這個特徵是否重要，因為它就只出現了幾次。並且它們在訓練集和測試集中對於目標變數的影響也會有很大的差異，因為出現太少，因此屬性分佈不平衡。
• 第二種：出現的次數太多，比如像and和to這樣的特徵根本不能給模型帶來任何有意義的資訊，這些詞被稱為停頓詞，應當剔除掉。

• 因此最終確定保留那些屬性值大於5小於100的屬性：

word_counts = counts.sum(axis=0)
'''
word_counts
Series (<class 'pandas.core.series.Series'>)
         418
and      289
for      298
as        47
you      100
is       158
'''
counts = counts.loc[:,(word_counts >= 5) & (word_counts <= 100)]

Splitting The Data

• sklearn.cross_validation中有專門劃分訓練集和測試集的函式train_test_split。
• counts中儲存的是分類資料，而submissions[“upvotes”]是類標籤資料，分別對其進行劃分。

from sklearn.cross_validation import train_test_split

X_train, X_test, y_train, y_test = train_test_split(counts, submissions["upvotes"], test_size=0.2, random_state=1)

Making Predictions

from sklearn.linear_model import LinearRegression

clf = LinearRegression()
clf.fit(X_train, y_train)

predictions = clf.predict(X_test)

Calculating Error

• 計算MSE，也就是平均平方誤差（mean squared error(MSE)）

mse = sum((y_test - predictions) ** 2) / len(predictions)
print(mse)
'''
2652.6082512522867
'''

Next Steps

• 得到的模型的mse是2652.6082512522867，這是一個很大的值，但是關於什麼是好的錯誤率這個沒有硬性規定，因為它取決於具體的問題。在這個問題中，投票的平均值是10，標準差是39.5。MSE的平方根是大約是51。這意味著我們的平均誤差是遠離真正的值的，所以我們預測時有很大偏差的。

可以採取以下措施來降低預測的偏差問題：

• 利用整個資料集進行模型的建立，因為在這個實驗中我們只是抽樣了3000個文章。如果利用全部的資料集將大大減少出錯率。
• 新增元特徵（ “meta” features），比如標題的長度，單詞的平均長度等等。
• 利用隨機森林或者其它更強大的機器學習演算法。
• 在剔除那些少見或者常見單詞的時候，要嘗試不同的閾值，找到最佳的為止。