作者|Marco Santos
編譯|Flin
來源|towardsdatascience

在無休止地瀏覽成百上千個交友檔案，卻沒有一個與之匹配之後，人們可能會開始懷疑這些檔案是如何在手機上出現的。所有這些配置檔案都不是他們要找的型別。他們已經刷了好幾個小時甚至幾天，都沒有發現任何成功。他們可能會問：

“為什麼這些約會應用程式會向我展示那些我知道我不適合的人呢？”

在很多人看來，用來顯示約會檔案的約會演算法可能已經失效，他們厭倦了在應該匹配的時候向左滑動。每個交友網站和應用程式都可能利用自己的祕密交友演算法來優化使用者之間的匹配。但有時它會讓人覺得它只是在向其他人展示隨機使用者，而沒有任何解釋。我們如何才能更多地瞭解這個問題，並與之作鬥爭？可以用一種叫做機器學習的方法。

我們可以使用機器學習來加速約會應用程式中使用者之間的配對過程。使用機器學習，配置檔案可以潛在地與其他類似的配置檔案聚集在一起。這將減少互不相容的配置檔案的數量。從這些叢集中，使用者可以找到更像他們的其他使用者。

叢集配置檔案資料

使用上面文章中的資料，我們能夠成功地獲得convenient panda DataFrame中的叢集約會配置檔案。

在此DataFrame中，每一行都有一個配置檔案，最後，在將Hierarchical Agglomerative Clustering（https://www.datanovia.com/en/lessons/agglomerative-hierarchical-clustering/）

不過，這些小組可以進行一些改進。

對叢集配置檔案進行排序

使用叢集檔案資料，我們可以根據每個檔案之間的相似程度對結果進行排序，從而進一步細化結果。這個過程可能比你想象的更快更容易。

import random

# 隨機選擇一個叢集
rand_cluster = random.choice(df['Cluster #'].unique())

# 將叢集配置檔案分配為新的DF
group = df[df['Cluster #']==rand_cluster].drop('Cluster #', axis=1)


## 向量化所選叢集中的BIOS

# 將Vectorizer適配到BIOS
cluster_x = vectorizer.fit_transform(group['Bios'])

# 建立一個包含向量化單詞的新DF
cluster_v = pd.DataFrame(cluster_x.toarray(), index=group.index, columns=vectorizer.get_feature_names())

# 連線向量DF和原始DF
group = group.join(cluster_v)

# 刪除BIOS，因為不再需要它來代替向量化
group.drop('Bios', axis=1, inplace=True)


## 在使用者之間尋找關聯

# 定位DF，以便我們與索引（使用者）關聯
corr_group = group.T.corr()


## 尋找排名前10位的類似使用者

# 隨機選擇一個使用者
random_user = random.choice(corr_group.index)

print("Top 10 most similar users to User #", random_user, '\n')

# 建立與所選使用者最相似的前10名使用者的DF
top_10_sim = corr_group[[random_user]].sort_values(by=[random_user],axis=0, ascending=False)[1:11]

# 列印結果
print(top_10_sim)

print("\nThe most similar user to User #", random_user, "is User #", top_10_sim.index[0])

 

程式碼分解

讓我們將程式碼分解為從random開始的簡單步驟，在整個程式碼中使用random來簡單地選擇叢集和使用者。這樣做是為了使我們的程式碼可以適用於資料集中的任何使用者。一旦我們有了隨機選擇的叢集，我們就可以縮小整個資料集的範圍，使之只包含那些帶有所選叢集的行。

向量化

在縮小選定叢集組的範圍後，下一步涉及對該組中的bios進行向量化。

用於此操作的向量器與用於建立初始叢集資料幀的向量器相同-CountVectorizer()。（向量器變數是在我們對第一個資料集進行向量化時預先例項化的，這可以在上面的文章中看到）。

# 使向量化器適合Bios 
cluster_x = vectorizer.fit_transform(group['Bios'])
# 建立一個新的DF，其中包含向量化的詞
cluster_v = pd.DataFrame(cluster_x.toarray(), 
                         index=group.index,   
                         columns=vectorizer.get_feature_names())

通過對Bios進行向量化處理，我們建立了一個二進位制矩陣，其中包含每個bio中的單詞。

然後，我們會將這個向量化的DataFrame加入到選定的組/叢集DataFrame中。

# 將向量DF和原始DF連線起來
group = group.join(cluster_v)
# 刪除Bios，因為不再需要它
group.drop('Bios', axis=1, inplace=True)

將兩個DataFrame結合在一起之後，剩下的是向量化的bios和分類列：

從這裡我們可以開始找到彼此最相似的使用者。

尋找約會檔案之間的相關性

建立填充了二進位制值和數字的DataFrame之後，我們就可以開始查詢約會配置檔案之間的相關性。每個約會檔案都有一個唯一的索引號，我們可以將其用作參考。

一開始，我們一共有6600個約會檔案。在聚類並縮小資料幀到所選聚類之後，約會配置檔案的數量可以從100到1000不等。在整個過程中，約會配置檔案的索引號保持不變。現在，我們可以使用每個索引號來引用每個約會配置檔案。

每個索引號代表一個唯一的約會個人資料，我們可以為每個個人資料找到相似或相關的使用者。這可以通過執行一行程式碼來建立相關矩陣來實現。

corr_group = group.T.corr()

我們需要做的第一件事是轉置 DataFrame以便切換列和索引。這樣做是為了使我們使用的相關方法應用於索引而不是列。一旦我們轉換了DF，我們就可以應用.corr()方法，它將在索引之間建立一個相關矩陣。

該相關矩陣包含使用Pearson相關方法計算的數值。接近1的值彼此正相關，這就是為什麼您將看到與自己的索引相關的索引為1.0000的原因。

查詢排名前10的相似約會資料

現在，我們有了一個包含每個索引/約會檔案的相關性得分的相關矩陣，我們可以開始根據它們的相似性對檔案進行排序。

random_user = random.choice(corr_group.index)
print("Top 10 most similar users to User #", random_user, '\n')
top_10_sim = corr_group[[random_user]].sort_values(by=
             [random_user],axis=0, ascending=False)[1:11]
print(top_10_sim)
print("\nThe most similar user to User #", random_user, "is User #", top_10_sim.index[0])

上面程式碼塊中的第一行從相關矩陣中選擇隨機的約會配置檔案或使用者。從那裡，我們可以選擇具有所選使用者的列，並對列中的使用者進行排序，以便它只返回前10個最相關的使用者（不包括所選索引本身）。

成功！—— 當我們執行上面的程式碼時，我們會得到一個使用者列表，按照他們各自的相關得分進行排序。我們可以看到與隨機選擇的使用者最相似的前10個使用者。這可以與另一個叢集組和另一個配置檔案或使用者一起再次執行。

結束語

如果這是一個約會應用程式，使用者將能夠看到前10名與自己最相似的使用者。這將有望減少刷屏的時間，減少挫敗感，並增加我們假設的約會應用程式使用者之間的匹配度。假設的約會應用程式的演算法將實現無監督機器學習聚類，以建立一組約會配置檔案。在這些組中，演算法將根據相關得分對配置檔案進行排序。最後，它將能夠向用戶展示與自己最相似的約會檔案。

原文連結：https://towardsdatascience.com/sorting-dating-profiles-with-machine-learning-and-python-51db7a074a25

歡迎關注磐創AI部落格站：
http://panchuang.net/

sklearn機器學習中文官方文件：
http://sklearn123.com/

歡迎關注磐創部落格資源彙總站：
http://docs.panchuang.net/