​最近想了解下程式設計師可以做什麼副業，我抓取了各大網站關於程式設計師搞副業的文章，但抓取的文章較多，為了將相似的文章歸攏到一起，我用聚類演算法將文章劃分到不同的主題。下面我就來介紹一下分析的結論以及過程。文末回覆關鍵字即可獲取本次分析原始碼。
本次分析的文章是從部落格園、CSDN、知乎、今日頭條和微信上抓取，共140篇，聚類得到的主題如下：

• 接私活：主要是在碼市、程式設計師客棧等網站接專案做外包，對於接私活的評價大家褒貶不一，有的人決定接私活能夠鍛鍊技術，但有的人覺得是重複勞動，可積累性差。我自己也接過私活，不建議程式設計師接私活，因為它相當於是工作時間的延伸，並沒有給你帶來其他的可能性

• 寫作：反對接私活的一部分人就提出來走寫作這條路，因為寫作一來可以有深度的思考，二來也可以沉澱技術，最後通過輸出的內容變現

• 出書和錄視訊：看書和看視訊也是我們學習技術的主要途徑，錄視訊是對技術能力和表達能力有更高的要求，相對而言寫書會容易一些。對於程式設計師來說如果經常寫原創部落格，會有出版社的人員主動聯絡你。如果自己有時間、有能力的話可以考慮寫本書，既可以賺錢還能提高個人影響力。我去年就寫了一本小冊，這個過程中確實需要付出很多時間和精力

• 小專案：這個相對於外包來說會好一些，原文作者舉了個例子，通過網上爬取公開的個人資訊和聯絡方式，包裝成軟體出售，獲得了不菲的收入

• 公眾號：通過公眾號積累流量，接廣告賺錢

• 投資學習：通過聚類分析發現有些文章的觀點畫風比較清奇，認為程式設計師最大的副業是投資自己。這也是一條很好的路子，不斷地拓寬自己的知識廣度、打穿知識深度，能夠在主營業務上創造出獨一無二的成果也是一種副業

當然還有一些的關於討論程式設計師應不應該搞副業的主題也能聚在一起，這裡就不舉例了，有興趣朋友可以看詳細的分析資料。

下面來介紹下分析過程

資料抓取：需求比較明確，第一步找到文章搜尋的入口，第二步找到文章詳情的入口。實現方案有兩種，第一種是請求介面；第二種是解析網頁HTML程式碼。在本次分析中這兩種方案都有涉及，其中微信公眾號的資料抓取比較困難，我用的是開源的專案wechatsogou，這個專案直接用也是有各種問題，但我都解決了，需要注意的問題在原始碼中都有說明。由於這次抓取的網站比較多，抓取這一步花費了60%的時間。資料清洗：主要目的是為了保證我們後續分析的資料是乾淨的，且沒有噪音。這裡我主要做了兩步，第一步限制文章的title包含“程式設計師”和“副業”，保證文章內容是可靠的；第二步通過BeautifulSoup取出HTML標籤，保證正文乾淨

# 過濾文章
def article_filter(article):
    title = article['title']
    if '副業' in title and '程式設計師' in title:
        return True
return False

# 清洗正文，去掉html標籤
def content_clean(content):
    content_bs = BeautifulSoup(content)
    content_text = content_bs.get_text()
    content_text = re.sub('\n|\xa0', '', content_text)
    return content_text

特徵提取：因為我們是作文字分析，所以我們要將文字轉化成計算機能識別的數字特徵。轉化的方式有兩種，第一種詞袋空間VSM(vector space model)，簡單來說它將一篇文章儲存為一個數組，陣列第n位的元素值代表該文章中第i個詞出現的頻次。然後通過TF-IDF計算第i個詞在這篇文章的權重。如果某個詞是文章的關鍵詞，那麼它的權重比其他詞就大。所以如果兩篇表達的是同一個主題，那麼它倆的詞分佈以及詞的權重會很像，做聚類的時候自然就能聚到一起；另一種方式是將文件轉化成向量，即：Doc2Vector。這裡主要介紹第一種方式，關於第二種原始碼也有涉及，有興趣的朋友可以自行看原始碼。

# 計算tf-idf 作為每個詞的權重
from sklearn.feature_extraction.text import CountVectorizer, TfidfTransformer
# 統計詞頻
vectorizer = CountVectorizer(token_pattern=r"(?u)\b\w+\b")
# 計算tf-idf
transformer = TfidfTransformer()
tfidf = transformer.fit_transform(vectorizer.fit_transform(corpus))
# 權重矩陣， 二位陣列，每行是一篇文章，每列是一個詞
weight_matrix = tfidf.toarray()
# 特徵詞，資料，每個元素是一個詞，也是weight_matrix第i列的詞
word = vectorizer.get_feature_names()

聚類分析：關於聚類的演算法有很多，比如：K-Means、Birch、LDA和DBSCAN。本次分析中我用到了K-Means和Birch，這裡主要介紹K-Means的程式碼。K-Means的思想比較簡單，就是將兩個距離較近的文章聚成一類。前面我們已經將文章轉成向量了，所以可以計算文章之間的距離。

# Kmeans 聚類
from sklearn.cluster import KMeans

# 聚成 15 類
kmeans = KMeans(n_clusters=15)
kmeans.fit(weight_matrix)

# 聚類結果，存放第i篇文章屬於第幾類
kmeans.labels_

 

K-Means的用法也比較簡單，只需指定要最終聚出的類數量（n_clusters）即可。

效果評估：主要用來評估聚在一起的文章是否真的是同一類，或者同一類的文章是否聚在了一起。因為之前我們計算了TF-IDF，我們能獲取每篇文章的關鍵詞，所以我把每篇文章所在的類別、標題、以及關鍵詞輸出到檔案，來進行評估

# 提取每篇文章最關鍵的5個詞
# keywords
def get_key_words(weight, words):
    topk_weight = sorted(weight, reverse=True)[:5]
    min_weight = topk_weight[-1]
    max_weight = topk_weight[0]
    
    key_words = []
    for index, x in enumerate(weight):
        if x >= min_weight:
            key_words.append(words[index])
    return " ".join(key_words)

f = open("cluster_res.txt", "w", encoding='utf-8')
for index, label in enumerate(kmeans.labels_):
        kws = get_key_words(weight_matrix[index], word)
        raw = '%d\t%d\t%s\t%s\t%s\t%s\n' % (index,label, kws, attrs[index][0], attrs[index][1], attrs[index][2])
        f.write(raw)

下面貼幾個case，聚類的效果還可以

類別3是接私活相關的文章，類別6是投資學習的文章，類別7是出書和視訊的文章。本次分析過程就介紹到這裡，其實這次分析具體到每個步驟可能沒做那麼細，比如：資料清洗、模型優化等，但整個流程還算比較完整。如果各位有興趣可以自行深入研究。

希望這次分析能對你有用，歡迎公眾號「渡碼」。公眾號回覆關鍵字 副業 即可獲得完整原始碼。

相關推薦