文本系列主要從新聞，投資者討論，研報三個文字源開展量化投資研究。新聞是一般是事實性描述，投資者討論是情緒性文字，而研報更多的是邏輯性文字。

1. 探索新聞與股價

資料來源：雪球網上的4000條；財經類網站包括新浪財經，鳳凰財經等。

問題的關鍵是爬蟲任務的持續性，每天都要定時爬取事先指定的網站清單。

模型的好處是不需要使用者對新聞進行標註，系統可以自動實現對新聞的自動劃分。個人認為是事件驅動策略與情感分析的融合體。除了下面框架中使用向量空間模型對文件進行表示，還可以使用命名實體（如機構名），名次短語（比如定向增發等事件名）等進行表示。使用這種方式進行表示可以進一步探索這些命名實體，名次短語對股價的影響。 

                                                                            個股新聞與其短期股價波動關係的研究框架

2. 投資者的情緒與股價

使用者的投資意見是一種口語化並且充滿情緒性的短文字。若從大資料的思路研究股票市場，分析使用者的這些UGC是不可忽視的一環。我打算從兩個方面對這些UGC進行處理，一個方面是使用者在討論什麼，另一方面是使用者的看法是什麼。第一問題是主題模型，第二個問題是情感分析。在此基礎上，可以建立如下投資策略

1.投資者的討論量

       投資者的討論與關注本身即代表該標的股票的近期在資本市場上有所動作，另外，反向也可能投資者的廣泛關注引起該股票的股價的波動。

2. 投資者的意見傾向

       基於投資者的意見偏向去預測股價的波動是一種最為常規的做法。

3.分析投資者的意見異質性

          Zhang-2006JF，Edward M. Miller，1977等都證實了公司的information uncertainty可以在一定程度上解釋股價異象。所謂的information uncertainty是指

          By information uncertainty, I mean ambiguity with respect to the implications of new information for a firm’s value, which potentially stems from two sources: the volatility of a firm’s underlying fundamentals and poor information.

         Yuandong Xu , (2016) 進一步證實了“投資者的意見分歧”結合動量策略，是一個非常好的因子。

雪球網：雪球網使用者的討論在性質上偏向於專業分析，邏輯推演等，文字一般比較長。在分部的特點上，個股主頁下的使用者討論顯示有限，僅有4000條左右。另外關於使用者討論會顯示在使用者主頁下面的發表的帖子。如果明確一個給定的使用者，這個資料可以全部獲取。但是由於每一隻個股本身的使用者關注量比較大（比如平安銀行有28萬），因此基於主頁層面的爬取就顯得笨拙。

東方財富網的股吧：性質上非常口語化，情緒化，文字短。資料量上相對較多。

微博：微博的資料實效性最強，資料量大。微博資料具有反爬蟲機制。目前常規的做法是在微博的搜尋頁面上，根據關鍵詞，進行爬取。變換關鍵詞，時間引數等可以獲取10000條左右的微博。另外一種做法，是首先去個股的主頁上獲取其粉絲列表（僅僅顯示有限頁數）或者鎖定好一些有影響力的投資者微博賬號，然後根據這些使用者，可以獲取其主頁之下的微博。這也是一種效率不高的方法。資料要有代表性。即獲取的使用者討論在投資者總體中要無偏。實現無偏的方式：增加資料量；多來源多群體爬取。    

3.主題概念的熱度

主題概念是新聞媒體，投資者以及研報都樂於討論的一個方面。因此從這些文字中提取出目前的板塊熱度或許可以為主題投資提供新思路。主題概念投資關鍵是可以分為兩個層次：（1）探尋新的話題（2）找到話題的當前的熱度。

     主題分析，關鍵詞提取演算法等可以為探尋新話題提供技術保障。另外，光大證券之前開發的中文雲系統以及相關的研究也表明這種方法的可行性。

                                                                                               基於主題分析的關鍵詞網路

                                                                                           概念熱度研究框架

資源與連結

Yuandong Xu , (2016) "Aversion of information ambiguity and momentum effect in China’s stock market", China Finance Review International, Vol. 6 Iss: 2, pp.125 - 149

X. FRANK ZHANG∗ ,(2006),”Information Uncertainty and Stock Returns”, THE JOURNAL OF FINANCE • VOL. LXI, NO. 1 • FEBRUARY 2006,pp.105-136

Kim-Georg Aase,(2011),”Text Mining of News Articles for Stock Price Predictions”, master thesis,Norweigian University of Science and Technology.

光大證券中文雲系統 

雪球網 https://xueqiu.com/