1.# 載入rJava、Rwordseg、tm、lda庫

library(rJava);  
library(Rwordseg); 
library("lda", lib.loc="~/R/win-library/3.3")
library("tm", lib.loc="~/R/win-library/3.3")

2.# == 讀入資料

lecture=read.csv("E:\\worldcup_test.txt",sep=",");  

1.用正則剔除URL

res=lecture[lecture!=" "];  
 res=gsub(pattern="http://t.cn/[A-Za-z0-9]+$+"
 
,"",res);
res=gsub(pattern="[我|你|的|了|是]","",res);

2.jieba

library(jiebaR) #載入

3.加入詞典，以及停用詞，去除標點

cutter <- worker(bylines = T,user = "G:\\hhe\\15W.txt",stop_word = "G:\\hhe\\dtop.txt")

4.分詞

comments_seg <- cutter["G:\\hhe\\8yue2.txt"]

5.讀入分詞後的檔案

comments<- readLines("G:\\hhe\\8yue2.segment.2017-05-04_19_40_41.txt"
 
,encoding="UTF-8")

6.向量化

comments <- as.list(comments) #將向量轉化為列表
doc.list <- strsplit(as.character(comments),split=" ") #將每行文字，按照空格分開，每行變成一個詞向量，儲存在列表裡

7.建立一個詞典，並給每個詞取一個編號：

term.table <- table(unlist(doc.list)) 
#這裡有兩步，unlist用於統計每個詞的詞頻；table把結果變成一個交叉表式的factor，原理類似python裡的詞典，key是詞，value是詞頻.
 

8.排序

term.table <- sort(term.table, decreasing = TRUE) #按照詞頻降序排列

9.為了提高建模效果，我們可以將單字去掉，同時也可以把出現次數少於5次的詞去掉。

del <- term.table < 5| nchar(names(term.table))<2   #把不符合要求的篩出來
term.table <- term.table[!del]   #去掉不符合要求的
vocab <- names(term.table)    #建立詞庫

10.把文字的格式整理成lda包建模需要的格式

get.terms <- function(x) {
  index <- match(x, vocab)  # 獲取詞的ID
  index <- index[!is.na(index)]  #去掉沒有查到的，也就是去掉了的詞
  rbind(as.integer(index - 1), as.integer(rep(1, length(index))))   #生成矩陣結構
}
documents <- lapply(doc.list, get.terms)

11.引數設定
這些為LDA建模需要先設定的幾個引數，關於alpha、eta的設定和作用，引用樑斌penny的一段話：

其中α，大家可以調大調小了試試看，調大了的結果是每個文件接近同一個topic，即讓p(wi|topici)發揮的作用小，這樣p(di|topici)發揮的作用就大。其中的β，調大的結果是讓p(di|topici)發揮的作用變下，而讓p(wi|topici)發揮的作用變大，體現在每個topic更集中在幾個詞彙上面，或者而每個詞彙都儘可能的百分百概率轉移到一個topic上。

接下來是主題建模的過程，以文字量大小和迭代次數多少，用時會不同，多則幾十分鐘，少則一兩分鐘。

K <- 10   #主題數
G <- 5000    #迭代次數
alpha <- 0.10   
eta <- 0.02

12.開始建模，以文字量大小和迭代次數多少，用時會不同

 library(lda)
 set.seed(357) 
fit <- lda.collapsed.gibbs.sampler(documents = documents, K = K, vocab = vocab, num.iterations = G, alpha = alpha, eta = eta, initial = NULL, burnin = 0, compute.log.likelihood = TRUE)
13.視覺化引數
theta <- t(apply(fit$document_sums + alpha, 2, function(x) x/sum(x))) #文件—主題分佈矩陣

phi <- t(apply(t(fit$topics) + eta, 2, function(x) x/sum(x))) #主題-詞語分佈矩陣

term.frequency <- as.integer(term.table) #詞頻

doc.length <- sapply(documents, function(x) sum(x[2, ])) #每篇文章的長度，即有多少個詞

14.視覺化

library(LDAvis)

json <- createJSON(phi = phi, theta = theta,

doc.length = doc.length, vocab = vocab,

term.frequency = term.frequency)#json為作圖需要資料，下面用servis生產html檔案，通過out.dir設定儲存位置

serVis(json, out.dir = './vis', open.browser = FALSE)

15為了解決亂碼的問題，我們需要將其中的lda.json檔案的編碼改成UTF8格式，你可以手動改，也可以用R來自動改。

writeLines(iconv(readLines("./vis/lda.json"), from = "GBK", to = "UTF8"),

file("./vis/lda.json", encoding="UTF-8"))