在計算機相關專業中如何切入一個“新的課題”
1、先做一個survey(relativelydetailed menu)
Overviewcongnition、Searchsummary/overview
北京大學:張志華 《機器學習導論》、《統計機器學習》
綜述網址:https://www.nowpublishers.com/Journal
捷徑:閱讀別人的survey,梳理所在小方向的發展脈絡,快速定位
2、搜尋與定位 緊密結合的一系列頂級論文(20篇)Survey-menu
3、多做實驗,精通一門語言python/matlab
搜尋原始碼的能力:github/google
Check author’s homepage
重現程式碼
跑別人程式碼:資料準備工作
機器學習樣本:UCI Data Set
Logistic regression(classifier)
Naive Bayes 樸素貝葉斯
SVM
Deep forest:馮~
跑程式碼--發現問題,抓住根本
促進你深入思考
4、如何深入思考
(1) 實驗結果,詳細分析實驗結果
Evaluation measures:accuracy,error,RMSE,confusionmatrix, kappa,AUC,recall,precision,……
Imbalance:
10 samples -- class 1
90 samples -- class 2 90%
(2)資料準備工作
(3)程式碼閱讀能力
對應:equation1,equation2
Lines corresponding to equation1
Lines corresponding to equation2
吃透,看到方程,知道如何組織樣本,如何編寫對應的程式碼
5、如何發現“新的”問題:“蝗蟲式”做研究
(1) 挖井法:
A:2D tracking method B:3D tracking method
C:propose 2.5D tracking method
1D,2D,3D
(2) 組合法
A,B Propose A+B
(3) Stacking
B,A->A(B)
B-pre-procession A
(4) Ensembles
A manyA(random)>>A
“Boosting.....”
Ensemble CNN
(5) Batching learning(靜態學習)—> Onling learning(動態增量/線上式學習)
Optimization method(onling convex optimization)
Convex optimization based algorithms
Online convex optimization based algorithms
Onling SVM、Onling multiple kernel methods、Online gaussian process、Online...
Batching learning(靜態學習):W=algorithm(data)
Online learning: W(t)=W(t-1)+delta(...)
=algorithm(data(t),w(t-1))
(6) 張冠李戴法
Model -- (A,B)
A-C B-D
New Model - (C,B)
New Model - (C,D)
FuzzyA ,fuzzy B
K-means -- crisp classification0,1
0.3 0.7 class 2
Fuzzy k-means、fuzzy SVM、 fuzzy RBF、fuzzy decision tree、fuzzzy aprori、fuzzy
Feature extractor(SIFT,CNN,deep replace)
SVM :support vector machine
Kernel(low dimension —> high dimension)
非線性結果->線性結果
Kernel space,linear methods
Nolinear effectives,kernel...
(7) ensemble...ensemble... Stacking
(8) Bayesian化
(9) Large scale化
Big data
Method/model,面對海量樣本
SVM,資料處理上限為10G
Parrelle/distributed computing
Distributed model、distributed SVMs、distributed CNN(tf,pytorch,coffee2,支援分散式)
6、可選擇研究方向
(1) 以資料結構為切入點,做一些工作
Hashing HABIR 李武軍,蘭州大學,learning to Hash
(2) 提升速度
① Large scale high dimensional
② Dimension reduction
③ Sketching
Approximation 北京大學,張志華教授,王樹森(伯克利)
all by Mr.Tang&zzp_wind&me