演算法

在統計分析和資料探勘，我們經常用的演算法有二元分類器、數值預測器、迴歸、貝葉斯網路、Logistics迴歸、判別式、兩步、序列、時間序列、QUEST、C&R樹、CHAID、GRI、Apriori、異常、特徵選擇、C5.0、神經網路、決策列表、K-Means、Kohonen、主成分分析因子、SLRM、SYM、GenLin、Cox、Cama

常用的資料分析工具

【使用者級、部門級】PPT、Swiff、ColorWheel、NetDraw、SQL、MYSQL、TABLEAU

【企業級、BI級】Yed、Flex、Xcelsius、SAS、SPSS、Clementine、ORACLE、IBM、DB2

【總結】ORACLE、DB2（IBM）資料庫{本身帶有統計分析的包，裡面也有標準的過程可做資料分析的工作，但總的來說不專業，缺乏在統計過程中的標準函式，比如，做一個線性迴歸模型，需要寫一個很長的SQL或者PLSQL的程式才能完成，而專業的只需要寫一個函式就可以做出來}

排名前三的巨頭專業的統計軟體

R語言：開源統計包軟體

SAS：商業、歷史最久、美國的醫學雜誌接受的文章要求裡面的統計結果必須是由SAS軟體統計出來，其他一概不認可

SPSS：歷史悠久的模擬軟體後被IBM收購，是資料探勘的工具。在社會學研究用的比較多，市場排行第三位

Xcelsius：水晶報表在做BI和報表方面非常擅長

UCINET：

資料探勘方面

• 資料探勘是以查詢隱藏在資料中的資訊為目標的技術，是應用演算法從大型資料庫中提取知識的過程，這些演算法確定資訊項之間的隱性關聯，並且向用戶顯示這些關聯。
• 資料探勘思想來源：假設檢驗，模式識別，人工智慧，機器學習
• 常見資料探勘任務：關聯分析、聚類分析、孤立點分析等等
• 例如：啤酒與尿布的故事
• 例如：《SCIENCE》的文章《科學家探索出大型資料集內的趨勢》

展現層

其實在資料分析中有非常重要的作用，資料分析的軟體-讀資料-算資料，結果算出來之後，資料分析沒有結束，還需要展現結果，展現結果花的時間可能比資料分析還要久。下面是個非常老的報表。人對數字感覺不敏感，但對圖形感覺敏感。以下這個不能拿給老闆看。

R語言等及其他統計軟體園都支援餅圖、柱形圖、曲線圖等大部分的圖。

其實，按照我多年的經驗和資料分析彙總後的結果表示

a.如果要表達資料整體的部分的資訊，主要採用餅狀圖或垂直柱

b.如果想要表達不同資料之間的對比，主要採用水平柱或者水泡

c.如果想要表達時間序列或者頻率，主要採用垂直柱或線圖

d.如果想要表達兩組資料的相關性，主要採用水平柱或水泡

e.如果想要表達和多重資料或標準相比較，主要採用維度圖

R本身也有地圖包，可以在地圖上展現資料，可以展示出如下的圖

下面這個是用R語言進行資料分析之後視覺化呈現的社交網路圖，大概描述了資訊在微博中擴散的路徑情況，其中，點代表是人，發亮的地方表示資訊在傳播。有一條微博可能被很多人轉發，資訊擴散的圖，到了一定程度轉發越來越低，陷入低潮，突然，又被某人轉發，掀起區域性的資訊轉發小高潮，傳播的範圍越來越廣。這個圖對於現在的社交網路的資訊傳播，是一個很真實而又很有意思的展現。

下圖也是資料分析的結果展現。資訊圖，也是資料展現工作的重要組成部分，也會給決策帶來好處，現在有一種職位叫做資料視覺化工程師。這個圖反應的是使用安卓的人的特徵。

顏色越紅點選越高，點選呈現F的形狀。使用者先是橫著掃，然後越來越低，關注度也就越來越低。如果你想釋出的資訊被使用者關注到，最好安排在三角區域之中

R是S語言的一種實現。S語言是由AT&T貝爾實驗室開發的一種用來進行資料探索、統計分析、作圖的解釋型語言。最初S語言的實現版本主要是S-PLUS。S-PLUS是一個商業軟體，它基於S語言，並由MathSoft公司的統計科學部進一步完善。後來Auckland大學的Robert Gentleman和Ross Ihaka及其他志願人員開發了一個R系統。R的使用與S-PLUS有很多類似之處，兩個軟體有一定的相容性。
S語言只是標準，實現可以有多種形式。Robert 主要是做生物的。LINUX也是GNU執照的東西。R也有陣列、變數、條件語句、控制流以及進行專業資料分析的函式（獨有的比起C語言）、開放性很好，在包這個體系，可以自己開發。R總共有5000多個包，現在學習R最大的困擾在於，這些包我怎麼知道是做什麼的？