最近在看一些機器學習的書，想起自己以前學的R和統計學，感覺以前都是囫圇吞棗，沒有搞清楚。現在重新把以前的書拿出來讀一讀，並把程式碼再敲一遍，感覺收穫還是蠻多的。

1.1 我的參考書籍

R語言學習書籍:資料探勘與R語言

統計學：R語言與統計分析

1.2 程式設計環境

win10 + R-64位  + RStudio

1.3 R的簡介與入門

R是一種解釋性語言，而不是編譯語言,R裡面有豐富的函式與包（類似python中的模組）。

R中所有的函式後都帶有圓括號以區別於物件(object). 當R執行時，所有變數、資料、函式及結果都以物件的形式存入計算機的活    動記憶體中，並冠有相應的名字代號. 我們可以通過一些運算(如算術、邏輯、比較等)和一些函式(其本   身也是物件)來對這些物件進 行操作。

如：

n <- 10
#列出記憶體中的
ls()
#刪除原有記憶體中的
rm(list = ls())
#列出系統給R的記憶體限制
memory.limit()
#列出系統當前佔用的記憶體
memory.size(F)
#列出當前系統分配的記憶體（動態調整的）
memory.size(T)
#R中的幫助文件
# ? 獲得memory.limit的相關資訊
# 注意函式名要加雙引號當做引數使用
?memory.limit
help('ls')
example("mean")
help("help")
#apropos 獲得所有名字中含有指定字串“fun”的函式，但只會在被載入
# 記憶體中的程式包中進行搜尋.
apropos("fun")
#獲取ls函式的引數
args('ls')
 

1.4載入資料並進行簡單的統計分析

?mtcars
#控制檯顯示mtcars資料
mtcars
#顯示mtcars 資料前七條資料
head(mtcars)
#顯示mycars的 變數
names(mtcars)
#修改mtcars中的資料 data.entry 或者直接edit()/fix()
#命令data.entry( )和edit( )都可用於編輯向量、矩陣、資料
#框和列表，前者啟用的都是R的資料編輯器, 後者有所不同: 對於向量、
#列表和陣列edit( )啟用的是R Editor.
data.entry(mtcars)
edit(mtcars)
mtcars
#mtcars
fix(mtcars)
MTcars <- edit(mtcars)
MTcars

mtcars
mtcars$cyl

data.entry(mtcars)
mtcars$cyl
# 貼上資料到R搜尋區 不然只能使用mtcars$cyl訪問
attach(mtcars)
cyl
#變數cyl取3個值：4，6，8，相應的頻數為11, 7, 14
table(cyl)
#cyl的頻數直方圖 barplot 僅適用於數值變數
barplot(table(cyl),xlab = '汽缸數')

#畫莖葉圖(stem-and-leaf plot),
stem(mpg)
#畫直方圖
hist(mpg)
#畫箱體圖
boxplot(mpg)
#計算均值
mean(mpg)
#計算截去10%的平均值
mean(mpg,trim = 0.1)
#按分組變數cyl計算mpg的分組平均值
tapply(mpg,cyl,sum)
?tapply
#四分位數的極差(interquartile range)
IQR(mpg)
#樣本常用的分位數: 極小、極大、中位數及兩個四分位數
quantile(mpg)
#得到給定概率的樣本分位數
probs = c(0.1,0.5,99.5)/100
quantile(mpg,probs = probs)
?quantile
probs = c(25,50,75)/100
quantile(mpg,probs = probs)
#計算常用的描述性統計量, 它們分別是最小值(Min.)、第一四分位數(1st
#Qu.)、中位數(Median)、平均值(Mean)、第三分位數(3rd Qu.)和最大
#值(Max.)
summary(mpg)
#計算標準差
sd(mpg)
#計算中位絕對離差(median absolute deviation)
#
mad(mpg)

#尋找二元關係
?legend
#按照cyl分組 畫出散點圖
plot(mpg~hp,col = 'blue' ,pch=cyl)
#新增圖例(x,y) 表示位置  pch散點圖中點的symbol
legend(230,20,pch=c(4,6,8),
       legend=c("4 cylinders","6 cylinders","8 cylinders"))
model <- lm(mpg~hp)
abline(model,lty=3)
#殘差分析
res = resid(model)
plot(res)
hist(res)
qqnorm(res)
#分析擬合結果
# 一些統計名詞：
# 相關係數：自變數X和因變數Y的協方差/標準差的乘積。
#   協方差：兩個變數變化是同方向的還是異方向的。X高Y也高，協方差就是正，相反，則是負。
#   為什麼要除標準差：標準化。即消除了X和Y自身變化的影響，只討論兩者之間關係。
#   因此，相關係數是一種特殊的協方差。
# cor(mpg,hp)
# R平方：R2=SSR/SST=1-SSE/SST
#   SST (total sum of squares)：總平方和
#   SSR (regression sum of squares)：迴歸平方和
#   SSE (error sum of squares) ：殘差平方和。
#   殘差（residual）：實際值與觀察值之間的差異
# 標準差：表示個體間變異大小的指標,反映了整個樣本對樣本平均數的離散程度,
#         是資料精密度的衡量指標
#   sd(mpg)
# 標準誤：在抽樣試驗(或重複的等精度測量) 中, 常用到樣本平均數的標準差,
#         亦稱樣本平均數的標準誤或簡稱標準誤( standard error of mean) 。
#         因為樣本標準差s 不能直接反映樣本平均數x 與總體平均數μ究竟誤差多少,
#         所以, 平均數的誤差實質上是樣本平均數與總體平均數之間的相對誤。
#         反映樣本平均數對總體平均數的變異程度,從而反映抽樣誤差的大小 ,
#         是量度結果精密度的指標

#參考別人寫的類似於qqnorm 
my.qqnorm <- function(x){
  op <- par(mfrow = c(1, 1))
  n <- seq(1, length(x))
  qqnorm(x)
  xais <- qnorm((n -0.5)/ length(x))
  # xais <- qnorm((n - (.5*length(x)) /length(x))/ length(x))
  cbind(xais, x)
  par(mfrow = c(2, 1))
  qqnorm(x)
  plot(sort(x) ~ xais, main = 'my qqnorm')
  par(op)
}
x <- rnorm(30, mean = 20, s = 50)
my.qqnorm(x)

detach(mtcars)
 

1.5筆記

1.qqplot & qqnorm & qqline Quantile-Quantile Plot
  QQplot的橫座標是theoretical quantilies，縱座標是sample quantilies
  sample quantilies是你的樣本原始的資料(sort之後的)，theoretical quantilies  參考（http://onlinestatbook.com/2/advanced_graphs/q-q_plots.html）計算。
  解釋：
  假設你有100個數據，那麼每個資料都看做一個分位點，sample quantilies就是100個數據本身（1%的分為點就是100個數中最小的那個數，2%的分為點就是100個數中   第二小的那個數，依次類推），theoretical quantilies是什麼呢？他是標準正態   分佈的分位數100個數取哪些分為點呢？具體的計算方法是這樣的，(1:100-0.5)/100 你可以得到0.005 0.015 0.025 ...0.995，然後分別計算在0.005 0.015 0.025 ...0.995的面積下，標準正態分佈的分位數。
  
2.一些統計名詞
# 相關係數：自變數X和因變數Y的協方差/標準差的乘積。
#   協方差：兩個變數變化是同方向的還是異方向的。X高Y也高，協方差就是正，相反，則是負。
#   為什麼要除標準差：標準化。即消除了X和Y自身變化的影響，只討論兩者之間關係。
#   因此，相關係數是一種特殊的協方差。
# cor(mpg,hp)
# R平方：R2=SSR/SST=1-SSE/SST
#   SST (total sum of squares)：總平方和
#   SSR (regression sum of squares)：迴歸平方和
#   SSE (error sum of squares) ：殘差平方和。
#   殘差（residual）：實際值與觀察值之間的差異
# 標準差：表示個體間變異大小的指標,反映了整個樣本對樣本平均數的離散程度,
#         是資料精密度的衡量指標
#   sd(mpg)
# 標準誤：在抽樣試驗(或重複的等精度測量) 中, 常用到樣本平均數的標準差,
#         亦稱樣本平均數的標準誤或簡稱標準誤( standard error of mean) 。
#         因為樣本標準差s 不能直接反映樣本平均數x 與總體平均數μ究竟誤差多少,
#         所以, 平均數的誤差實質上是樣本平均數與總體平均數之間的相對誤。
#         反映樣本平均數對總體平均數的變異程度,從而反映抽樣誤差的大小 ,
#         是量度結果精密度的指標

3.理解rbinom中的引數
for (n in c(10,20,50)) {
     x = rbinom(100,n,p)
     hist(x,probability = T,main = paste("n = ",n))
     xvals = 0: n
     points(xvals,dbinom(xvals,n,p),type = 'h',lwd = 3)
 }
 rbinom(100,10,0.5)
 隨機進行100次分佈為(10,0.5)的二項式分佈
 dbinom(1,10,0.5)
 成功進行一次在分佈為(10,0.5)的概率
 pbinom(1,10,0.5) = dbinom(0,10,0.5)+dbinom(1,10,0.5)
 根據次數得到小於等於該次數的概率值
 qbinom(0.01,10,0.5)
 根據概率得到分位線
 dnorm gives the density, pnorm gives the distribution function,    qnorm gives the quantile function, and rnorm generates    random      deviates