一、Scipy入門

1.1常用命令

import numpy as np
shift+enter運行當前單元格程式碼並切換到新的單元格
crtl+enter運行當前單元格
crtl+s儲存
Alt+Enter運行當前單元格並插入一個單元格
Ctrl+c關閉程式
A向上加一個單元
M單元轉入Markdown狀態
Y單元轉入程式碼格式
B向下加一個單元

1.2安裝操作簡介

1.2.1網址

官網：https://www.scipy.org/
安裝：在C:\Python27\Scripts下開啟cmd執行:
執行：pip install scipy

1.2.2安裝Anaconda及環境搭建(舉例演示)

建立環境：conda create -n env_name python=3.6
示例： conda create -n Py_36 python=3.6 #建立名為Py_367的環境
列出所有環境：conda info -e
進入環境： source activate Py_36 (OSX/LINUX系統)
activate Py_36 (windows系統)

1.2.3、jupyter 安裝

jupyter簡介：jupyter（Jupyter Notebook）是一個互動式筆記本
支援執行40多種程式語言
資料清理和轉換，數值模擬，統計建模，機器學習等
jupyter 安裝：conda install jupyter notebook
啟動 jupyter：啟用相應環境
在控制檯執行 ：**jupyter notebook**

notebook伺服器執行地址：http://localhost:8888
新建（notebook，文字檔案，資料夾）
qian

二、基礎語法

2.1儲存和載入命令—io.savemat/io.loadmat

#stats.norm.rvs（）
from scipy import io
import numpy as np
a=np.arange(9).reshape(3,3)
#用scipy的io模組儲存到mat檔案中
io.savemat("a.mat",{"text":a})
#運用localmat載入資料
data=io.loadmat("a.mat"
 
)
data
'''
{'__globals__': [],
 '__header__': b'MATLAB 5.0 MAT-file Platform: nt, Created on: Wed May 30 15:00:04 2018',
 '__version__': '1.0',
 'text': array([[0, 1, 2],
        [3, 4, 5],
        [6, 7, 8]])}
        '''
from matplotlib import pyplot as plt
b=np.random.normal(size=(100,100))
plt.hist(b)
plt.show()

2.2、Scipy實現統計功能

2.2.1生成隨機數

利用scipy.stats的包統計函式實現分析隨機數的功能
均勻分佈（uniform）
x=stats.unifrom.rvs(size = 20)生成20個[0,1]均勻分佈隨機數

正太分佈（norm）
x=stats.norm.rvs(size = 20)生成20個正態分佈隨機數

貝塔分佈（beta）
x=stats.beta.rvs(size=20，a=3,b=4) 生成20個服從引數a=3,b=4貝塔分佈隨機數 生成20個正態分佈隨機數

離散分佈
伯努利分佈（bernoulli）
幾何分佈（geom）
泊松分佈（poisson）
x=stats.poisson.rvs(0.6,loc=0,size = 20)生成20個服從泊松分佈隨機數

2.2.2均值和標準差—fit

ndarray=stats.norm.rvs(size=100)
mean,std=stats.norm.fit(ndarray)

2.2.3偏度—stats.skewtes()

偏度
skewtest>0,正偏
skewtest<0,負偏

from scipy import stats
from matplotlib import pyplot as plt
#用scipy生成一個正太分佈
normal1=stats.norm.rvs(size=100)
#繪圖操作
plt.hist(normal1)
normal2=stats.norm.rvs(size=100)
#計算偏度
staistic1,pvalue1=stats.skewtest(normal1)
staistic1
0.23677884737006907

2.2.4峰度—stats.kurtosistest()

from scipy import stats
from matplotlib import pyplot as plt
import numpy as np
norm=stats.norm.rvs(size=100)
normmalExample=stats.norm.rvs(size=100)
#計算峰度
kurtosis,pvalue=stats.kurtosistest(normmalExample)
print("峰度",kurtosis)
print("接近正太分佈的飽和度：",pvalue)
kurt
>>0.21912014864574728
pvalue
>>0.8265564557880772
>#前面的峰度，值越大，月陡峭
>plt.hist(norm)

2.2.5檢測相互對應的百分比和數值—stats.scoreatpercentile/stats.percentileofscore

#-*-coding:utf-8-*-
from scipy import stats
from matplotlib import pyplot as plt
import numpy as np
normmalExample=stats.norm.rvs(size=100)
result=stats.scoreatpercentile(normmalExample,95)
print("%95:",result)
values=stats.percentileofscore(normmalExample,1)
print(values,"%")

2.2.6正太分佈程度檢驗—pvalue

1 正態性檢驗(normality test),同樣返回兩個值，第二個返回p-values
2 利用 檢驗 stats.normaltest()
一般情況 pvalue>0.05 表示服從正態分佈

2.2.7正太分佈程度檢驗—pvalue

import matplotlib.pyplot as plt
在Anaconda環境下(py36)C:\Users\lenovo>匯入：conda install matplotlib
plt.hist(arr) #設定直方圖
plt.show() #顯示圖

三、綜合練習

3.1分數問題

求均值 中位數 眾數 極差 方差
標準差 變異係數(均值/方差) 偏度 峰度

import numpy as np
arrEasy=np.array([[0,2],[2.5,4],[5,6],[7.5,9],[10,13],
                  [12.5,16],[15,19],[17.5,23],[20,27],
                    [22.5,31],[25,35],[27.5,40],[30,53],
                  [32.5,68],[35,90],[37.5,110],[40,130],
                    [42.5,148],[45,165],[47.5,182],[50,195],
                  [52.5,208],[55,217],[57.5,226],[60,334],
                   [62.5,342],[65,349],[67.5,500],[70,511],
                  [72.5,300],[75,200],[77.5,80],[80,20]])
arrDiff=np.array([[0,20],[2.5,30],[5,45],[7.5,70],[10,100],[12.5,135],[15,170],[17.5,205],[20,226],
                    [22.5,241],[25,251],[27.5,255],[30,256],[32.5,253],[35,249],[37.5,242],[40,234],
                    [42.5,226],[45,217],[47.5,208],[50,195],[52.5,182],[55,165],[57.5,148],[60,130],
                   [62.5,110],[65,40],[67.5,30],[70,20],[72.5,5],[75,5],[77.5,0],[80,0]])

步驟1 分數和人數對應擴充套件

#方法1  repeat
sorces=arrEasy[:,0]
person=arrEasy[:,1]
a=np.repeat(list(sorces),list(person))
a
array([ 0. ,  0. ,  2.5, ..., 80. , 80. , 80. ])
sorces2=arrDiff[:,0]
person2=arrDiff[:,1]
b=np.repeat(list(sorces2),list(person2))
b
array([ 0.,  0.,  0., ..., 75., 75., 75.])
#方法2  獨立封裝打包
def createScore(arr):
    score = []          #所有學員分數
    row = arr.shape[0]
    for i in np.arange(0,row):
        for j in np.arange(0,int(arr[i][1])):
        score.append(arr[i][1]))
    score = np.array(score)
    return score

步驟2：建立函式，根據傳入陣列，對其進行統計

#用的方法2
def calStatValue(score):
    #集中趨勢度量
    print('均值')
    print(np.mean(score))
    print('中位數')
    print(np.median(score))
    print('眾數')
    print(stats.mode(score))
    #離散趨勢度量
    print('極差')
    print(np.ptp(score))
    print('方差')
    print(np.var(score))
    print('標準差')
    print(np.std(score))
    print('變異係數')
    print(np.mean(score)/np.std(score))
    #偏度與峰度的度量
    print('偏度')
    print(stats.skewness(score))
    print('峰度')
    print(stats.Kurtosis(score))