初學資料分析(一)【利用numpy實現矩陣標準化】
大資料分析中許多情況下需要用到矩陣標準化(使該矩陣每一列的平均值為0,標準差為1)
Here is the formula: (X-mean())/std()
以上運算是按列進行的,因為通常大資料分析中的矩陣X N*M,其中每一行代表一個數據,而列代表不同的性質,既是N個數據,每個資料有M種性質
應用:
假設現在已經有一個.npy元資料檔案,我們打算用numpy來將它標準化,於是首先將其load進來,然後分別計算mean和std,如下:
import numpy as np
X = np.load('data.npy')
X-=np.mean(X,axis=0)
X/=np.std(X,axis=0)
有必要解釋一下numpy中的這兩個函式
np.mean(X,axis=0) 表示按列求X的平均值,axis=0表示按列進行
np.std(X,axis=0) 表示按列求X的標準差,axis=0表示按列進行
關於這兩個函式的用法和引數,詳見這裡https://docs.scipy.org/doc/numpy/reference/generated/numpy.std.html
於是現在便得到了X的標準化矩陣了
當然我們之後還能將它顯示出來,將矩陣生成圖形之後,plt.show()顯示圖形即可
相關推薦
初學資料分析(一)【利用numpy實現矩陣標準化】
大資料分析中許多情況下需要用到矩陣標準化(使該矩陣每一列的平均值為0,標準差為1)Here is the formula: (X-mean())/std()以上運算是按列進行的,因為通常大資料分析中的矩陣X N*M,其中每一行代表一個數據,而列代表不同的性質,既是N個數據,每
【python資料分析(一)】Numpy基礎及基本應用
一.資料處理的一般流程: 資料收集—》資料預處理—》資料處理—》資料展示 資料收集:網路爬蟲,公開資料集,其他途徑收集的資料 資料預處理:歸一化,二值化,維度變換,去重,無效資料過濾 資料處理:資料排序,資料查詢,資料統計分析 展示:列表,圖表,動態互動圖形
資料分析基本技巧及python實現(一)
該文總結資料分析常用手法,在程式碼中用註釋的形式給出必要的闡述。 需要安裝包:numpy、scipy、numpy、pandas、sklearn 檢查資料是否符合某項分佈 檢查資料是否符合正態分佈 #檢查資料是否符合正態分佈 ##構建正態分佈資料 In [1]: impor
Python資料分析基礎教程:NumPy學習指南(第2版) pdf 下載
罕見的NumPy中文入門教程,Python資料分析優選從基礎的知識講起,手把手帶你進入大資料探勘領域囊括大量具有啟發性與實用價值的實戰案例。 內容簡介 《圖靈程式設計叢書;Python資料分析基礎教程:NumPy學習指南(第2版)》是NumPy的入門教程,主要介紹NumPy以及相關
分享《Python資料分析基礎教程:NumPy學習指南(第2版)》高清中文PDF+英文PDF+原始碼
下載:https://pan.baidu.com/s/1YSD97Gd3gmmPmNkvuG0eew更多資料分享:http://blog.51cto.com/3215120 《Python資料分析基礎教程:NumPy學習指南(第2版)》高清中文PDF+高清英文PDF+原始碼 高清中文版PDF,249頁,帶
分享《Python資料分析基礎教程:NumPy學習指南(第2版)》高清中文PDF+高清英文PDF+原始碼
下載:https://pan.baidu.com/s/1YSD97Gd3gmmPmNkvuG0eew 更多分享資料:https://www.cnblogs.com/javapythonstudy/ 《Python資料分析基礎教程:NumPy學習指南(第2版)》高清中文PDF+高清英文PDF+原始碼 高清
資料分析系列教程之numpy(四)
前面幾節講了numpy中資料型別建立,選取,修改,今天是numpy的最後一節,繼續講一些更常見的一些計算方法 1、求和函式 求和函式,用sum(),當然下圖中我是直接選取哪些資料,就對哪些資料求和 sum函式裡面有引數,當然下面的函式同樣也包含該引數axis,axis代表軸
Python資料分析基礎教程:NumPy學習指南 第二章 常用函式
目錄 第二章 常用函式 1 檔案讀寫示例 建立對角矩陣: np.eye(2) 儲存為txt檔案:np.savetxt("eye.txt", i2) 2 CSV檔案讀取: loadtxt() 3 &nb
Python資料分析基礎教程:NumPy學習指南 第一章 NumPy基礎
目錄 第一章 NumPy基礎 1.1 NumPy陣列物件 關鍵字:array、arange、ndarray、type、dtype、shape、下標 1.2 NumPy資料型別
Cris 的 Python 資料分析筆記 04:NumPy 矩陣的複製,排序,拓展
04. 矩陣的複製,排序,拓展 文章目錄 04. 矩陣的複製,排序,拓展 1. NumPy 的引用問題 2. 淺複製 3 深複製 4. 索引求最值 5. title 擴充
Cris 的 Python 資料分析筆記 03:NumPy 矩陣運算和常用函式(重點)
03. 矩陣運算和常用函式(重點) 文章目錄 03. 矩陣運算和常用函式(重點) 1. numpy 矩陣判斷和計算 1.1 與運算 1.2 或運算 1.3 或運算作為矩陣索引賦值
Cris 的 Python 資料分析筆記 02:NumPy 資料定位
02. NumPy 資料定位 文章目錄 02. NumPy 資料定位 1. numpy 快速判斷每個元素 2. numpy 判斷並返回對應的元素 1. numpy 快速判斷每個元素 i
Cris 的 Python 資料分析筆記 01:NumPy 基本知識
01. NumPy基本知識 文章目錄 01. NumPy基本知識 1. numpy 的第一個函式 genfromtxt 2. numpy 的第二個函式 array 3. numpy 的第三個函式 shape
資料分析之用Power Query實現資料轉換和清洗(功能操作篇)
一個案例快速瞭解Power Query 憑藉 Power Query,可以搜尋資料來源,建立連線,然後按照可滿足你需求的方式調整資料(例如刪除列、更改資料型別或合併表格)以建立報表。 例:將門店一&門店二兩個工作簿的資料整合到一張工作表,並統計出各銷售代表每個月的業
大資料分析:機器學習演算法實現的演化
我將會對機器學習演算法的不同的實現正規化進行講解,既有來自文獻中的,也有來自開源社群裡的。首先,這裡列出了目前可用的三代機器學習工具。 傳統的機器學習和資料分析的工具,包括SAS,IBM的SPSS,Weka以及R語言。它們可以在小資料集上進行深度分析——工具所執行的節點的記憶體可以容納得
Python資料分析基礎教程:Numpy學習指南
第二章 Numpy基礎2.6 改變陣列維度ravel()、flatten() 將多維陣列展平b.transpose() 矩陣轉置,等同於b.T,一維陣列不變reshape() 改變陣列維度2.8 組合陣列hstack((a, b)) 水平組合,等同於 concatenate(
《Python資料分析基礎教程:Numpy學習指南》- 速記
3.2 讀寫檔案 savetxt import numpy as np i2 = np.eye(2) np.savetxt("eye.txt", i2) 3.4 讀入CSV檔案 # AAPL,28-01-2011, ,344.17,344.
2018最新Python資料分析實戰教程視訊 python資料分析班視訊 Python資料分析基礎教程 利用Python進行資料分析
系列一:《python資料分析基礎與實踐》章節1Python概況課時2Python簡介章節2Python安裝課時3安裝Anaconda課時4使用Anaconda章節3資料準備課時5資料型別 – 布林型課時6資料型別 – 數值型課時7資料型別 – 字元型課時8資料結構 – List課時9資料結構 – Tuple
python利用numpy實現結構體
在C語言中我們可以通過struct關鍵字定義結構型別,結構中的欄位佔據連續的記憶體空間,每個結構體佔用的記憶體大小都相同,因此可以很容易地定義結構陣列。和C語言一樣,在NumPy中也很容易對這種結構陣列進行操作。只要NumPy中的結構定義和C語言中的定義相同,NumPy就
資料歸一化以及Python實現方式
資料歸一化: 資料的標準化是將資料按比例縮放,使之落入一個小的特定區間,去除資料的單位限制,將其轉化為無量綱的純數值,便於不同單位或量級的指標能夠進行比較和加權。 為什麼要做歸一化: 1)加快梯度下降求最優解的速度 如果兩個特徵的區間相差非常大,其所