2. 程式人生 > 實用技巧 >3.5.1 pandas基礎

3.5.1 pandas基礎

阿新 • • 發佈：2020-09-20

1.匯入三方庫

import numpy as np
import pandas as pd

檢視庫的版本

pd.__version__

'1.0.5'

2.資料檔案的匯入和匯出

1）xlsx檔案

shuju_xlsx = pd.read_excel('table.xlsx')
shuju_xlsx2 = pd.read_excel('視覺化圖表案例資料.xlsx')
shuju_xlsx4 = pd.read_excel('視覺化圖表案例資料.xlsx',sheet_name='條形圖')

2）csv檔案

shuju_csv = pd.read_csv('table.csv')

3）txt檔案

shuju_txt = pd.read_table('table.txt')
shuju_txt

​ ​ 
.dataframe tbody tr th {
   vertical-align: top;
}
​
.dataframe thead th {
   text-align: right;
}

</style>

​
col1col2col3col4
0 2 a 1.4 apple
1 3 b 3.4 banana
2 6 c 2.5 orange
3 5 d 3.2 lemon
​

</div>

shuju_txt2 = pd.read_table('citydata.txt',sep='\s+')

3.基本資料結構

1）Series 常用的屬性有：值（values）、索引（index）、名字（name）、型別（dtype）

se = pd.Series(np.random.randint(60,100,(8)),index=['s','e','q','b','a','s','h','t'],name='模擬學生成績',dtype='int32')

se

s    69
e    96
q    74
b    88
a    66
s    73
h    97
t    64
Name: 模擬學生成績, dtype: int32

se['e']

96

se['s']

s    69
s    73
Name: 模擬學生成績, dtype: int32

2）DataFrame

a）建立DataFrame

DF = pd.DataFrame({'字母':list('abcdefgh'),'編號':range(5,13),'分值':[1.3,1,3.6,4.6,18,9.1,11,11.111]},
                  index=list('一二三四五六七八'))

DF

​ ​ 
.dataframe tbody tr th {
    vertical-align: top;
}

.dataframe thead th {
    text-align: right;
}

</style>

​
字母編號分值
一 a 5 1.300
二 b 6 1.000
三 c 7 3.600
四 d 8 4.600
五 e 9 18.000
六 f 10 9.100
七 g 11 11.000
八 h 12 11.111
​

</div>

b）從DataFrame中取出一列

DF[['編號','分值']]

​ ​ 
.dataframe tbody tr th {
    vertical-align: top;
}

.dataframe thead th {
    text-align: right;
}

</style>

​
編號分值
一 5 1.300
二 6 1.000
三 7 3.600
四 8 4.600
五 9 18.000
六 10 9.100
七 11 11.000
八 12 11.111
​

</div>

c）修改行或列名

修改列名

DF.rename(columns={'asd':'字母','shuzi':'編號','帶小數點的資料':'分值'})

​ ​ 
.dataframe tbody tr th {
    vertical-align: top;
}

.dataframe thead th {
    text-align: right;
}

</style>

​
字母編號分值
一 a 5 1.300
二 b 6 1.000
三 c 7 3.600
四 d 8 4.600
五 e 9 18.000
六 f 10 9.100
七 g 11 11.000
八 h 12 11.111
​

</div>

#1.與直接資料提供人或者資料匯出者對接
#2.1）讓對方自行內部溝通，等待結果；2）嘗試獲取或切入對方的資料錄入環節

修改行名

DF.rename(index={'一':'numberone'},inplace=True)

DF

​ ​ 
.dataframe tbody tr th {
    vertical-align: top;
}

.dataframe thead th {
    text-align: right;
}

</style>

​
字母編號分值
numberone a 5 1.300
二 b 6 1.000
三 c 7 3.600
四 d 8 4.600
五 e 9 18.000
六 f 10 9.100
七 g 11 11.000
八 h 12 11.111
​

</div>

d）呼叫屬性和方法

DF.values

array([['a', 5, 1.3],
       ['b', 6, 1.0],
       ['c', 7, 3.6],
       ['d', 8, 4.6],
       ['e', 9, 18.0],
       ['f', 10, 9.1],
       ['g', 11, 11.0],
       ['h', 12, 11.111]], dtype=object)

DF.index

Index(['numberone', '二', '三', '四', '五', '六', '七', '八'], dtype='object')

DF.columns

Index(['字母', '編號', '分值'], dtype='object')

e）列的刪除和新增

列的刪除

DF.drop(index='五',columns='字母') #使用引數inplace=True才會在DataFrame中生效

​ ​ 
.dataframe tbody tr th {
    vertical-align: top;
}

.dataframe thead th {
    text-align: right;
}

</style>

​
編號分值
numberone 5 1.300
二 6 1.000
三 7 3.600
四 8 4.600
六 10 9.100
七 11 11.000
八 12 11.111
​

</div>

del DF['字母'] #執行後改動就會生效
DF

​ ​ 
.dataframe tbody tr th {
    vertical-align: top;
}

.dataframe thead th {
    text-align: right;
}

</style>

​
編號分值
numberone 5 1.300
二 6 1.000
三 7 3.600
四 8 4.600
五 9 18.000
六 10 9.100
七 11 11.000
八 12 11.111
​

</div>

列的新增

DF

​ ​ 
.dataframe tbody tr th {
    vertical-align: top;
}

.dataframe thead th {
    text-align: right;
}

</style>

​
編號分值
numberone 5 1.300
二 6 1.000
三 7 3.600
四 8 4.600
五 9 18.000
六 10 9.100
七 11 11.000
八 12 11.111
​

</div>

DF['新增的列'] = DF['編號'] + DF['分值']
DF

​ ​ 
.dataframe tbody tr th {
    vertical-align: top;
}

.dataframe thead th {
    text-align: right;
}

</style>

​
編號分值新增的列
numberone 5 1.300 6.300
二 6 1.000 7.000
三 7 3.600 10.600
四 8 4.600 12.600
五 9 18.000 27.000
六 10 9.100 19.100
七 11 11.000 22.000
八 12 11.111 23.111
​

</div>

f）根據型別選擇列

DF.select_dtypes(include=['number'])

​ ​ 
.dataframe tbody tr th {
    vertical-align: top;
}

.dataframe thead th {
    text-align: right;
}

</style>

​
編號分值新增的列
numberone 5 1.300 6.300
二 6 1.000 7.000
三 7 3.600 10.600
四 8 4.600 12.600
五 9 18.000 27.000
六 10 9.100 19.100
七 11 11.000 22.000
八 12 11.111 23.111
​

</div>

DF.select_dtypes(include=['object'])

​ ​ 
.dataframe tbody tr th {
    vertical-align: top;
}

.dataframe thead th {
    text-align: right;
}

</style>

​
numberone
二
三
四
五
六
七
八
​

</div>

4.常用基本函式

匯入資料檔案

csv_shuju = pd.read_csv('table.csv')

a）head和tail

csv_shuju.head()

​ ​ 
.dataframe tbody tr th {
    vertical-align: top;
}

.dataframe thead th {
    text-align: right;
}

</style>

​
SchoolClassIDGenderAddressHeightWeightMathPhysics
0 S_1 C_1 1101 M street_1 173 63 34.0 A+
1 S_1 C_1 1102 F street_2 192 73 32.5 B+
2 S_1 C_1 1103 M street_2 186 82 87.2 B+
3 S_1 C_1 1104 F street_2 167 81 80.4 B-
4 S_1 C_1 1105 F street_4 159 64 84.8 B+
​

</div>

csv_shuju.rename(columns={'School':'學校','Class':'班級','ID':'學生ID','Gender':'性別',
                          'Address':'地址','Height':'身高','Weight':'體重','Math':'數學成績','Physics':'物理成績'},inplace=True)
csv_shuju.head(1) #預設顯示5行

​ ​ 
.dataframe tbody tr th {
    vertical-align: top;
}

.dataframe thead th {
    text-align: right;
}

</style>

​
學校班級學生ID性別地址身高體重數學成績物理成績
0 S_1 C_1 1101 M street_1 173 63 34.0 A+
​

</div>

csv_shuju.tail(2) #預設顯示5行

​ ​ 
.dataframe tbody tr th {
    vertical-align: top;
}

.dataframe thead th {
    text-align: right;
}

</style>

​
學校班級學生ID性別地址身高體重數學成績物理成績
33 S_2 C_4 2404 F street_2 160 84 67.7 B
34 S_2 C_4 2405 F street_6 193 54 47.6 B
​

</div>

b）unique和nunique

csv_shuju['性別'].nunique() #nunique顯示該欄位裡有多少個唯一值

2

csv_shuju['性別'].unique() #unique顯示該欄位裡所有的唯一值

array(['M', 'F'], dtype=object)

c）count和value_counts

csv_shuju['地址'].count() #返回非缺失值元素的個數

35

csv_shuju['物理成績'].value_counts() #返回每個元素的頻數（有多少個）
#不太適合交易額、銷量、分值

B+    9
B     8
B-    6
A     4
A-    3
A+    3
C     2
Name: 物理成績, dtype: int64

d）info和describe

csv_shuju.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 35 entries, 0 to 34
Data columns (total 9 columns):
 #   Column  Non-Null Count  Dtype  
---  ------  --------------  -----  
 0   學校      35 non-null     object 
 1   班級      35 non-null     object 
 2   學生ID    35 non-null     int64  
 3   性別      35 non-null     object 
 4   地址      35 non-null     object 
 5   身高      35 non-null     int64  
 6   體重      35 non-null     int64  
 7   數學成績    35 non-null     float64
 8   物理成績    35 non-null     object 
dtypes: float64(1), int64(3), object(5)
memory usage: 2.6+ KB

csv_shuju.describe() #統計數值型資料的各個統計量

​ ​ 
.dataframe tbody tr th {
    vertical-align: top;
}

.dataframe thead th {
    text-align: right;
}

</style>

​
學生ID身高體重數學成績
count 35.00000 35.000000 35.000000 35.000000
mean 1803.00000 174.142857 74.657143 61.351429
std 536.87741 13.541098 12.895377 19.915164
min 1101.00000 155.000000 53.000000 31.500000
25% 1204.50000 161.000000 63.000000 47.400000
50% 2103.00000 173.000000 74.000000 61.700000
75% 2301.50000 187.500000 82.000000 77.100000
max 2405.00000 195.000000 100.000000 97.000000
​

</div>

csv_shuju.describe(percentiles=[.05,.25,.75,.95])

​ ​ 
.dataframe tbody tr th {
    vertical-align: top;
}

.dataframe thead th {
    text-align: right;
}

</style>

​
學生ID身高體重數學成績
count 35.00000 35.000000 35.000000 35.000000
mean 1803.00000 174.142857 74.657143 61.351429
std 536.87741 13.541098 12.895377 19.915164
min 1101.00000 155.000000 53.000000 31.500000
5% 1102.70000 157.000000 56.100000 32.640000
25% 1204.50000 161.000000 63.000000 47.400000
50% 2103.00000 173.000000 74.000000 61.700000
75% 2301.50000 187.500000 82.000000 77.100000
95% 2403.30000 193.300000 97.600000 90.040000
max 2405.00000 195.000000 100.000000 97.000000
​

</div>

csv_shuju['物理成績'].describe()

count     35
unique     7
top       B+
freq       9
Name: 物理成績, dtype: object

e）idxmax和nlargest

idxmax

csv_shuju['數學成績'].idxmax() #返回最大值所在行的索引

5

csv_shuju[5:9]

​ ​ 
.dataframe tbody tr th {
    vertical-align: top;
}

.dataframe thead th {
    text-align: right;
}

</style>

​
學校班級學生ID性別地址身高體重數學成績物理成績
5 S_1 C_2 1201 M street_5 188 68 97.0 A-
6 S_1 C_2 1202 F street_4 176 94 63.5 B-
7 S_1 C_2 1203 M street_6 160 53 58.8 A+
8 S_1 C_2 1204 F street_5 162 63 33.8 B
​

</div>

csv_shuju['數學成績'].idxmin() #返回最小值所在行的索引

10

csv_shuju[10:20]

​ ​ 
.dataframe tbody tr th {
    vertical-align: top;
}

.dataframe thead th {
    text-align: right;
}

</style>

​
學校班級學生ID性別地址身高體重數學成績物理成績
10 S_1 C_3 1301 M street_4 161 68 31.5 B+
11 S_1 C_3 1302 F street_1 175 57 87.7 A-
12 S_1 C_3 1303 M street_7 188 82 49.7 B
13 S_1 C_3 1304 M street_2 195 70 85.2 A
14 S_1 C_3 1305 F street_5 187 69 61.7 B-
15 S_2 C_1 2101 M street_7 174 84 83.3 C
16 S_2 C_1 2102 F street_6 161 61 50.6 B+
17 S_2 C_1 2103 M street_4 157 61 52.5 B-
18 S_2 C_1 2104 F street_5 159 97 72.2 B+
19 S_2 C_1 2105 M street_4 170 81 34.2 A
​

</div>

nlargest

csv_shuju['數學成績'].nlargest() #返回前幾個大的元素值及其索引

5     97.0
28    95.5
11    87.7
2     87.2
24    85.4
Name: 數學成績, dtype: float64

csv_shuju['數學成績'].nsmallest() #返回前幾個小的元素值及其索引

10    31.5
1     32.5
26    32.7
8     33.8
0     34.0
Name: 數學成績, dtype: float64

e）clip和replace

clip：對超過或低於指定值的資料進行擷取

csv_shuju['數學成績'].clip(31,50).head()

0    34.0
1    32.5
2    50.0
3    50.0
4    50.0
Name: 數學成績, dtype: float64

replace：對指定值進行替換

csv_shuju['地址'].replace(['street_1','street_2','street_4'],['one','two','fouth'],inplace=True)
csv_shuju.head(10)

​ ​ 
.dataframe tbody tr th {
    vertical-align: top;
}

.dataframe thead th {
    text-align: right;
}

</style>

​
學校班級學生ID性別地址身高體重數學成績物理成績
0 S_1 C_1 1101 M one 173 63 34.0 A+
1 S_1 C_1 1102 F two 192 73 32.5 B+
2 S_1 C_1 1103 M two 186 82 87.2 B+
3 S_1 C_1 1104 F two 167 81 80.4 B-
4 S_1 C_1 1105 F fouth 159 64 84.8 B+
5 S_1 C_2 1201 M street_5 188 68 97.0 A-
6 S_1 C_2 1202 F fouth 176 94 63.5 B-
7 S_1 C_2 1203 M street_6 160 53 58.8 A+
8 S_1 C_2 1204 F street_5 162 63 33.8 B
9 S_1 C_2 1205 F street_6 167 63 68.4 B-
​

</div>

相關推薦

3.5.1 pandas基礎

1.匯入三方庫 import numpy as npimport pandas as pd 檢視庫的版本 pd.__version__ \'1.0.5\' 2.資料檔案的匯入和匯出

輸入兩個整數序列，第一個序列表示棧的壓入順序， 請判斷第二個序列是否可能為該棧的彈出順序。假設壓入棧的所有數字均不相等。 例如序列1,2,3,4,5是某棧的壓入順序，序列4,5,3,2,1是該壓棧序列對應的一個彈出序列， 但4,3,5,1,2就不可能是該壓棧序列的彈出序列。（注意：這兩個序列的長度是相等的）

思路 根據出棧順序模擬一次入棧入棧元素 等於出棧順序第一個時就 該元素就可以出棧了比如 入12345 出棧順序45321入1 出棧順序第一個是4嘛 說明只有入到4才會出啊 -》4321 -》入到4了 相等那就出-》321繼續正常入5321

service 2016 伺服器上新增3.5.1 失敗

失敗原因：分析是因為伺服器再內網執行，無法獲取到網路上的3.5.1 安裝包，這時候需要我們手動下載，手動安裝。

mybatisPlus程式碼生成（新） 3.5.1以上版本

mybatisPlus程式碼生成（新）3.5.1以上版本 1.匯入相關依賴 <!--資料庫驅動--> <dependency>

MybatisPlus最新程式碼生成器（3.5.1+）使用教程（2）——輸出檔名詳細解析

簡介 MybatisPlus最新程式碼生成器（3.5.1+）使用教程（1）——輸出路徑詳細解析

MybatisPlus最新程式碼生成器（3.5.1+）使用教程（3）——指定資料庫表詳細解析

簡介 MybatisPlus最新程式碼生成器（3.5.1+）使用教程（1）——輸出路徑詳細解析MybatisPlus最新程式碼生成器（3.5.1+）使用教程（2）——輸出檔名詳細解析

MybatisPlus最新程式碼生成器（3.5.1+）使用教程（4）——檔案模板解析

簡介 MybatisPlus最新程式碼生成器（3.5.1+）使用教程（1）——輸出路徑詳細解析MybatisPlus最新程式碼生成器（3.5.1+）使用教程（2）——輸出檔名詳細解析MybatisPlus最新程式碼生成器（3.5.1+）使用教程（3）——指

MyBatis-Plus 程式碼生成器3.5.1+

package com.test.mybatis_plus_test; /* 官方程式碼生成器配置文件 https://baomidou.com/pages/981406/

Mybatis-Plus 版本升級日誌（3.1.0 -&gt; 3.5.1）

前言 最近看了下mp的官網更新日誌，版本已經更新到3.5.1了（2022.01.25）,優化了不少地方，之前太忙沒時間升級，最近有閒下來時間那就搞一搞。

MyBatis多對多查詢樣例——通過臨時表實現(注:懶載入mybatis版本需大於3.5.1)

表關係 Orders與Travller為多對多關係 Orders:訂單表,一個訂單有多個traveller。 Traveller:遊客表，一個Travller有多個訂單

Mybatiplus通用3.5.1版本及其以上的程式碼生成器工具類

Mybatiplus通用3.5.1版本及其以上的程式碼生成器工具類 package com.gton.util; import com.baomidou.mybatisplus.annotation.FieldFill;

在python中實現求輸出1-3+5-7+9-......101的和

第一種： i=0 sum=0 a=0 while i<102: if i>=1 and i%4==1: sum+=i elif i%2!=0 and i!=1: a=a+i i+=1 print(sum-a)

1-python資料分析-Pandas基礎操作

為什麼學習pandas numpy已經可以幫助我們進行資料的處理了，那麼學習pandas的目的是什麼呢？

寫出下面各邏輯表示式的值。設a=3,b=4,c=5 (1）a + b > c && b == c （2）a || b + c && b - c （3）!(a > b) && !c || 1 （4）!(x = a) && (y = b) && 0 （5）!(a + b) + c - 1 &

寫出下面各邏輯表示式的值。設a=3,b=4,c=5。 （1）a + b > c && b == c （2）a || b + c && b - c

浙大版《C語言程式設計（第3版）》題目集 習題5-1 符號函式

- - -》博主推薦，學生黨、程式設計師必備，點選檢視- - - >>>>> 熱門文章推薦

分數求和，計算1/1-1/2+1/3-1/4+1/5 …… + 1/99 - 1/100 的值，打印出結果

先寫一個程式輸出 1/1+1/2+1/3+1/4+1/5 …… + 1/99 + 1/100 的值注意：定義的求和結果一定是浮點型。

ElasticSearch5.5.1(核心3)

>>> 1、安裝 1.1安裝JDK，至少1.8.0_73以上版本，java -version 1.2下載和解壓縮Elasticsearch安裝包

Python：安裝opencv出現錯誤Could not find a version that satisfies the requirement numpy==1.13.3 (from versions: 1.14.5, 1.14.6, 1.15.0rc2, 1.15.0, 1.15.1, 1.15.2, 1.15.3, 1.15.4, 1.16.0rc1, 1.16.0rc2,

安裝opencv的時候，出現numpy的版本不匹配，解除安裝了不匹配的版本，重新安裝卻是一點用都沒有，後面嘗試了一下這裡的提示pip更新，居然安裝成功了，看來pip的版本過低真是誤事啊。

寫一個函式實現如下功能： 1）輸入陣列：[0,1,2,3,5,6,8] ==> 輸出陣列：[“0->3”,”5->6”,”8”] 2）輸入陣列：[1,2,4,5,6,7,9]==> 輸出陣列：['1->2','4->7','9']

練習題： 1.寫一個函式實現如下功能： 1）輸入陣列：[0,1,2,3,5,6,8]==> 輸出陣列：[“0->3”,”5->6”,”8”]

定義一個斐波拉契數列：0,1,1,2,3,5，……，使用遞迴方法獲取第n個數的數值。 已知函式xxx請設計一個方法實現上面的函式，根據傳入的值x的不同，返回對應的y值。

技術標籤：javajava遞迴演算法 定義一個斐波拉契數列：0,1,1,2,3,5，……，使用遞迴方法獲取第n個數的數值。 已知函式