#python中的pandas庫主要有DataFrame和Series類(面向物件的的語言更願意叫類) DataFrame也就是
#資料框(主要是借鑑R裡面的data.frame)，Series也就是序列 ，pandas底層是c寫的 效能很棒，有大神
#做過測試  處理億級別的資料沒問題，起效能可以跟同等配置的sas媲美
#DataFrame索引  df.loc是標籤選取操作，df.iloc是位置切片操作
print(df[['row_names','Rape']])
df['行標籤']
df.loc[行標籤,列標籤]
print(df.loc[0:2,['Rape','Murder']])
df.iloc[行位置,列位置]
df.iloc[1,1]#選取第二行，第二列的值，返回的為單個值
df.iloc[0,2],:]#選取第一行及第三行的資料
df.iloc[0:2,:]#選取第一行到第三行（不包含）的資料
df.iloc[:,1]#選取所有記錄的第一列的值，返回的為一個Series
df.iloc[1,:]#選取第一行資料，返回的為一個Series
print(df.ix[1,1])  # 更廣義的切片方式是使用.ix，它自動根據你給到的索引型別判斷是使用位置還是標籤進行切片
print(df.ix[0:2])


#DataFrame根據條件選取子集  類似於sas裡面if、where ,R裡面的subset之類的函式
df[df.Murder>13]
df[(df.Murder>10)&(df.Rape>30)]
df[df.sex==u'男']
#重新命名  相當於sas裡面的rename   R軟體中reshape包的中的rename
df.rename(columns={'A':'A_rename'})  
df.rename(index={1:'other'})

#刪除列  相當於sas中的drop  R軟體中的test['col']<-null
df.drop(['a','b'],axis=1)  or  del  df[['a','b']]

#排序  相當於sas裡面的sort   R軟體裡面的df[order(x),]
df.sort(columns='C')   #行排序  y軸上
df.sort(axis=1)  #各個列之間位置排序  x軸上

#資料描述  相當於sas中proc menas  R軟體裡面的summary
df.describe()


#生成新的一列  跟R裡面有點類似
df['new_columns']=df['columns']
df.insert(1,'new_columns',df['B'])  #效率最高
df.join(Series(df['columns'],name='new_columns'))


#列上面的追加  相當於sas中的append   R裡面cbind()
df.append(df1,ignore_index=True)
pd.concat([df,df1],ignore_index=True)

#最經典的join   跟sas和R裡面的merge類似   跟sql裡面的各種join對照
merge()

#刪除重行  跟sas裡面nodukey   R裡面的which(!duplicated(df[])類似
df.drop_duplicated()

#獲取最大值  最小值的位置   有點類似矩陣裡面的方法
df.idxmin(axis=0 ) df.idxmax(axis=1)  0和1有什麼不同  自己摸索去

#讀取外部資料跟sas的proc  import  R裡面的read.csv等類似
read_excel()  read_csv()  read_hdf5() 等

與之相反的是df.to_excel()   df.to_ecv()

#缺失值處理  個人覺得pandas中缺失值處理比sas和R方便多了
df.fillna(9999)  #用9999填充  

#連結資料庫 不多說    pandas裡面主要用 MySQLdb
import MySQLdb
conn=MySQLdb.connect(host="localhost",user="root",passwd="",db="mysql",use_unicode=True,charset="utf8")
read_sql() #很經典
#寫資料進資料庫
df.to_sql('hbase_visit',con, flavor="mysql", if_exists='replace', index=False)

#groupby  跟sas裡面的中的by    R軟體中dplyr包中的group_by  sql裡面的group by功能是一樣的 這裡不多說

#求啞變數  
dumiper=pd.get_dummies(df['key'])
df['key'].join(dumpier)

#透視表  和交叉表   跟sas裡面的proc  freq步類似  R裡面的aggrate和cast函式類似
pd.pivot_table()
pd.crosstab()

#聚合函式經常跟group by一起組合用
df.groupby('sex').agg({'height':['mean','sum'],'weight':['count','min']})  


#資料查詢過濾
test.query("0.2
將STK_ID中的值過濾出來
stk_list = ['600809','600141','600329']中的全部記錄過濾出來，命令是：rpt[rpt['STK_ID'].isin(stk_list)].
將dataframe中，某列進行清洗的命令
刪除換行符：misc['product_desc'] = misc['product_desc'].str.replace('\n', '')
刪除字串前後空格：df["Make"] = df["Make"].map(str.strip)


如果用模糊匹配的話，命令是：
rpt[rpt['STK_ID'].str.contains(r'^600[0-9]{3}$')]


對dataframe中元素，進行型別轉換

df['2nd'] = df['2nd'].str.replace(',','').astype(int) df['CTR'] = df['CTR'].str.replace('%','').astype(np.float64)
#時間變換  主要依賴於datemie  和time兩個包
http://www.2cto.com/kf/201401/276088.html

#其他的一些技巧
df2[df2['A'].map(lambda x:x.startswith('61'))]  #篩選出以61開頭的資料
df2["Author"].str.replace("<.+>", "").head()  #replace("<.+>", "")表示將字串中以”<”開頭;以”>”結束的任意子串替換為空字串

commits = df2["Name"].head(15)
print commits.unique(), len(commits.unique())   #獲的NAME的不同個數，類似於sql裡面count(distinct name)


#pandas中最核心 最經典的函式apply  map   applymap

#這三個函式是pandas裡面資料變換的核心  避免了for迴圈,跟R裡面的apply函式類似
#主要用法不清楚可以問我

pd.concat([df1,df2],axis=1)  橫向合併 ，沒有axis=1 則縱向合併

上面有不懂得、或者我寫錯的、或者侵權的、或願意交流的請加（714947298）