1. 程式人生 > >金融與量化投資

金融與量化投資

示例 解決 通用 .py ++ isinf abs line parse

一、介紹

1、量化投資第三方相關模塊

NumPy:數組批量計算

Pandas:表計算與數據分析

Matplotlib:圖表繪制


2、如何使用Python進行量化投資

自己編寫:NumPy+pandas+Matplotlib+……

在線平臺:聚寬、優礦、米筐、Quantopian、……

開源框架:RQAlpha、QUANTAXIS、……


金融:就是對現有資源進行重新整合之後,實現價值和利潤的等效流通。

量化投資:利用計算機技術並且采用一定的數學模型去實踐投資理念,實現投資策略的過程。


量化投資的優勢:

避免主觀情緒、人性弱點和認知偏差,選擇更加客觀

能同時包括多角度的觀察和多層次的模型

及時跟蹤市場變化,不斷發現新的統計模型,尋找交易機會

在決定投資策略後,能通過回測驗證其效果



量化策略:通過一套固定的邏輯來分析、判斷和決策,自動化地進行股票交易

二、IPython和jupyter

IPython是交互式的Python命令行

pip install ipython

使用:ipython

技術分享圖片

pip install jupyter

執行命令:jupyter-notebook


三、IPython快捷鍵及常用命令

1、IPython快捷鍵

技術分享圖片

2、IPython的魔法命令

技術分享圖片

3、IPython調試器命令

技術分享圖片

四、NumPy:數組計算

NumPy是高性能科學計算和數據分析的基礎包。它是pandas等其他各種工具的基礎。


NumPy的主要功能:

ndarray,一個多維數組結構,高效且節省空間

無需循環對整組數據進行快速運算的數學函數

*讀寫磁盤數據的工具以及用於操作內存映射文件的工具

*線性代數、隨機數生成和傅裏葉變換功能

*用於集成C、C++等代碼的工具


安裝方法:pip install numpy

引用方式:import numpy as np


例1:已知若幹家跨國公司的市值(美元),將其換算為人民幣
import numpy as np
import random
a = [random.uniform(100.0,200.0) for _ in range(1000)]            #隨機生成有1000個小數的列表
# list(map(lambda x:x*6.6,a))                                  #每個元素都乘6.6,組成新的列表
arr = np.array(a)                                                  #列表轉化為數組
arr * 6.6                                                         #對數組每個值乘以6.6得到所需的值

例2:已知購物車中每件商品的價格與商品件數,求總金額
price = [random.uniform(10,20) for _ in range(100)]
num = [random.randint(1,10) for _ in range(100)]
# sum_p=0
# for p,n in zip(price,num):                                   #拉鏈函數把對應的值相乘
#         sum_p+=p*n
# print(sum_p)
price_arr = np.array(price)                                #價格列表變成數組
num_arr = np.array(num)                                   #數量列表變成數組
np.sum(price_arr*num_arr)


五、NumPy常用屬性和常用方法

常用屬性:

T 數組的轉置(對高維數組而言)

技術分享圖片

dtype數組元素的數據類型

size數組元素的個數

ndim數組的維數

shape數組的維度大小(以元組形式)



常用方法:
array.shape                         array的規格
array.ndim
array.dtype                         array的數據規格
numpy.zeros(dim1,dim2)              創建dim1*dim2的零矩陣
numpy.arange
numpy.eye(n) /numpy.identity(n)     創建n*n單位矩陣
numpy.array([…data…], dtype=float64 )
array.astype(numpy.float64)         更換矩陣的數據形式
array.astype(float)                 更換矩陣的數據形式
array * array                       矩陣點乘
array[a:b]                          切片
array.copy()                        得到ndarray的副本,而不是視圖
array [a] [b]=array [ a, b ]        兩者等價
name=np.array(['bob','joe','will']) res=name==’bob’ res= array([ True, False, False], dtype=bool)
data[True,False,…..]                索引,只索取為True的部分,去掉False部分
通過布爾型索引選取數組中的數據,將總是創建數據的副本。
data[ [4,3,0,6] ]                   索引,將第4,3,0,6行摘取出來,組成新數組
data[-1]=data[data.__len__()-1]
numpy.reshape(a,b)                  將a*b的一維數組排列為a*b的形式
array([a,b,c,d],[d,e,f,g])          返回一維數組,分別為[a,d],[b,e],[c,f],[d,g]
array[ [a,b,c,d] ][:,[e,f,g,h] ]=array[ numpy.ix_( [a,b,c,d],[e,f,g,h] ) ]
array.T                             array的轉置
numpy.random.randn(a,b)             生成a*b的隨機數組
numpy.dot(matrix_1,matrix_2)        矩陣乘法
array.transpose( (1,0,2,etc.) )     對於高維數組,轉置需要一個由軸編號組成的元組

創建ndarray:
    array()         將列表轉換為數組,可選擇顯式指定dtype
    arange()        range的numpy版,支持浮點數,np.arange(2,10,0.2) 步長可以為小數
    linspace()      類似arange(),第三個參數為數組長度,分為多少份
    zeros()         根據指定形狀和dtype創建全0數組
    ones()          根據指定形狀和dtype創建全1數組
    empty()         根據指定形狀和dtype創建空數組(隨機值)
    eye()           根據指定邊長和dtype創建單位矩陣


六、NumPy:索引和切片

1、數組和標量之間的運算

a+1 a*3 1//a a**0.5

2、同樣大小數組之間的運算

a+b a/b a**b

3、數組的索引:

一維數組:a[5]

多維數組:

列表式寫法:a[2][3]

新式寫法:a[2,3] (推薦)

數組的切片:

一維數組:a[5:8] a[4:] a[2:10] = 1

多維數組:a[1:2, 3:4] a[:,3:5] a[:,1]

4、強調:與列表不同,數組切片時並不會自動復制,在切片數組上的修改會影響原數組。 【解決方法:copy()】

arr=np.arange(10).reshape(2,5)             #生成的數組元素0到9通過reshape拆成兩行,五列,要拆的行列相乘必須等於數組的總元素
arr=np.arange(10).reshape(2,-1)            #後面-1是占位的,會通過計算得到列數
ag=[random.randint(1,10) for _ in range(20)]
list(filter(lambda x:x>5,ag))            #過濾大於5的元素列表
ag= np.array(ag)
a[a>5]                                   #給一個數組,選出數組中所有大於5的數
a[(a>5) & (a%2==0)]                      #給一個數組,選出數組中所有大於5的偶數
a[(a>5) | (a%2==0)]                       #給一個數組,選出數組中所有大於5的數和偶數。


import numpy as np
a = np.array([1,2,3,4,5,4,7,8,9,10])
a[a>5&(a%2==0)]                               #註意加括號
輸出:array([ 1,  2,  3,  4,  5,  4,  7,  8,  9, 10])
a[(a>5)&(a%2==0)]
輸出:array([ 8, 10])


對一個二維數組,選出其第一列和第三列,組成新的二維數組
a[:,[1,3]]


七、NumPy:通用函數’

通用函數:能同時對數組中所有元素進行運算的函數


常見通用函數:

一元函數:abs, sqrt, exp, log, ceil, floor, rint, trunc, modf, isnan, isinf, cos, sin, tan

numpy.sqrt(array)                   平方根函數
numpy.exp(array)                    e^array[i]的數組
numpy.abs/fabs(array)               計算絕對值
numpy.square(array)                 計算各元素的平方 等於array**2
numpy.log/log10/log2(array)         計算各元素的各種對數
numpy.sign(array)                   計算各元素正負號
numpy.isnan(array)                  計算各元素是否為NaN
numpy.isinf(array)                  計算各元素是否為inf
numpy.cos/cosh/sin/sinh/tan/tanh(array) 三角函數
numpy.modf(array)                   將array中值得整數和小數分離,作兩個數組返回
numpy.ceil(array)                   向上取整,也就是取比這個數大的整數
numpy.floor(array)                  向下取整,也就是取比這個數小的整數
numpy.rint(array)                   四舍五入
numpy.trunc(array)                  向0取整
numpy.cos(array)                       正弦值
numpy.sin(array)                    余弦值
numpy.tan(array)                    正切值


二元函數:add, substract, multiply, divide, power, mod, maximum, mininum,

numpy.add(array1,array2)            元素級加法
numpy.subtract(array1,array2)       元素級減法
numpy.multiply(array1,array2)       元素級乘法
numpy.divide(array1,array2)         元素級除法 array1./array2
numpy.power(array1,array2)          元素級指數 array1.^array2
numpy.maximum/minimum(array1,aray2) 元素級最大值/最小值
numpy.fmax/fmin(array1,array2)      元素級最大值,忽略NaN
numpy.mod(array1,array2)            元素級求模
numpy.copysign(array1,array2)       將第二個數組中值得符號復制給第一個數組中值
numpy.greater/greater_equal/less/less_equal/equal/not_equal (array1,array2)
元素級比較運算,產生布爾數組
numpy.logical_end/logical_or/logic_xor(array1,array2)元素級的真值邏輯運算


浮點數有兩個特殊值:

nan(Not a Number):不等於任何浮點數(nan != nan)

inf(infinity):比任何浮點數都大


NumPy中創建特殊值:np.nannp.inf

在數據分析中,nan常被用作表示數據缺失值
a=np.nan
b=np.inf
np.isnan(a)                       #判斷a是否是nan
np.isinf(b)                      #判斷b是否是inf
a[~np.isnan(a)]                   #刪除數組中的nan


八、NumPy:數學和統計方法

1、常用函數:

sum求和
cumsum 求前綴和
mean求平均數
std求標準差
var求方差
min求最小值
max求最大值
argmin求最小值索引
argmax求最大值索引

arr=np.arange(15).reshape(3,5)
arr.sum(axis=0)              #行作為軸,對數組逐列求和
arr.sum(axis=1)              #列作為軸,對數組逐行求和


2、NumPy:隨機數生成

隨機數生成函數在np.random子包內

常用函數
rand給定形狀產生隨機數組(0到1之間的數)
randint給定形狀產生隨機整數
choice給定形狀產生隨機選擇
shuffle與random.shuffle相同
uniform給定形狀產生隨機小數數組


九、pandas簡單介紹

pandas是一個基於NumPy構建的強大的Python數據分析的工具包。

1、pandas的主要功能

具備對其功能的數據結構DataFrame、Series

集成時間序列功能

提供豐富的數學運算和操作

靈活處理缺失數據

2、安裝方法:pip install pandas

3、引用方法:import pandas as pd


十、Series

Series是一種類似於一位數組的對象,由一組數據和一組與之相關的數據標簽(索引)組成。

1、創建方式:

    pd.Series([4,7,-5,3])                                      #默認元素下標數字
    pd.Series([4,7,-5,3],index=['a','b','c','d'])            #兩套索引系統,下標和標簽
    pd.Series({'a':1, 'b':2})
    pd.Series(0, index=['a','b','c','d'])


2、Series支持數組的特性:

從ndarray創建Series:Series(arr)

與標量運算:sr*2

兩個Series運算:sr1+sr2

索引:sr[0], sr[[1,2,4]]

切片:sr[0:2](切片依然是視圖形式)

通用函數:np.abs(sr)

布爾值過濾:sr[sr>0]

統計函數:


mean() #求平均數

sum() #求和

cumsum() #累加


s = pd.Series(0,index=['a','b','c','d'])
s.a                    #結果0
v = pd.Series({'a':1,'b':2})
v.a                    #結果1
v.b                      #結果2
v[0]                    #結果1
s*2
#結果
a    0
b    0
c    0
d    0
dtype: int64
v*2
#結果
a    2
b    4
dtype: int64


3、整數索引

sr = np.Series(np.arange(4.))

sr[-1]

如果索引是整數類型,則根據整數進行數據操作時總是面向標簽的。


loc屬性以標簽解釋

iloc屬性以下標解釋


十一、pandas:Series數據對齊

pandas在運算時,會按索引進行對齊然後計算。如果存在不同的索引,則結果的索引是兩個操作數索引的並集。


    sr1 = pd.Series([12,23,34], index=['c','a','d'])
    sr2 = pd.Series([11,20,10], index=['d','c','a',])
    sr=sr1+sr2
    sr3 = pd.Series([11,20,10,14], index=['d','c','a','b'])
    sr1+sr3
    
    如何在兩個Series對象相加時將缺失值設為0?
    sr1.add(sr2, fill_value=0)
    靈活的算術方法:add, sub, div, mul


十二、pandas:Series缺失數據


1、缺失數據:使用NaN(Not a Number)來表示缺失數據。其值等於np.nan。內置的None值也會被當做NaN處理。

2、處理缺失數據的相關方法:

dropna()過濾掉值為NaN的行
fillna()填充缺失數據
isnull()返回布爾數組,缺失值對應為True
notnull()返回布爾數組,缺失值對應為False


3、過濾缺失數據:sr.dropna() 或 sr[data.notnull()]

4、填充缺失數據:fillna(0)


sr=sr.dropna()                       #丟掉缺失值
sr=sr.fillna(0)                       #缺失值填充為0
sr=sr.fillna(sr.mean())                 #缺失值填充為平均數


十三、pandas:DataFrame與DataFrame查看數據

1、DataFrame

DataFrame是一個表格型的數據結構,含有一組有序的列。

DataFrame可以被看做是由Series組成的字典,並且共用一個索引。


創建方式:
pd.DataFrame({'one':[1,2,3,4],'two':[4,3,2,1]})
pd.DataFrame({'one':pd.Series([1,2,3],index=['a','b','c']), 'two':pd.Series([1,2,3,4],index=['b','a','c','d'])})
……
csv文件讀取與寫入:
df.read_csv('E:\算法\day110 Numpy、Pandas模塊\601318.csv')
df.to_csv()


2、DataFrame查看數據

查看數據常用屬性及方法:

index 獲取索引

T 轉置

columns 獲取列索引

values 獲取值數組

describe() 獲取快速統計


DataFrame各列name屬性:列名

rename(columns={})


十四、pandas:DataFrame索引和切片

1、DataFrame有行索引和列索引。

2、DataFrame同樣可以通過標簽和位置兩種方法進行索引和切片。

3、DataFrame使用索引切片:


方法1:兩個中括號,先取列再取行。 df['A'][0]

方法2(推薦):使用loc / iloc屬性,一個中括號,逗號隔開,先取行再取列。

loc屬性:解釋為標簽

iloc屬性:解釋為下標

向DataFrame對象中寫入值時只使用方法2

行 / 列索引部分可以是常規索引、切片、布爾值索引、花式索引任意搭配。(註意:兩部分都是花式索引時結果可能與預料的不同)


通過標簽獲取:
df['A']
df[['A', 'B']]
df['A'][0]
df[0:10][['A', 'C']]
df.loc[:, ['A', 'B']]  # 行是所有的行,列取是A和B的
df.loc[:, 'A':'C']
df.loc[0, 'A']
df.loc[0:10, ['A', 'C']]

通過位置獲取:
df.iloc[3]
df.iloc[3, 3]
df.iloc[0:3, 4:6]
df.iloc[1:5, :]
df.iloc[[1, 2, 4], [0, 3]]、

通過布爾值過濾:
  df[df['A'] > 0]
  df[df['A'].isin([1, 3, 5])]
  df[df < 0] = 0


十五、pandas:DataFrame數據對齊與缺失數據


DataFrame對象在運算時,同樣會進行數據對齊,行索引與列索引分別對齊。

結果的行索引與列索引分別為兩個操作數的行索引與列索引的並集。


1、DataFrame處理缺失數據的相關方法:


dropna(axis=0,how=‘any’,…) 過濾掉包含值為NaN的行
fillna()填充缺失數據
isnull()返回布爾數組,缺失值對應為True
notnull()返回布爾數組,缺失值對應為False

df2.dropna(axis=0,how="all")            #一行全是nan的就丟掉


2、pandas:其他常用方法

- mean #求平均值

- sum #求和

- sort_index #按行或列索引排序

- sort_values #按值排序

- apply(func,axis=0) #axis=0指的是逐行,axis=1指的是逐列。

df.apply(lamada x:x.mean()) #按列求平均

df.apply(lamada x:x['high']+x["low"])/2,axis=1) #按列求平均(最高價和最低價的平均)

df.apply(lamada x:x['high']+x["low"])/2,axis=1) #按列求平均(最高價和最低價的平均)

- applymap(func) #將函數應用在DataFrame各個元素上

- map(func) #將函數應用在Series各個元素上


df2=df.loc[:,"open":"low"]         #對所有行取open列到low列的元素
df2.sort_values("open")             #基於open列的數據進行升序排序
df2.sort_values("open",ascending=False)       #基於open列的數據倒序排序


3、pandas:時間對象處理

時間序列類型:

時間戳:特定時刻

固定時期:如2017年7月

時間間隔:起始時間-結束時間

Python標準庫:datetime

datetime.datetime.timedelta # 表示 時間間隔

dt.strftime() #f:format吧時間對象格式化成字符串

strptime() #吧字符串解析成時間對象p:parse

靈活處理時間對象:dateutil包

dateutil.parser.parse('2018/1/29')

成組處理時間對象:pandas

pd.to_datetime(['2001-01-01', '2002-02-02'])


產生時間對象數組:date_range


start 開始時間

end 結束時間

periods 時間長度

freq 時間頻率,默認為'D',可選H(our),W(eek),B(usiness),S(emi-)M(onth),(min)T(es), S(econd), A(year),…


pd.date_range(['2001-01-01', '2002-02-02'])

pd.date_range(['2001-01-01',periods=10])



4、pandas:時間序列

(1)時間序列就是以時間對象為索引的Series或DataFrame。

(2)datetime對象作為索引時是存儲在DatetimeIndex對象中的。

(3)時間序列特殊功能:

傳入“年”或“年月”作為切片方式

傳入日期範圍作為切片方式

豐富的函數支持:resample(), strftime(), ……

批量轉換為datetime對象:to_pydatetime()


df.index = pd.DatetimeIndex(pd.to_datetime(df["date"])) #date變成時間索引

del df["date"] #刪掉原來的date列


十六、pandas:從文件讀取


1、時間序列就是以時間對象作為索引

讀取文件:從文件名、URL、文件對象中加載數據
read_csv               默認分隔符為逗號
read_table            默認分隔符為\t
read_excel             讀取excel文件


2、讀取文件函數主要參數:

sep                  指定分隔符,可用正則表達式如'\s+'
header = None             指定文件無列名
name                 指定列名
index_col             指定某列作為索引
skip_row              指定跳過某些行
na_values             指定某些字符串表示缺失值,na_values=["None","null"],對應的顯示為nan
parse_dates           指定某些列是否被解析為日期,布爾值或列表,為True表示轉換為時間對象
df = pd.read_csv("601318.csv")                # 默認以,為分隔符
     - pd.read_csv("601318.csv", sep='\s+')  # 匹配空格,支持正則表達式
     - pd.read_table("601318.csv", sep=',')  # 和df = pd.read_csv("601318.csv")   一樣
     - pd.read_excle("601318.xlsx")          # 讀Excel文件
     
sep:指定分隔符
header = None, 就會吧默認的表名去除,如果後面names=list("abcdef")表示使用abcdef作為header
df.rename(column={0: 'a', 1: "b"})  # 修改列名
pd.read_csv(index_col=0)              # 第0列
如果想讓時間成為索引,pd.read_csv(index_col='date')  # 時間列
pd.read_csv(index_col='date', parse_datas=True)     # 時間列,parse_datas轉換為時間對象,設為true是吧所有能轉的都轉
pd.read_csv(index_col='date', parse_datas=['date'])  # 把date的那一列轉換成時間對象
na_values = ['None']  # 吧表裏面為None的轉換成NaN,是吧字符串轉換成缺失值
na_rep()               # 是吧缺失值nan轉換成字符串

cols                   # 指定輸出的列,傳入列表


十七、pandas:寫入到文件


1、寫入到文件:

to_csv

2、寫入文件函數的主要參數:

sep

na_rep 指定缺失值轉換的字符串,默認為空字符串

header = False 不輸出列名一行

index = False 不輸出行索引一列

cols 指定輸出的列,傳入列表

3、其他文件類型:json, XML, HTML, 數據庫

4、pandas轉換為二進制文件格式(pickle):

save

load

十八、pandas:數據分組與聚合

分組
df = pd.DateFrame({
'data1':np.random.uniform(10, 20, 5),
'data2':np.random.uniform(-10, 10, 5),
'key1':list("sbbsb")
'key2':
})
df.groupby('key1').mean()  # 做平均
df.groupby('key1').sum()  # 做平均
df.groupby(['key1', 'key2']).mean()  # 做平均  支持分層索引,按多列分組
df.groupby(len).mean()  # 傳一個函數的時候,x是每一個行的索引
df.groupby(lambda x: len(x)).mean()  # 傳一個函數的時候,x是每一個行的索引
df.groupby.groups()  # 取得多有的組
df.groupby.get_group()  # 取得一個組


聚合
df.groupby('key1').max()[['data1', 'data2']]  # 去掉key2的data1,data2,花式索引
df.groupby('key1').max()[['data1', 'data2']] - df.groupby('key1').min()[['data1', 'data2']]  # 去掉key2
df.groupby('key1').agg(lamada
x:x.max() - x.min())
既想看最大也可看最小
df.groupby('key1').agg([np.max, np.min])
不同的列不一樣的聚合
df.groupby('key1').agg({'data1': 'min', 'data2': 'max'})  # 鍵是列名,值是
a = _219  # 219行的代碼
a.resample('3D'), mean()  # 3D 3天,3M就是三周

數據合並
- 數據拼接
df = df.copy()
pd.concat([df, df2, df3], ignore_index=True)  # 不用之前的索引,
pd.concat([df, df2, df3], axis=1)  # 列
pd.concat([df, df2, df3], keys=['a', 'b', 'c'])  # 不用之前的索引,
df2.appeng(df3)
- 數據連接
如果不指定on,默認是行索引進行join
pd.merge(df, df3, on='key1')
pd.merge(df, df3, on='['key1','key2'])


十九、簡單介紹Matplotlib

1、Matplotlib是一個強大的Python繪圖和數據可視化的工具包

2、安裝方法:pip install matplotlib

3、引用方法:import matplotlib.pyplot as plt

4、繪圖函數:plt.plot()

5、顯示圖像:plt.show()

6、plot函數

(1)plot函數:繪制折線圖

線型linestyle(-,-.,--,..)

點型marker(v,^,s,*,H,+,x,D,o,…)

顏色color(b,g,r,y,k,w,…)

(2)plot函數繪制多條曲線

(3)pandas包對plot的支持


7、圖像標註

設置圖像標題:plt.title()

設置x軸名稱:plt.xlabel()

設置y軸名稱:plt.ylabel()

設置x軸範圍:plt.xlim()

設置y軸範圍:plt.ylim()

設置x軸刻度:plt.xticks()

設置y軸刻度:plt.yticks()

設置曲線圖例:plt.legend()


二十、示例

使用Matplotlib模塊在一個窗口中繪制數學函數y=x, y=x2, y=sin(x)的圖像,使用不同顏色的線加以區別

x=np.linspace(-100,100,10000))
y1=x
y2=x**2
y3=np.sin(x)
plt.plot(x,y1,label="$y=x$")
plt.plot(x,y2,label="$y=x^2$")
plt.plot(x,y3,label="$y=\sin x$")
plt.ylim(-100,100)            #顯示Y軸範圍自定義
plt.legend()
plt.show()


二十一、圖形定義

技術分享圖片


技術分享圖片


技術分享圖片



金融與量化投資