利用 Python 從交易平臺獲取資料
阿新 • • 發佈:2019-01-07
根據相關政策規定,國內比特幣交易將於2017年9月底關閉,但這幾年裡,比特幣交易的歷史行情資料,可能對日後用於研究經濟、金融以及量化交易策略等都有重大的價值,因此,這篇文章主要講述如何通過 Python 從交易平臺提供的 API 中獲取資料並儲存成 CSV 檔案供日後利用。
本文主要內容如下:
- 比特幣、萊特幣歷史行情資料
- 利用 Python 獲取 okcoin.cn 比特幣歷史資料
- 利用 Python 獲取 huobi.com 比特幣歷史資料
比特幣、萊特幣歷史行情資料
比特幣和萊特幣及其他幾種數字貨幣的歷史行情資料已經獲取並儲存為csv
格式,需要用到資料的可以從 GitHub 上直接下載使用,資料獲取的原始碼同樣已經在 GitHub 上提供,想了解資料來源的可以閱讀原始碼。 備註: 以下資料來源於網路,獲取原始碼已公開,不對資料的準確性作任何保證,請根據實際情況使用。
利用 Python 從 okcoin.cn 獲取比特幣歷史資料
我們可以參考 okcoin 提供的 API手冊,獲取歷史行情資料。
獲取歷史資料主要有兩個步驟:
- 連線 API 獲取資料
- 使用 pandas 處理資料,並儲存為
csv
檔案
以下為從 okcoin.cn 獲取資料的詳細程式碼:
import http.client
import json
import pandas as pd
REQUEST_URL = 'www.okcoin.cn'
KLINE_TT_COLS = ['date', 'open', 'high', 'low', 'close' , 'volume']
def http_get(url, resource, params=''):
conn = http.client.HTTPSConnection(url, timeout=10)
conn.request("GET", resource + '?' + params)
response = conn.getresponse()
data = response.read().decode('utf-8')
return json.loads(data)
def ticker(symbol='', data_type='1day' , since=''):
ticker_resource = "/api/v1/kline.do"
params = ''
if symbol:
params = 'symbol=%(symbol)s&type=%(type)s' % {'symbol': symbol, 'type': data_type}
if since:
params += '&since=%(since)s' % {'since': since}
k_data = http_get(REQUEST_URL, ticker_resource, params)
if len(k_data) == 0:
raise ValueError('Can not obtain the data.')
else:
df = pd.DataFrame(k_data, columns=KLINE_TT_COLS)
df['date'] = pd.to_datetime(df['date'], unit='ms')
return df
if __name__ == '__main__':
# okcoin.cn bitcoin - cny since 2013-6-11 ~ now, daily price history
daily_price_btc_cny = ticker('btc_cny')
daily_price_btc_cny.to_csv('./data/okcoin/daily_price_btc_cny.csv')
# okcoin.cn litecoin - cny since 2013-9-11 ~ now daily price history
daily_price_ltc_cny = ticker('ltc_cny')
daily_price_ltc_cny.to_csv('./data/okcoin/daily_price_ltc_cny.csv')
# okcoin.cn eth - cny since 2017-5-31 ~ now daily price history
daily_price_eth_cny = ticker('eth_cny')
daily_price_ltc_cny.to_csv('./data/okcoin/daily_price_eth_cny.csv')
# okcoin.cn etc - cny since 2017-7-16 ~ now daily price history
daily_price_etc_cny = ticker('etc_cny')
daily_price_etc_cny.to_csv('./data/okcoin/daily_price_etc_cny.csv')
# okcoin.cn bcc - cny since 2017-7-16 ~ now daily price history
daily_price_bcc_cny = ticker('etc_cny')
daily_price_bcc_cny.to_csv('./data/okcoin/daily_price_bcc_cny.csv')
# okcoin.cn bitcoin - cny since 2013-6-11 ~ now, hour price history
hour_price_btc_cny = ticker(symbol='btc_cny', data_type='1hour')
hour_price_btc_cny.to_csv('./data/okcoin/hour_price_btc_cny.csv')
# okcoin.cn litecoin - cny since 2013-6-11 ~ now, hour price history
hour_price_ltc_cny = ticker(symbol='ltc_cny', data_type='1hour')
hour_price_ltc_cny.to_csv('./data/okcoin/hour_price_ltc_cny.csv')
利用 Python 從 huobi.com 獲取比特幣歷史資料
與從 okcoin.cn 獲取歷史資料類似,參考 huobi.com 提供的 API 手冊,詳細程式碼如下:
import http.client
import json
import pandas as pd
REQUEST_URL = 'api.huobi.com'
KLINE_TT_COLS = ['date', 'open', 'high', 'low', 'close', 'volume']
def http_get(url, resource, params=''):
conn = http.client.HTTPSConnection(url, timeout=10)
conn.request("GET", resource + '?' + params)
response = conn.getresponse()
data = response.read().decode('utf-8')
return json.loads(data)
def ticker(symbol=''):
ticker_resource = "/staticmarket/%(symbol)s_kline_100_json.js" % {'symbol': symbol}
params = ''
if symbol:
params = 'length=2000'
k_data = http_get(REQUEST_URL, ticker_resource, params)
if len(k_data) == 0:
raise ValueError('Can not obtain the data.')
else:
df = pd.DataFrame(k_data, columns=KLINE_TT_COLS)
df['date'] = pd.to_datetime(df['date'], format="%Y%m%d%H%M%S%f")
return df
if __name__ == '__main__':
# huobi.com bitcoin - cny since 2013-9-1 ~ now, daily price history
daily_price_btc_cny = ticker('btc')
daily_price_btc_cny.to_csv('./data/huobi/daily_price_btc_cny.csv')
# huobi.com litecoin - cny since 2014-3-9 ~ now daily price history
daily_price_ltc_cny = ticker('ltc')
daily_price_ltc_cny.to_csv('./data/huobi/daily_price_ltc_cny.csv')