本文來探索一下python中提供的各種資料儲存格式的效能如何。主要以一個 ndarray 格式的資料進行處理分析。包括下面幾種方式：

• .bin格式, np.tofile() 和 np.fromfile()
• .npy格式，np.save() 和 np.load()
• .txt 或者 .csv格式，np.savetxt() 和 np.loadtxt()
• .h5 格式，h5py.File(，’r’ 或者 ‘w’)
• .pkl 格式， pickle.dump()和pickle.load()

import numpy as np
from __future__ import print_function
import
 
 time

a = np.random.randint(0, 100, size=(10000, 5000))
print(a.dtype, a.shape)
print(a[:2])

int64 (10000, 5000)
[[90 96 38 ..., 67 40 79]
 [40 12 71 ..., 64 76 15]]

1. np.tofile() 和 np.fromfile()

%time a.tofile('data/a.bin')
%time b = np.fromfile('data/a.bin', dtype=np.int64)
print(b.shape)
print(b[:2])

CPU times: user 4 ms, sys: 392 ms, total: 396 ms
Wall time: 2.06 s
CPU times: user 4 ms, sys: 156 ms, total: 160 ms
Wall time: 160 ms
(50000000,)
[90 96]
 

• 讀入資料的時候要正確設定 dtype 引數

• 讀入的資料是一維的，還需要經過 reshape 處理。

2. np.save()和np.load()

%time np.save('data/a.npy', a)
%time b = np.load('data/a.npy')
print(b.shape)
print(b[:2])

CPU times: user 0 ns, sys: 272 ms, total: 272 ms
Wall time: 269 ms
CPU times: user 0 ns, sys: 116 ms, total: 116 ms
Wall time: 116 ms
(10000, 5000)
[[90 96 38 ..., 67 40 79]
 [40 12 71 ..., 64 76 15]]
 

• NumPy專用的二進位制格式儲存資料，它們會自動處理元素型別和形狀等資訊.

使用 np.savez() 儲存多個矩陣至一個檔案中：

a = np.asarray([[1,2], [3,4]])
b = np.asarray([0,1])
np.savez('data.npz', X=a, y=b)
# 匯入
data = np.load('data.npz')
a = data['X']
b = data['y']

3. np.savetxt()和np.loadtxt()

%time np.savetxt('data/a.txt', a, fmt='%d', delimiter=',')  # 設定以整數形式儲存，以逗號隔開
%time b = np.loadtxt('data/a.txt', delimiter=',')
print(b.shape)
print(b[:2])

CPU times: user 18.4 s, sys: 60 ms, total: 18.5 s
Wall time: 18.4 s
CPU times: user 55.9 s, sys: 476 ms, total: 56.4 s
Wall time: 56.3 s
(10000, 5000)
[[ 90.  96.  38. ...,  67.  40.  79.]
 [ 40.  12.  71. ...,  64.  76.  15.]]

• 讀寫1維和2維陣列的文字檔案

4.h5py.File()

import h5py

time0 = time.time()
f = h5py.File('data/a.h5','w')   #建立一個h5檔案，檔案指標是f  
f['data'] = a                    #將資料寫入檔案的主鍵data下面  
f.close()                        #關閉檔案  
print('saving time %.2fs' % (time.time() - time0))

time cost 0.26s

time0 = time.time()
f = h5py.File('data/a.h5','r')   #開啟h5檔案  
# print f.keys()                      #可以檢視所有的主鍵  
b = f['data'][:]                    #取出主鍵為data的所有的鍵值  
f.close()  
print('loading time %.2fs' % (time.time() - time0))
print(b.shape)
print(b[:2])

loading time 0.15s
(10000, 5000)
[[90 96 38 ..., 67 40 79]
 [40 12 71 ..., 64 76 15]]

5.pickle.dump()和pickle.load()

import pickle
with open('data/a.pkl', 'wb') as outp:
    %time pickle.dump(a, outp)

with open('data/a.pkl', 'rb') as inp:
    %time b = pickle.load(inp)

print(b.shape)
print(b[:2])

CPU times: user 30.1 s, sys: 5.92 s, total: 36.1 s
Wall time: 36.1 s
CPU times: user 6.84 s, sys: 10.4 s, total: 17.2 s
Wall time: 17.2 s
(10000, 5000)
[[90 96 38 ..., 67 40 79]
 [40 12 71 ..., 64 76 15]]

結果統計

需要說明的是，第一次匯入資料後在一段時間內會儲存在快取中，這時候再次匯入會非常非常快。所以在訓練神經網路的時候，使用 np.load() 的方式匯入資料，除了第一個 epoch 速度會慢一些，後面讀取資料的速度非常快。

• 總體上最優的方法是使用 np.save() 和 h5py.File(, ‘r’ or ‘w’);np.savez() 可以儲存多個值， 而 h5py 提供字典的方式儲存更是非常方便。
• txt 和 csv 文字檔案佔用的空間是最少的，但是耗時非常大
• np.tofile() 方法要處理資料的型別和形狀，很煩，可以放棄了
• pickle() 的 .pkl 檔案非常非常佔空間，而且巨慢，直接放棄！！

非對齊的 ndarray 資料儲存

import h5py

list_a = [[1,2,3], [4,5], [77]]
arr_a = np.asarray(list_a)
arr_a

array([[1, 2, 3], [4, 5], [77]], dtype=object)

# 無法儲存長度不同的 ndarray
f = h5py.File('data/arr_a.h5', 'w')
f['arr_a'] = arr_a  #　報錯，每個元素都是 Object。

---------------------------------------------------------------------------

TypeError                                 Traceback (most recent call last)

<ipython-input-7-0a946c2e9c3c> in <module>()
      1 f = h5py.File('data/arr_a.h5', 'w')
----> 2 f['arr_a'] = arr_a  #　報錯， 無法儲存長度不同的 ndarray
... 
TypeError: Object dtype dtype('O') has no native HDF5 equivalent

np.save('data/arr_a.npy', arr_a)
b = np.load('data/arr_a.npy')
print(b)

[[1, 2, 3] [4, 5] [77]]

通過上面的比較，我們可以看到 np.save() 非常強大呀，沒辦法，只好選擇它了。

參考