Python儲存讀取HDF5檔案程式碼解析
HDF5 簡介
HDF（Hierarchical Data Format）指一種為儲存和處理大容量科學資料設計的檔案格式及相應庫檔案。HDF 最早由美國國家超級計算應用中心 NCSA 開發，目前在非盈利組織 HDF 小組維護下繼續發展。當前流行的版本是 HDF5。HDF5 擁有一系列的優異特性，使其特別適合進行大量科學資料的儲存和操作，如它支援非常多的資料型別，靈活，通用，跨平臺，可擴充套件，高效的 I/O 效能，支援幾乎無限量（高達 EB）的單檔案儲存等，詳見其官方介紹：https://support.hdfgroup.org/HDF5/ 。
HDF5 結構
HDF5 檔案一般以 .h5 或者 .hdf5 作為字尾名，需要專門的軟體才能開啟預覽檔案的內容。HDF5 檔案結構中有 2 primary objects: Groups 和 Datasets。
Groups 就類似於資料夾，每個 HDF5 檔案其實就是根目錄 (root) group'/'，可以看成目錄的容器，其中可以包含一個或多個 dataset 及其它的 group。
Datasets 類似於 NumPy 中的陣列 array，可以當作陣列的資料集合 。
每個 dataset 可以分成兩部分: 原始資料 (raw) data values 和 元資料 metadata (a set of data that describes and gives information about other data => raw data)。
+-- Dataset
| +-- (Raw) Data Values (eg: a 4 x 5 x 6 matrix)
| +-- Metadata
| | +-- Dataspace (eg: Rank = 3,Dimensions = {4,5,6})
| | +-- Datatype (eg: Integer)
| | +-- Properties (eg: Chuncked,Compressed)
| | +-- Attributes (eg: attr1 = 32.4,attr2 = "hello",...)
|從上面的結構中可以看出：
- Dataspace 給出原始資料的秩 (Rank) 和維度 (dimension)
- Datatype 給出資料型別
- Properties 說明該 dataset 的分塊儲存以及壓縮情況
- Chunked: Better access time for subsets; extendible
- Chunked & Compressed: Improves storage efficiency,transmission speed
- Attributes 為該 dataset 的其他自定義屬性
整個 HDF5 檔案的結構如下所示：
+-- / | +-- group_1 | | +-- dataset_1_1 | | | +-- attribute_1_1_1 | | | +-- attribute_1_1_2 | | | +-- ... | | | | | +-- dataset_1_2 | | | +-- attribute_1_2_1 | | | +-- attribute_1_2_2 | | | +-- ... | | | | | +-- ... | | | +-- group_2 | | +-- dataset_2_1 | | | +-- attribute_2_1_1 | | | +-- attribute_2_1_2 | | | +-- ... | | | | | +-- dataset_2_2 | | | +-- attribute_2_2_1 | | | +-- attribute_2_2_2 | | | +-- ... | | | | | +-- ... | | | +-- ... |
一個 HDF5 檔案從一個命名為 "/" 的 group 開始，所有的 dataset 和其它 group 都包含在此 group 下，當操作 HDF5 檔案時，如果沒有顯式指定 group 的 dataset 都是預設指 "/" 下的 dataset，另外類似相對檔案路徑的 group 名字都是相對於 "/" 的。
安裝
pip install h5py
Python讀寫HDF5檔案
#!/usr/bin/python
# -*- coding: UTF-8 -*-
#
# Created by WW on Jan. 26,2020
# All rights reserved.
#
import h5py
import numpy as np
def main():
#===========================================================================
# Create a HDF5 file.
f = h5py.File("h5py_example.hdf5","w") # mode = {'w','r','a'}
# Create two groups under root '/'.
g1 = f.create_group("bar1")
g2 = f.create_group("bar2")
# Create a dataset under root '/'.
d = f.create_dataset("dset",data=np.arange(16).reshape([4,4]))
# Add two attributes to dataset 'dset'
d.attrs["myAttr1"] = [100,200]
d.attrs["myAttr2"] = "Hello,world!"
# Create a group and a dataset under group "bar1".
c1 = g1.create_group("car1")
d1 = g1.create_dataset("dset1",data=np.arange(10))
# Create a group and a dataset under group "bar2".
c2 = g2.create_group("car2")
d2 = g2.create_dataset("dset2",data=np.arange(10))
# Save and exit the file.
f.close()
''' h5py_example.hdf5 file structure
+-- '/'
| +-- group "bar1"
| | +-- group "car1"
| | | +-- None
| | |
| | +-- dataset "dset1"
| |
| +-- group "bar2"
| | +-- group "car2"
| | | +-- None
| | |
| | +-- dataset "dset2"
| |
| +-- dataset "dset"
| | +-- attribute "myAttr1"
| | +-- attribute "myAttr2"
| |
|
'''
#===========================================================================
# Read HDF5 file.
f = h5py.File("h5py_example.hdf5","r") # mode = {'w','a'}
# Print the keys of groups and datasets under '/'.
print(f.filename,":")
print([key for key in f.keys()],"\n")
#===================================================
# Read dataset 'dset' under '/'.
d = f["dset"]
# Print the data of 'dset'.
print(d.name,":")
print(d[:])
# Print the attributes of dataset 'dset'.
for key in d.attrs.keys():
print(key,":",d.attrs[key])
print()
#===================================================
# Read group 'bar1'.
g = f["bar1"]
# Print the keys of groups and datasets under group 'bar1'.
print([key for key in g.keys()])
# Three methods to print the data of 'dset1'.
print(f["/bar1/dset1"][:]) # 1. absolute path
print(f["bar1"]["dset1"][:]) # 2. relative path: file[][]
print(g['dset1'][:]) # 3. relative path: group[]
# Delete a database.
# Notice: the mode should be 'a' when you read a file.
'''
del g["dset1"]
'''
# Save and exit the file
f.close()
if __name__ == "__main__":
main()
相關程式碼示例
建立一個h5py檔案
import h5py
f=h5py.File("myh5py.hdf5","w")
建立dataset
import h5py
f=h5py.File("myh5py.hdf5","w")
#deset1是資料集的name，（20,）代表資料集的shape，i代表的是資料集的元素型別
d1=f.create_dataset("dset1",(20,),'i')
for key in f.keys():
print(key)
print(f[key].name)
print(f[key].shape)
print(f[key].value)
輸出：
dset1
/dset1
(20,)
[0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0]
賦值
import h5py
import numpy as np
f=h5py.File("myh5py.hdf5","w")
d1=f.create_dataset("dset1",'i')
#賦值
d1[...]=np.arange(20)
#或者我們可以直接按照下面的方式建立資料集並賦值
f["dset2"]=np.arange(15)
for key in f.keys():
print(f[key].name)
print(f[key].value)
輸出：
/dset1
[ 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19]
/dset2
[ 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14]
建立group
import h5py
import numpy as np
f=h5py.File("myh5py.hdf5","w")
#建立一個名字為bar的組
g1=f.create_group("bar")
#在bar這個組裡面分別建立name為dset1,dset2的資料集並賦值。
g1["dset1"]=np.arange(10)
g1["dset2"]=np.arange(12).reshape((3,4))
for key in g1.keys():
print(g1[key].name)
print(g1[key].value)
輸出：
/bar/dset1
[0 1 2 3 4 5 6 7 8 9]
/bar/dset2
[[ 0 1 2 3]
[ 4 5 6 7]
[ 8 9 10 11]]
刪除某個key下的資料
# 刪除某個key，呼叫remove
f.remove("bar")
最後pandsa讀取HDF5格式檔案
import pandas as pd
import numpy as np
# 將mode改成r即可
hdf5 = pd.HDFStore("hello.h5",mode="r")
# 或者
"""
hdfs = pd.read_hdf("hello.h5",key="xxx")
"""
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支援我們。