2. 程式人生 > >python的CSV模組

python的CSV模組

阿新 • • 發佈：2019-01-23

開發環境：Python 3.4.3 (v3.4.3:9b73f1c3e601, Feb 24 2015, 22:44:40) [MSC v.1600 64 bit (AMD64)] on win32

自序

也許你會說，我為什麼要學習使用CSV模組呢？沒有CSV模組我一樣可以解析操作CSV檔案，比如下面這種程式碼：

1
2
3
4
5

with open('stocks.csv') as f:
for line in f:
    row = line.split(',')
    # process row
    ...

使用這種方式的一個缺點就是你仍然需要去處理一些棘手的細節問題。比如，如果某些欄位值被引號包圍，你不得不去除這些引號。另外，如果一個被引號包圍的欄位碰巧含有一個逗號，那麼程式就會因為產生一個錯誤而停止。

預設情況下，CSV庫可識別Microsoft Excel所使用的CSV編碼規則。這或許也是最常見的形式，並且也會給你帶來最好的相容性。然而，如果你檢視CSV的文件，就會發現有很多種方法將它應用到其他編碼格式上（如修改分隔字元等，用Tab分隔）。所以你應該總是優先選擇CSV模組分割或解析CSV資料。

CSV格式簡介

逗號分隔值（Comma-Separated Values，CSV，有時也稱為字元分隔值，因為分隔字元也可以不是逗號），其檔案以純文字形式儲存表格資料（數字和文字）。純文字意味著該檔案是一個字元序列，不含必須像二進位制數字那樣被解讀的資料。CSV檔案由任意數目的記錄組成，記錄間以某種換行符分隔；每條記錄由欄位組成，欄位間的分隔符是其它字元或字串，最常見的是逗號或製表符。通常，所有記錄都有完全相同的欄位序列。

CSV檔案注意點

如果你正在讀取CSV資料並將它們轉換為命名元組，需要注意對列名進行合法性認證。一個CSV格式檔案有一個包含非法識別符號的列頭行，這樣最終會導致在建立一個命名元組時產生一個ValueError異常而失敗。為了解決這問題，你可能不得不先去修正列標題。

1
2
3
4
5
6
7
8
9

import re
with open('stock.csv') as f:
    f_csv = csv.reader(f)
    headers = [ re.sub('[^a-zA-Z_]', '_', h) for h in next(f_csv) ]
    Row = namedtuple('Row'
 
, headers)
    for r in f_csv:
        row = Row(*r)
        # Process row
        ...

還有重要的一點需要強調的是，CSV產生的資料都是字串型別的，它不會做任何其他型別的轉換。如果你需要做這樣的型別轉換，你必須自己手動去實現。

CSV模組操作示例

輸入檔案：stocks.csv

1
2
3
4
5
6
7

Symbol,Price,Date,Time,Change,Volume
"AA",39.48,"6/11/2007","9:36am",-0.18,181800
"AIG",71.38,"6/11/2007","9:36am",-0.15,195500
"AXP",62.58,"6/11/2007","9:36am",-0.46,935000
"BA",98.31,"6/11/2007","9:36am",+0.12,104800
"C",53.08,"6/11/2007","9:36am",-0.25,360900
"CAT",78.29,"6/11/2007","9:36am",-0.23,225400

輸出檔案：dest.csv

1
2
3
4

Symbol,Price,Date,Time,Change,Volume
AA,39.48,6/11/2007,9:36am,-0.18,181800
AIG,71.38,6/11/2007,9:36am,-0.15,195500
AXP,62.58,6/11/2007,9:36am,-0.46,935000

程式碼

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81

#!/usr/bin/python
# coding: UTF-8
"""
Created on 2015/9/30  14:55
@author: 'WX'
"""
from collections import namedtuple
import csv

if __name__ == "__main__":
    fileName = 'stocks.csv'
    writeFileName = 'dest.csv'
    with open(fileName) as f:
        reader = csv.reader(f)
        headers = next(reader)
        print("使用下標進行訪問")
        for row in reader:
            # 可以使用下標進行訪問，row是一個元組
            length = len(row)
            for i in range(length):
                print(row[i], end='\t')
            print()

        print('------------------------------------------------')
    with open(fileName) as f:
        # 使用命名元組訪問
        reader = csv.reader(f)
        headers = next(reader)
        Row = namedtuple('Row', headers)
        print("使用命名元組進行訪問")
        for r in reader:
            row = Row(*r)
            # 這時候就可以使用首行的列名來進行訪問了
            line = '%s\t%s\t%s\t%s\t%s\t%s' % (row.Symbol, row.Price, row.Date, row.Time, row.Change, row.Volume)
            print(line)
        print('------------------------------------------------')

    with open(fileName) as f:
        # 將內容讀取到字典序列中，然後用key去讀取
        dict_reader = csv.DictReader(f)
        print("使用字典序列進行訪問")
        for row in dict_reader:
            line = '%s\t%s\t%s\t%s\t%s\t%s' % (
                row['Symbol'], row['Price'], row['Date'], row['Time'], row['Change'], row['Volume'])
            print(line)
    print('------------------------------------------------')

    print("使用元組方式寫入，SUCCESS！")
    with open(writeFileName, mode='w', newline='') as wf:
        headers = ['Symbol', 'Price', 'Date', 'Time', 'Change', 'Volume']
        rows = [('AA', 39.48, '6/11/2007', '9:36am', -0.18, 181800),
                ('AIG', 71.38, '6/11/2007', '9:36am', -0.15, 195500),
                ('AXP', 62.58, '6/11/2007', '9:36am', -0.46, 935000),
                ]
        writer = csv.writer(wf)
        writer.writerow(headers)
        writer.writerows(rows)
    print("使用字典方式寫入，SUCCESS！")
    # 在Windows平臺需要指定newline=''，否則在兩行內容之間會多出一行空行
    with open(writeFileName, mode='w', newline='') as wf:
        headers = ['Symbol', 'Price', 'Date', 'Time', 'Change', 'Volume']
        rows = [{'Symbol': 'AA', 'Price': 39.48, 'Date': '6/11/2007',
                 'Time': '9:36am', 'Change': -0.18, 'Volume': 181800},
                {'Symbol': 'AIG', 'Price': 71.38, 'Date': '6/11/2007',
                 'Time': '9:36am', 'Change': -0.15, 'Volume': 195500},
                {'Symbol': 'AXP', 'Price': 62.58, 'Date': '6/11/2007',
                 'Time': '9:36am', 'Change': -0.46, 'Volume': 935000}, ]
        writer = csv.DictWriter(wf, headers)
        writer.writeheader()
        writer.writerows(rows)
    # 更換一種分隔符寫入檔案
    with open(writeFileName, mode='w', newline='') as wf:
        headers = ['Symbol', 'Price', 'Date', 'Time', 'Change', 'Volume']
        rows = [('AA', 39.48, '6/11/2007', '9:36am', -0.18, 181800),
                ('AIG', 71.38, '6/11/2007', '9:36am', -0.15, 195500),
                ('AXP', 62.58, '6/11/2007', '9:36am', -0.46, 935000),
                ]
        writer = csv.writer(wf, delimiter=';')
        writer.writerow(headers)
        writer.writerows(rows)
    print("使用分好作為分隔符寫入，SUCCESS！")

控制檯輸出

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

C:\Python34\python.exe E:/workspaces/Python3/edu/shu/python/shumo/CsvUtil.py
使用下標進行訪問
AA    39.48    6/11/2007    9:36am    -0.18    181800
AIG    71.38    6/11/2007    9:36am    -0.15    195500
AXP    62.58    6/11/2007    9:36am    -0.46    935000
BA    98.31    6/11/2007    9:36am    +0.12    104800
C    53.08    6/11/2007    9:36am    -0.25    360900
CAT    78.29    6/11/2007    9:36am    -0.23    225400
------------------------------------------------
使用命名元組進行訪問
AA    39.48    6/11/2007    9:36am    -0.18    181800
AIG    71.38    6/11/2007    9:36am    -0.15    195500
AXP    62.58    6/11/2007    9:36am    -0.46    935000
BA    98.31    6/11/2007    9:36am    +0.12    104800
C    53.08    6/11/2007    9:36am    -0.25    360900
CAT    78.29    6/11/2007    9:36am    -0.23    225400
------------------------------------------------
使用字典序列進行訪問
AA    39.48    6/11/2007    9:36am    -0.18    181800
AIG    71.38    6/11/2007    9:36am    -0.15    195500
AXP    62.58    6/11/2007    9:36am    -0.46    935000
BA    98.31    6/11/2007    9:36am    +0.12    104800
C    53.08    6/11/2007    9:36am    -0.25    360900
CAT    78.29    6/11/2007    9:36am    -0.23    225400
------------------------------------------------
使用元組方式寫入，SUCCESS！
使用字典方式寫入，SUCCESS！

Process finished with exit code 0

相關推薦

『TensorFlow』徒手裝高達_初號機_添加訓練模組並整合為可用分類網絡

正則 basename eth enum 結構 __name__ 第一個 sce 選擇 摘要： 本次整合了前面兩節的模組，並添加向前傳播&反饋訓練部分，使之成為一個包含訓練&驗證&測試的分類網絡。 文件架構： 代碼整合： image_info.py

最全的NB-IoT芯片廠商、模組廠商信息

節點 用處 公司 網絡 模塊 不用 b- 1.3 atp NB-IoT作為LPWAN（低功耗廣域網）的新興技術，因為具有低功耗、低成本、廣覆蓋、海量節點等優勢，並且在授權頻段可以與2G、3G無縫連接而被運營商所青睞且接受。特別是到了2017年，據統計全球有50多個運營商都在

Python 函數與常用模組 - 叠代器

doc 集合 process cal (()) bin back lis () 叠代器 我們已經知道可以直接作用於 for 循環的數據類型有以下幾種： 一類是集合數據類型： list 、 tuple 、 dict 、 set 、 str 、 bytes 等。 另一類是 g

Python 函數與常用模組 - 生成器

board lin 停止 叠代 pri mod expr ner next() 生成器 什麼是列表生成式？ 這個是基本的列表 >>> a = [1, 2, 3] >>> a [1, 2, 3] 也可以用另一種方式來表示 >>&

iPhone X 的原深感模組

語音助手 中國科學院 .com 測量 生活 一個 科學研究 新興 更多 　　物理與數字世界正走向融合，我們每天醒來的時間、睡眠時長、心率和步數等數據都會被分享、上傳並轉化為分析數據。無處不自的 AI、互聯互通和軟件平臺將改變用戶對現實的感知。　　　　2018 年的 CES

嵌入掃描模組共享雨傘為你我撐起一片天

早已 共享 有效 解決 內嵌 附近 ofo 二維 設置 下雨了，沒帶傘，只能在地鐵眼睜睜地等著雨停？為解決市民下雨天忘帶傘的問題，地鐵推出了共享單車應用，只需手機二維碼一刷便可借傘。近日，上海地鐵引進了共享雨傘設備。有效解決了下雨天人群堵塞地鐵的問題，也為市民提供了方便，不

python--random模組（產生隨機值）、洗牌、驗證碼應用

前言： 在python中用於生成隨機數的模組是random,在使用前需要import random.random():生成一個0-1之間的隨機浮點數. random.uniform(a, b):生成[a,b]之間的浮點數. random.randi

前端模組化-5分鐘快速入門RequireJs

各位開發專案的時候引用JS都會遇到以下的情景 產生AMD規範的背景 因為使用各種外掛，或者團隊協同合作，產生多個js檔案， 假如使用的JQ外掛，則必須先引用jquery庫才能夠正常執行， JS檔案之間強依賴關係，讓我們不敢動檔案的引入順序。 並且，在渲染頁面的過程中，同步讀取JS檔案會

《JAVA併發程式設計實戰》基礎構建模組

文章目錄 同步容器類 同步容器類的問題 迭代器和ConcurrentModificationException 隱藏迭代器 併發容器 ConcurrentHashMap 額外的原子Map操作

python-random模組詳解

0.摘要 本文主要介紹random模組的各種方法，並用python3做功能展示。   1.random.random() 產生一個位於[0,1)區間的隨機數。 random.random() #產生一個[0,1)的數 10 * random.random() #產生一個

叢集環境下module載入模組與作業提交

叢集上已安裝了軟體，卻無法呼叫，許可權不足的情況下，往往管理賬戶會開放一個埠，讓我能夠只用module命令來載入相關軟體。 module使用 管理賬戶modules的安裝 sudo yum install -y environment-modules mo

[Golang] 從零開始寫Socket Server（6）【完結】：日誌模組的設計與定時任務模組模組

好久沒寫文章啦。。。今天把golang挖的這個坑給補完吧～ 作為一個Server，日誌（Log）功能是必不可少的，一個設計良好的日誌模組，不論是開發Server時的除錯，還是執行時候的維護，都是非常有幫助的。 因為這裡寫的是一個比較簡化的Server框架，因此我選擇對Golang本

(轉)Python3之shutil模組

原文：https://www.cnblogs.com/wang-yc/p/5625046.html 一. 簡介 　　shutil 是高階的檔案，資料夾，壓縮包處理模組。   二. 使用 shutil.copyfileobj(fsrc, fdst[, length])將檔案內容拷貝到另一個檔

python的pyserial模組

pyserial是python提供用於進行串列埠通訊的庫 源文件：https://pythonhosted.org/pyserial/ 1、安裝pyserial pip install pyserial 2、檢視電腦現連串列埠裝置 import serial.tools.list_ports #檢

Python---OS模組常用命令

Python中對於檔案操作與處理的模組有：os模組和shutil模組。 os模組不僅提供了對目錄/檔案進行：新建、刪除、檢視等操作，還提供了對檔案以及目錄的路徑操作：絕對路徑、相對路徑等。 shutil模組相當於是對os進行的一個補充，對檔案進行：移動、複製、法寶、壓縮、解壓等操作 1、

android 藍芽模組Bluetooth 使用 十六進位制資料傳送

一個藍芽模組看起來很小，弄起來還是有點複雜的，從網上找了一個示例程式碼，http://blog.csdn.net/vnanyesheshou/article/details/51554852但是不能直接用，需要自己進行閱讀理解和修改後才能使用。 先貼一張自制的uml圖： 從圖中不難看出

python os模組對檔案的操作

返回作業系統型別 os.name 返回值為posix，是linux作業系統，返回值為nt,是windows系統 返回作業系統的詳細資訊 os.uname() 系統的環境變數 os.environ 判斷是否是絕對路徑 os.path.isabs 不會判斷檔案或

pyinstaller打包資原始檔及包含eyed3模組時提示找不到libmagic處理

這兩天用python寫了個小工具，用到了eyed3,用pyinstaller打包時提示找不到libmagic 版本資訊： python 3.6.5 pyInstaller 3.4 python-magic-bin 0.4.14 eyeD3 0.88 wxpython 4.0.3 eyeD3 在Win

python___docx模組

一，docx模組 Python可以利用python-docx模組處理word文件，處理方式是面向物件的。也就是說python-docx模組會把word文件，文件中的段落、文字、字型等都看做物件，對物件進行處理就是對word文件的內容處理。 二，相關概念 如果需要讀取word文件中的文字（一般來說，程式也

量化交易入門筆記-Datetime和Time模組

Python 中，通常有三種方式用來表示時間，分別是時間戳、格式化的字串、元組（struct_time）方式 時間戳 一般來講，時間戳表示的是從1970年1月1日00：00：00開始按秒計算的偏移量。可以運用"type(time.time())"，返回的是 float 。