1. 程式人生 > >python封裝-mongo資料寫入json檔案和csv檔案

python封裝-mongo資料寫入json檔案和csv檔案

# -*- coding:utf-8 -*- 
# Author: loco_python
import json
import csv
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
from pymongo import MongoClient


def mongodb_to_json():
    client = MongoClient('mongodb://localhost:27017/')
    db = client.database_name   # database_name (連線資料庫的名字)
    collection = db.collection_name # collection_name(連線表的名字)
with open('aaaaa.json', 'a') as f: data = list() for item in collection.find(): data.append(item) f.write(json.dumps(data)) def json_to_csv(): # json檔案 json_file = open('aaaaa.json', 'r') # csv檔案 csv_file = open('aaaaa.csv', 'w') # csv讀寫器
csv_writer = csv.writer(csv_file) # 表頭和正文 data = json.load(json_file) # 表頭 sheet_title = data[0].keys() content_list = [dic.values() for dic in data] # 5.通過讀寫器 寫入csv檔案 csv_writer.writerow(sheet_title) csv_writer.writerows(content_list) # 6.關閉檔案 json_file.close() csv_file.close() if
__name__ == '__main__': mongodb_to_json() json_to_csv() print 'OK'

相關推薦

python封裝-mongo資料寫入json檔案csv檔案

# -*- coding:utf-8 -*- # Author: loco_python import json import csv import sys reload(sys) sys.setde

【學習】json 檔案 csv檔案(讀寫)

1,json json.dumps() ---將字典轉成JSON格式 import json zhidian_json=[{ 'name':'jing1', 'age':'21', }, { 'name':'jing2', 'age':'

JMeter 壓力測試使用函式 CSV 檔案引數化 json 資料

                        在 http Load Testing 中,json 資料的提交是個讓人頭疼的問題。本文詳細介紹如何進行 JMeter 的 json 測試提交,以及如何將其引數化。        Step 1 http json 請求取樣器的錄製        這個工具很多,可

利用python+graphviz繪製資料結構關係圖指定目錄下標頭檔案包含關係圖

  作為一名linux系統下的C語言開發,日常工作中經常遇到兩個問題:   一是分析程式碼過程中,各種資料結構互相關聯,只通過程式碼很難理清系統中所有結構體的整體架構,影響程式碼消化的效率;   二是多層標頭檔案巢狀包含,在新增需要被多處引用的結構體或者函式介面時,難以找到合適的地方放置結構體和函式介面的定義

python讀取大檔案普通檔案

讀取檔案,最常見的方式是: with open('filename', 'r', encoding = 'utf-8') as f: for line in f.readlines(): do_something(line) 但是,當完成這一操作時,readlines()

資料:Map終結Spill檔案合併

當Mapper沒有資料輸入,mapper.run中的while迴圈會呼叫context.nextKeyValue就返回false,於是便返回到runNewMapper中,在這裡程式會關閉輸入通道和輸出通道,這裡關閉輸出通道並沒有關閉collector,必須要先flush一下。

4、【PythonPython 3入門(模組/面向物件/錯誤異常/檔案操作/序列化/命名規範)

一、模組     編寫模組有很多種方法,其中最簡單的一種便是建立一個包含函式與變數、以 .py 為字尾的檔案。     另一種方法是使用撰寫 Python 直譯器本身的本地語言來編寫模組。舉例來說,你可以使用 C 語言來撰寫 Python 模組,並且在編譯後,你可以通過標準 Pyth

python file模組中的文字檔案二進位制檔案以及字串byte的理解

大前提:文字檔案和二進位制檔案都是以二進位制的方式存放到硬碟中的 看圖先~ 1. Python file讀寫加不加b w 開啟一個檔案只用於寫入。如果該檔案已存在則開啟檔案,並從開頭開始編輯,即原有內容會被刪除。如果該檔案不存在,建立新檔案。 wb

Python遍歷資料夾下所有電子字典檔案(不包括子資料夾)提取單詞到一個檔案

經過若干天的嘗試,最後凝鍊出了這麼一段程式碼,集幾天研究之成果,可謂費盡心機。裡面用到的成果包括: 1.with open...as 2.處理有亂碼的文字 於是趕緊先寫下來,做個階段性成果。 import re import os.path p=re.compile

如何用python遍歷資料夾下的所有excel檔案

大資料處理經常要用到一堆表格,然後需要把資料匯入一個list中進行各種演算法分析,簡單講一下自己的做法: 1.如何讀取excel檔案 網上的版本很多,在xlrd模組基礎上,找到一些原始碼: import xdrlib ,sys import xlrd def open_

Python 遍歷資料夾中的指定型別檔案

首先羅列一下os.path模組的相關函式: 1.判斷型函式: exists() 指定路徑(檔案或者目錄)是否存在 isabs() 指定路徑是否為絕對路徑 isdir() 指定路徑是否存在且為一個目錄 isfile() 指定路徑是

[Python模組學習]使用linecache模組載入快取檔案內容

linecache模組 接觸到linecache這個模組是因為前兩天讀attrs原始碼的時候看到內部程式碼引用了這個模組來模擬一個假檔案,帶著一臉疑問順便讀了一下這個模組的原始碼,發現其實也就那麼回事兒,程式碼不多,在這總結一下。 linecache模組可以

java把excel資料寫入Oracle資料庫(.xls檔案

java把excel資料寫入Oracle資料庫,此處需要引入兩個檔案:ojdbc14.jar,jxl-2.6.10.jar,首先在oracle建立表exceltest,excel檔案內容與其對應,此處注意:(excel版本太高了 報錯:Exception in thread

向MySQL資料庫表內匯入txtcsv檔案資料

本文總結了在CentOS7上使用 LOAD DATA <LOCAL> INFILE 語句向MySQL8.0資料庫匯入txt檔案和csv檔案資料的方法和遇到的錯誤。由於兩者方法一樣,就先介紹匯入txt檔案的操作和錯誤,csv的直接在最後附上命令和簡要說明。 原始資

讀書筆記--python資料視覺化--001_讀取CSV檔案資料

#-*- coding: UTF-8 -*- ''' ################################################# # Author : 餘歡 # Date : Dec 26, 2015 2:25:39 PM

初識RMAN 1:資料檔案控制檔案位置引數配置

演示了rman的資料檔案、控制檔案、歸檔日誌、備份並行度等相關引數的設定 rman啟動和配置引數檢視 準備條件 配置好環境變數 特權賬號或者sysdba許可權的使用者,一般用sa C:\app\oracle\product\12

資料驅動測試二:使用TestNGCSV檔案進行資料驅動

使用@DataProvider註解定義當前方法中的返回物件CSV檔案(存放測試資料)作為測試指令碼的測試資料集進行資料驅動。 用法參考程式碼: 程式碼在搜尋完成後使用顯式等待方式,確認頁面已經載入完成,頁面底部的關鍵字"搜尋幫助"已經顯示在頁面上 //從CSV檔案中讀取每行

python 輸出當前執行目錄下的所有檔案檔案

#!/usr/bin/python # -*- coding: utf-8 -*- import os def gci(filepath): #遍歷filepath下所有檔案,包括子目錄 file

Windows批處理檔案(.bat檔案.cmd檔案)介紹以及簡單使用

首先說一下cmd檔案和bat檔案的區別,從檔案描述中的區別是,cmd檔案叫做:Windows命令指令碼,bat檔案叫:批處理檔案,兩者都可以使用任意一款文字編輯器進行建立、編輯和修改,只是在cmd中支援的命令要多於bat。 批處理檔案是一種沒有什麼固定格式的檔案,他可以處理一條或者多條命令,

遍歷資料夾內所有的CSV檔案,並且合併為同一個CSV

import pandas as pd import os ### 讀取檔案中的資料內容。 os.listdir(u"F:/公司/03_Study/01_爬蟲") Folder_Path = u"F:/公司/03_Study/01_爬蟲" # 要拼接的資料夾及其完整路徑,注意不要包含中文