2. 程式人生 > >Python中使用Flask、MongoDB搭建簡易圖片伺服器

Python中使用Flask、MongoDB搭建簡易圖片伺服器

阿新 • • 發佈：2018-12-06

轉載：http://www.cppcns.com/shujuku/mongodb/119378.html

這篇文章主要介紹了Python中使用Flask、MongoDB搭建簡易圖片伺服器,本文是一個詳細完整的教程,需要的朋友可以參考下

1、前期準備

通過 pip 或 easy_install 安裝了 pymongo 之後, 就能通過 Python 調教 mongodb 了.
接著安裝個 flask 用來當 web 伺服器.

當然 mongo 也是得安裝的. 對於 Ubuntu 使用者, 特別是使用 Server 12.04 的同學, 安裝最新版要略費些周折, 具體說是

 
  1. sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 7F0CEB10
  2. echo 'deb http://downloads-distro.mongodb.org/repo/ubuntu-upstart dist 10gen' | sudo tee /etc/apt/sources.list.d/mongodb.list
  3. sudo apt-get update
  4. sudo apt-get install mongodb-10gen

如果你跟我一樣覺得讓通過上傳檔名的字尾判別使用者上傳的什麼檔案完全是捏著山藥當小黃瓜一樣欺騙自己, 那麼最好還準備個 Pillow 庫

 

複製程式碼 程式碼如下:


pip install Pillow

 

或 (更適合 Windows 使用者)

 

複製程式碼 程式碼如下:


easy_install Pillow

 

2、正片

2.1 Flask 檔案上傳

Flask 官網上那個例子居然分了兩截讓人無從吐槽. 這裡先弄個最簡單的, 無論什麼檔案都先弄上來

 
  1. import flask
  2. app = flask.Flask(__name__)
  3. app.debug = True
  4. @app.route('/upload', methods=['POST'])
  5. def upload():
  6. f = flask.request.files['uploaded_file']
  7. print f.read()
  8. return flask.redirect('/')
  9. @app.route('/')
  10. def index():
  11. return '''
  12. <!doctype html>
  13. <html>
  14. <body>
  15. <form action='/upload' method='post' enctype='multipart/form-data'>
  16. <input type='file' name='uploaded_file'>
  17. <input type='submit' value='Upload'>
  18. </form>
  19. '''
  20. if __name__ == '__main__':
  21. app.run(port=7777)

注: 在 upload 函式中, 使用 flask.request.files[KEY] 獲取上傳檔案物件, KEY 為頁面 form 中 input 的 name 值

因為是在後臺輸出內容, 所以測試最好拿純文字檔案來測.

2.2 儲存到 mongodb

如果不那麼講究的話, 最快速基本的儲存方案裡只需要

 
  1. import pymongo
  2. import bson.binary
  3. from cStringIO import StringIO
  4. app = flask.Flask(__name__)
  5. app.debug = True
  6. db = pymongo.MongoClient('localhost', 27017).test
  7. def save_file(f):
  8. content = StringIO(f.read())
  9. db.files.save(dict(
  10. content= bson.binary.Binary(content.getvalue()),
  11. ))
  12. @app.route('/upload', methods=['POST'])
  13. def upload():
  14. f = flask.request.files['uploaded_file']
  15. save_file(f)
  16. return flask.redirect('/')
  17.  

把內容塞進一個  bson.binary.Binary  物件, 再把它扔進 mongodb 就可以了.

現在試試再上傳個什麼檔案, 在 mongo shell 中通過  db.files.find() 就能看到了.

不過 content  這個域幾乎肉眼無法分辨出什麼東西, 即使是純文字檔案, mongo 也會顯示為 Base64 編碼.

2.3 提供檔案訪問

給定存進資料庫的檔案的 ID (作為 URI 的一部分), 返回給瀏覽器其檔案內容, 如下

 
  1. def save_file(f):
  2. content = StringIO(f.read())
  3. c = dict(content=bson.binary.Binary(content.getvalue()))
  4. db.files.save(c)
  5. return c['_id']
  6. @app.route('/f/<fid>')
  7. def serve_file(fid):
  8. f = db.files.find_one(bson.objectid.ObjectId(fid))
  9. return f['content']
  10. @app.route('/upload', methods=['POST'])
  11. def upload():
  12. f = flask.request.files['uploaded_file']
  13. fid = save_file(f)
  14. return flask.redirect( '/f/' + str(fid))
  15.  

上傳檔案之後,  upload  函式會跳轉到對應的檔案瀏覽頁. 這樣一來, 文字檔案內容就可以正常預覽了, 如果不是那麼挑剔換行符跟連續空格都被瀏覽器吃掉的話.

2.4 當找不到檔案時

有兩種情況, 其一, 資料庫 ID 格式就不對, 這時 pymongo 會拋異常  bson.errors.InvalidId ; 其二, 找不到物件 (!), 這時 pymongo 會返回  None .
簡單起見就這樣處理了

 
  1. @app.route('/f/<fid>')
  2. def serve_file(fid):
  3. import bson.errors
  4. try:
  5. f = db.files.find_one(bson.objectid.ObjectId(fid))
  6. if f is None:
  7. raise bson.errors.InvalidId()
  8. return f['content']
  9. except bson.errors.InvalidId:
  10. flask.abort(404)
  11.  

2.5 正確的 MIME

從現在開始要對上傳的檔案嚴格把關了, 文字檔案, 狗與剪刀等皆不能上傳.
判斷圖片檔案之前說了我們動真格用 Pillow

 
  1. from PIL import Image
  2. allow_formats = set(['jpeg', 'png', 'gif'])
  3. def save_file(f):
  4. content = StringIO(f.read())
  5. try:
  6. mime = Image.open(content).format.lower()
  7. if mime not in allow_formats:
  8. raise IOError()
  9. except IOError:
  10. flask.abort(400)
  11. c = dict(content=bson.binary.Binary(content.getvalue()))
  12. db.files.save(c)
  13. return c['_id']
  14.  

然後試試上傳文字檔案肯定虛, 傳圖片檔案才能正常進行. 不對, 也不正常, 因為傳完跳轉之後, 伺服器並沒有給出正確的 mimetype, 所以仍然以預覽文字的方式預覽了一坨二進位制亂碼.
要解決這個問題, 得把 MIME 一併存到資料庫裡面去; 並且, 在給出檔案時也正確地傳輸 mimetype

 
  1. def save_file(f):
  2. content = StringIO(f.read())
  3. try:
  4. mime = Image.open(content).format.lower()
  5. if mime not in allow_formats:
  6. raise IOError()
  7. except IOError:
  8. flask.abort(400)
  9. c = dict(content=bson.binary.Binary(content.getvalue()), mime=mime)
  10. db.files.save(c)
  11. return c['_id']
  12. @app.route('/f/<fid>')
  13. def serve_file(fid):
  14. try:
  15. f = db.files.find_one(bson.objectid.ObjectId(fid))
  16. if f is None:
  17. raise bson.errors.InvalidId()
  18. return flask.Response(f['content'], mimetype='image/' + f['mime'])
  19. except bson.errors.InvalidId:
  20. flask.abort(404)
  21.  

當然這樣的話原來存進去的東西可沒有 mime 這個屬性, 所以最好先去 mongo shell 用  db.files.drop()  清掉原來的資料.

2.6 根據上傳時間給出 NOT MODIFIED
利用 HTTP 304 NOT MODIFIED 可以儘可能壓榨與利用瀏覽器快取和節省頻寬. 這需要三個操作

 

1)、記錄檔案最後上傳的時間
2)、當瀏覽器請求這個檔案時, 向請求頭裡塞一個時間戳字串
3)、當瀏覽器請求檔案時, 從請求頭中嘗試獲取這個時間戳, 如果與檔案的時間戳一致, 就直接 304

體現為程式碼是

 
  1. import datetime
  2. def save_file(f):
  3. content = StringIO(f.read())
  4. try:
  5. mime = Image.open(content).format.lower()
  6. if mime not in allow_formats:
  7. raise IOError()
  8. except IOError:
  9. flask.abort(400)
  10. c = dict(
  11. content=bson.binary.Binary(content.getvalue()),
  12. mime=mime,
  13. time=datetime.datetime.utcnow(),
  14. )
  15. db.files.save(c)
  16. return c['_id']
  17. @app.route('/f/<fid>')
  18. def serve_file(fid):
  19. try:
  20. f = db.files.find_one(bson.objectid.ObjectId(fid))
  21. if f is None:
  22. raise bson.errors.InvalidId()
  23. if flask.request.headers.get('If-Modified-Since') == f['time'].ctime():
  24. return flask.Response(status=304)
  25. resp = flask.Response(f['content'], mimetype='image/' + f['mime'])
  26. resp.headers['Last-Modified'] = f['time'].ctime()
  27. return resp
  28. except bson.errors.InvalidId:
  29. flask.abort(404)
  30.  

然後, 得弄個指令碼把資料庫裡面已經有的圖片給加上時間戳.
順帶吐個槽, 其實 NoSQL DB 在這種環境下根本體現不出任何優勢, 用起來跟 RDB 幾乎沒兩樣.

2.7 利用 SHA-1 排重

與冰箱裡的可樂不同, 大部分情況下你肯定不希望資料庫裡面出現一大波完全一樣的圖片. 圖片, 連同其 EXIFF 之類的資料資訊, 在資料庫中應該是惟一的, 這時使用略強一點的雜湊技術來檢測是再合適不過了.

達到這個目的最簡單的就是建立一個  SHA-1  惟一索引, 這樣資料庫就會阻止相同的東西被放進去.

在 MongoDB 中表中建立惟一 索引 , 執行 (Mongo 控制檯中)

 

複製程式碼 程式碼如下:


db.files.ensureIndex({sha1: 1}, {unique: true})

 

如果你的庫中有多條記錄的話, MongoDB 會給報個錯. 這看起來很和諧無害的索引操作被告知資料庫中有重複的取值 null (實際上目前資料庫裡已有的條目根本沒有這個屬性). 與一般的 RDB 不同的是, MongoDB 規定 null, 或不存在的屬性值也是一種相同的屬性值, 所以這些幽靈屬性會導致惟一索引無法建立.

解決方案有三個:

1）刪掉現在所有的資料 (一定是測試資料庫才用這種不負責任的方式吧!)
2）建立一個 sparse 索引, 這個索引不要求幽靈屬性惟一, 不過出現多個 null 值還是會判定重複 (不管現有資料的話可以這麼搞)
3）寫個指令碼跑一次資料庫, 把所有已經存入的資料翻出來, 重新計算 SHA-1, 再存進去
具體做法隨意. 假定現在這個問題已經搞定了, 索引也弄好了, 那麼剩是 Python 程式碼的事情了.

 
  1. import hashlib
  2. def save_file(f):
  3. content = StringIO(f.read())
  4. try:
  5. mime = Image.open(content).format.lower()
  6. if mime not in allow_formats:
  7. raise IOError()
  8. except IOError:
  9. flask.abort(400)
  10. sha1 = hashlib.sha1(content.getvalue()).hexdigest()
  11. c = dict(
  12. content=bson.binary.Binary(content.getvalue()),
  13. mime=mime,
  14. time=datetime.datetime.utcnow(),
  15. sha1=sha1,
  16. )
  17. try:
  18. db.files.save(c)
  19. except pymongo.errors.DuplicateKeyError:
  20. pass
  21. return c['_id']
  22.  

在上傳檔案這一環就沒問題了. 不過, 按照上面這個邏輯, 如果上傳了一個已經存在的檔案, 返回  c['_id']  將會是一個不存在的資料 ID. 修正這個問題, 最好是返回  sha1 , 另外, 在訪問檔案時, 相應地修改為用檔案 SHA-1 訪問, 而不是用 ID.
最後修改的結果及本篇完整原始碼如下 :

 
  1. import hashlib
  2. import datetime
  3. import flask
  4. import pymongo
  5. import bson.binary
  6. import bson.objectid
  7. import bson.errors
  8. from cStringIO import StringIO
  9. from PIL import Image
  10. app = flask.Flask(__name__)
  11. app.debug = True
  12. db = pymongo.MongoClient('localhost', 27017).test
  13. allow_formats = set(['jpeg', 'png', 'gif'])
  14. def save_file(f):
  15. content = StringIO(f.read())
  16. try:
  17. mime = Image.open(content).format.lower()
  18. if mime not in allow_formats:
  19. raise IOError()
  20. except IOError:
  21. flask.abort(400)
  22. sha1 = hashlib.sha1(content.getvalue()).hexdigest()
  23. c = dict(
  24. content=bson.binary.Binary(content.getvalue()),
  25. mime=mime,
  26. time=datetime.datetime.utcnow(),
  27. sha1=sha1,
  28. )
  29. try:
  30. db.files.save(c)
  31. except pymongo.errors.DuplicateKeyError:
  32. pass
  33. return sha1
  34. @app.route('/f/<sha1>')
  35. def serve_file(sha1):
  36. try:
  37. f = db.files.find_one({'sha1': sha1})
  38. if f is None:
  39. raise bson.errors.InvalidId()
  40. if flask.request.headers.get('If-Modified-Since') == f['time'].ctime():
  41. return flask.Response(status=304)
  42. resp = flask.Response(f['content'], mimetype='image/' + f['mime'])
  43. resp.headers['Last-Modified'] = f['time'].ctime()
  44. return resp
  45. except bson.errors.InvalidId:
  46. flask.abort(404)
  47. @app.route('/upload', methods=['POST'])
  48. def upload():
  49. f = flask.request.files['uploaded_file']
  50. sha1 = save_file(f)
  51. return flask.redirect('/f/' + str(sha1))
  52. @app.route('/')
  53. def index():
  54. return '''
  55. <!doctype html>
  56. <html>
  57. <body>
  58. <form action='/upload' method='post' enctype='multipart/form-data'>
  59. <input type='file' name='uploaded_file'>
  60. <input type='submit' value='Upload'>
  61. </form>
  62. '''
  63. if __name__ == '__main__':
  64. app.run(port=7777)
  65.  


3、REF

Developing RESTful Web APIs with Python, Flask and MongoDB

http://www.slideshare.net/nicolaiarocci/developing-restful-web-apis-with-python-flask-and-mongodb

https://github.com/nicolaiarocci/eve

 

相關推薦

Python中使用Flask、MongoDB搭建簡易圖片伺服器

轉載：http://www.cppcns.com/shujuku/mongodb/119378.html 這篇文章主要介紹了Python中使用Flask、MongoDB搭建簡易圖片伺服器,本文是一個詳細完整的教程,需要的朋友可以參考下 1、前期準備 通過 pip 或 easy_insta

python中enumerate、xrange、range

strong 通過 cbo shu enume .... phone 自動增長 brush enumerate可以給列表自動生成一列，默認從0開始，自動增長1，可以指定默認開始值 list_product = ["thinkpad","macbook","iphone8"

python中@staticmethod、@classmethod和實例方法

dir pri cep ear 代碼 應用 can 打印 靜態 1.形式上的異同點： 在形式上，Python中：實例方法必須有self，類方法用@classmethod裝飾必須有cls，靜態方法用@staticmethod裝飾不必加cls或self，如下代碼所示： 1

python中socket、進程、線程、協程、池的創建方式

num join() 進行 set rom style 高效率 accept cep 一、TCP-socket 服務端： import socket tcp_sk = socket.socket() tcp_sk.setsockopt(socket.SOL_SO

python中type、class、object的區別

版本 src 同時 ati 創建 內置 lis dict 之間 type 一、 type可以用來返回一個對象的類型 例如： 二、 由於Python中一切皆對象，也就是說Python中的任何變量類型都是可以被修改的，這也是Python等動態編程語言的特點。type的基類是o

python中readability、Document和html2text的使用

今天在處理html資料的時候發現了python裡面比較好玩的幾個庫，先存起來之後有時間慢慢再去學習和使用，覺得是一件蠻有意思的事情。今天想學習使用的是html2text模組和readability模組。其中，第一個模組是負責對html資料進行處理的，返回html中的文字資訊；第二個模組是負責html

Python中Flask基礎入門（四）

資料庫基本操作 在Flask-SQLAlchemy中，插入、修改、刪除操作，均由資料庫會話管理。會話用db.session表示。在準備把資料寫入資料庫前，要先將資料新增到會話中然後呼叫commit()方法提交會話。 資料庫會話是為了保證資料的一致性，避免因部分更新導致資料不一致。提交操作把會

Python中Flask的基礎入門（三）

如果我們想要在flask中用到資料庫，那麼我們需要配置。 下面我們有mysql為例來配置 首先你的電腦上要有一個mysql資料庫，然後才可以。 下面是我們配置的程式碼 from flask import Flask,render_template from flask_sqlal

【python apply】python 中apply、map、applymap的用法

apply 用在dataframe上，用於對row或者column進行計算 applymap： 作用在dataframe的每一個元素上 map （其實是python自帶的）用於series上，是元素級別的操作,map 跟apply 功能類似，用法差不多 #

python中方法、函式、例項方法、類方法、靜態方法的理解

python中的方法、函式、例項方法、類方法、靜態方法的理解 方法與函式 例項方法、類方法、靜態方法 例項方法 類方法 靜態方法 為了便於理解，我舉個栗子： 方法與函式 def func():

Python中併發、多執行緒等

1、基本概念 併發和並行的區別： 1）並行，parallel 同時做某些事，可以互不干擾的同一時刻做幾件事。（解決併發的一種方法） 高速公路多個車道，車輛都在跑。同一時刻。 2）併發 concurrency 同時做某些事，一個時段內有事情要處理。（遇到的問題） 高併發，同一時刻內，有很多事情要處

python中type、class、object之間的關係

先看一段程式碼 # -*- coding:UTF-8 -*- __autor__ = 'zhouli' __date__ = '2018/11/13 18:40' a = 1 b = 'abc' print(type(1)) print(type(int)) print(type(b)) print

python中range、xrange、arange的區別

1、range() range多用作迴圈，格式：range（start,end,step），返回的是一個range物件。例如： for i in range(10,20,2): print(i) 輸出： 10 12 14 16 18 如想返回一個list，

python中hasattr、getattr和setattr的使用方法

hasattr(object, name)判斷一個物件裡面是否有name屬性或者name方法，返回BOOL值，有name特性返回True， 否則返回False。需要注意的是name要用括號括起來 1 >>> class test(): 2 ...

python 中flask框架的入門實例程序 NameError: __name__is not defined!

spa 知識 框架 ret error: 學習 error 劃線 err 剛剛接觸Python，了解了一些基礎知識便開始學習了Python中的flask框架，沒想一進門就載坑啦！ 錯誤提示：NameError: __name__is not defined! 出現這種錯

Python中Flask框架專案拆分

新建flask專案，建Python package包，把static、template拉進去， 新建 settings.py、models.py、init.py、ext.py、views.py， 在預設建立的app.py導包， from flask_script import Man

python中flask--1

Python Web 框架Flask 輕量級WEB框架AJAX 在WEB中完成非同步請求和響應Django 重量級WEB框架1.靜態網頁 和 動態網頁 靜態網頁:無法與伺服器做動態互動的網頁 動態網頁:允許與伺服器做動態互動的網頁2.WEB 與 伺服器 1.WEB : 網頁(HTML,CSS,JS

Python中單、雙下劃線的區別總結

前言 Python 的程式碼風格由 PEP 8 描述。這個文件描述了 Python 程式設計風格的方方面面。在遵守這個文件的條件下，不同程式設計師編寫的 Python 程式碼可以保持最大程度的相似風格。這樣就易於閱讀，易於在程式設計師之間交流。 我們大家在學習Python的時候，好像

python中filter、map、reduce的區別

 python中有一些非常有趣的函式，今天也來總結一下，不過該類的網上資料也相當多，也沒多少乾貨，只是習慣性將一些容易遺忘的功能進行整理。 lambda 為關鍵字。filter，map，reduce為內建函式。 lambda：實現python中單行最小函式。 g = lambda x:

python中date、datetime、string的相互轉換

python中date、datetime、string的相互轉換 https://blog.csdn.net/wangkun__?t=1    import dat