1. 程式人生 > >github上總結的python資源列表

github上總結的python資源列表

Python 資源大全中文版

我想很多程式設計師應該記得 GitHub 上有一個 Awesome - XXX 系列的資源整理。awesome-python 是 vinta 發起維護的 Python 資源列表,內容包括:Web框架、網路爬蟲、網路內容提取、模板引擎、資料庫、資料視覺化、圖片處理、文字處理、自然語言處理、機器學習、日誌、程式碼分析等。由伯樂線上持續更新。

Awesome 系列雖然挺全,但基本只對收錄的資源做了極為簡要的介紹,如果有更詳細的中文介紹,對相應開發者的幫助會更大。這也是我們發起這個開源專案的初衷。

我們要做什麼?

如何參與本專案?

從下面的目錄來看,本專案的工作量小不了,所以非常期待能有更多程式設計師一起來參與。

不過加入前,有幾個小要求:

  • 英文還不錯,能讀懂英文並用自己的話複述;
  • 在用 Python;

如有興趣,請加 QQ:50872495。加 Q 時請註明「Python大全」

如何為列表貢獻新資源?

歡迎大家為列表貢獻高質量的新資源,提交PR時請參照以下要求:

  • 請確保推薦的資源自己使用過
  • 提交PR時請註明推薦理由

資源列表管理收到PR請求後,會定期(每週)在微博轉發本週提交的PR列表,並在微博上面聽取使用過這些資源的意見。確認通過後,會加入資源大全。

感謝您的貢獻!

本專案的參與者

注:名單不分排名,不定期補充更新

獎勵計劃

雖然獎勵可能並不是你加入的主要原因,但還是有必要提一下:

  • 整理超過 20 個資源後,可在伯樂在線上開通打賞;
  • 每整理 20 個資源,有機會獲得技術書籍或各種有意思的創意、極客產品;
  • 獎勵詳情

環境管理

管理 Python 版本和環境的工具

  • p:非常簡單的互動式 python 版本管理工具。官網
  • pyenv:簡單的 Python 版本管理工具。官網
  • Vex:可以在虛擬環境中執行命令。官網
  • virtualenv:建立獨立 Python 環境的工具。官網
  • virtualenvwrapper:virtualenv 的一組擴充套件。官網

包管理

管理包和依賴的工具。

  • pip:Python 包和依賴關係管理工具。官網
  • pip-tools:保證 Python 包依賴關係更新的一組工具。
    官網
  • conda:跨平臺,Python 二進位制包管理工具。官網
  • Curdling:管理 Python 包的命令列工具。官網
  • wheel:Python 分發的新標準,意在取代 eggs。官網

包倉庫

本地 PyPI 倉庫服務和代理。

  • warehouse:下一代 PyPI。官網
  • devpi:PyPI 服務和打包/測試/分發工具。官網
  • localshop:本地 PyPI 服務(自定義包並且自動對 PyPI 映象)。官網

分發

打包為可執行檔案以便分發。

  • PyInstaller:將 Python 程式轉換成獨立的執行檔案(跨平臺)。官網
  • dh-virtualenv:構建並將 virtualenv 虛擬環境作為一個 Debian 包來發布。官網
  • Nuitka:將指令碼、模組、包編譯成可執行檔案或擴充套件模組。官網
  • py2app:將 Python 指令碼變為獨立軟體包(Mac OS X)。官網
  • py2exe:將 Python 指令碼變為獨立軟體包(Windows)。官網
  • pynsist:一個用來建立 Windows 安裝程式的工具,可以在安裝程式中打包 Python本身。官網

構建工具

將原始碼編譯成軟體。

  • buildout:一個構建系統,從多個元件來建立,組裝和部署應用。官網
  • BitBake:針對嵌入式 Linux 的類似 make 的構建工具。官網
  • fabricate:對任何語言自動找到依賴關係的構建工具。官網
  • PlatformIO:多平臺命令列構建工具。官網
  • PyBuilder:純 Python 實現的持續化構建工具。官網
  • SCons:軟體構建工具。官網

互動式解析器

互動式 Python 解析器。

  • IPython:功能豐富的工具,非常有效的使用互動式 Python。官網
  • bpython:介面豐富的 Python 解析器。官網
  • ptpython:高階互動式Python解析器, 構建於python-prompt-toolkit 之上。官網

檔案

檔案管理和 MIME(多用途的網際郵件擴充協議)型別檢測。

  • imghdr:(Python 標準庫)檢測圖片型別。官網
  • mimetypes:(Python 標準庫)將檔名對映為 MIME 型別。官網
  • path.py:對 os.path 進行封裝的模組。官網
  • pathlib:(Python3.4+ 標準庫)跨平臺的、面向物件的路徑操作庫。官網
  • python-magic:檔案型別檢測的第三方庫 libmagic 的 Python 介面。官網
  • Unipath:用面向物件的方式操作檔案和目錄。官網
  • watchdog:管理檔案系統事件的 API 和 shell 工具官網

日期和時間

操作日期和時間的類庫。

  • arrow:更好的 Python 日期時間操作類庫。官網
  • Chronyk:Python 3 的類庫,用於解析手寫格式的時間和日期。官網
  • dateutil:Python datetime 模組的擴充套件。官網
  • delorean:解決 Python 中有關日期處理的棘手問題的庫。官網
  • moment:一個用來處理時間和日期的Python庫。靈感來自於Moment.js。官網
  • PyTime:一個簡單易用的Python模組,用於通過字串來操作日期/時間。官網
  • pytz:現代以及歷史版本的世界時區定義。將時區資料庫引入Python。官網
  • when.py:提供使用者友好的函式來幫助使用者進行常用的日期和時間操作。官網

文字處理

用於解析和操作文字的庫。

  • 通用
    • chardet:字元編碼檢測器,相容 Python2 和 Python3。官網
    • difflib:(Python 標準庫)幫助我們進行差異化比較。官網
    • ftfy:讓Unicode文字更完整更連貫。官網
    • fuzzywuzzy:模糊字串匹配。官網
    • Levenshtein:快速計算編輯距離以及字串的相似度。官網
    • pangu.py:在中日韓語字元和數字字母之間新增空格。官網
    • yfiglet-figlet:pyfiglet -figlet 的 Python實現。
    • shortuuid:一個生成器庫,用以生成簡潔的,明白的,URL 安全的 UUID。官網
    • unidecode:Unicode 文字的 ASCII 轉換形式 。官網
    • uniout:列印可讀的字元,而不是轉義的字串。官網
    • xpinyin:一個用於把漢字轉換為拼音的庫。官網
  • Slug化
    • awesome-slugify:一個 Python slug 化庫,可以保持 Unicode。官網
    • python-slugify:Python slug 化庫,可以把 unicode 轉化為 ASCII。官網
    • unicode-slugify:一個 slug 工具,可以生成 unicode slugs ,需要依賴 Django 。官網
  • 解析器
    • phonenumbers:解析,格式化,儲存,驗證電話號碼。官網
    • PLY:lex 和 yacc 解析工具的 Python 實現。官網
    • Pygments:通用語法高亮工具。官網
    • pyparsing:生成通用解析器的框架。官網
    • python-nameparser:把一個人名分解為幾個獨立的部分。官網
    • python-user-agents:瀏覽器 user agent 解析器。官網
    • sqlparse:一個無驗證的 SQL 解析器。官網

特殊文字格式處理

一些用來解析和操作特殊文字格式的庫。

  • 通用
    • tablib:一個用來處理中表格資料的模組。官網
  • Office
    • Marmir:把輸入的Python 資料結構轉換為電子表單。官網
    • openpyxl:一個用來讀寫 Excel 2010 xlsx/xlsm/xltx/xltm 檔案的庫。官網
    • python-docx:讀取,查詢以及修改 Microsoft Word 2007/2008 docx 檔案。官網
    • unoconv:在 LibreOffice/OpenOffice 支援的任意檔案格式之間進行轉換。官網
    • XlsxWriter:一個用於建立 Excel .xlsx 檔案的 Python 模組。官網
    • xlwings:一個使得在 Excel 中方便呼叫 Python 的庫(反之亦然),基於 BSD 協議。官網
    • xlwt:讀寫 Excel 檔案的資料和格式資訊。官網 / xlrd
    • relatorio:模板化OpenDocument 檔案。官網
  • PDF
    • PDFMiner:一個用於從PDF文件中抽取資訊的工具。官網
    • PyPDF2:一個可以分割,合併和轉換 PDF 頁面的庫。官網
    • ReportLab:快速建立富文字 PDF 文件。官網
  • Markdown
    • Mistune:快速並且功能齊全的純 Python 實現的 Markdown 解析器。官網
    • Python-Markdown:John Gruber’s Markdown 的 Python 版實現。官網
  • YAML
    • PyYAML:Python 版本的 YAML 解析器。官網
  • CSV
    • csvkit:用於轉換和操作 CSV 的工具。官網
  • Archive
    • unp:一個用來方便解包歸檔檔案的命令列工具。官網

自然語言處理

用來處理人類語言的庫。

  • NLTK:一個先進的平臺,用以構建處理人類語言資料的 Python 程式。官網
  • jieba:中文分詞工具。官網
  • langid.py:獨立的語言識別系統。官網
  • Pattern:Python 網路資訊挖掘模組。官網
  • SnowNLP:一個用來處理中文文字的庫。官網
  • TextBlob:為進行普通自然語言處理任務提供一致的 API。官網
  • TextGrocery:一簡單高效的短文字分類工具,基於 LibLinear 和 Jieba。官網

文件

用以生成專案文件的庫。

  • Sphinx:Python 文件生成器。官網
  • MkDocs:對 Markdown 友好的文件生成器。官網
  • pdoc:一個可以替換Epydoc 的庫,可以自動生成 Python 庫的 API 文件。官網
  • Pycco:文學程式設計(literate-programming)風格的文件生成器。官網

配置

用來儲存和解析配置的庫。

  • config:logging 模組作者寫的分級配置模組。官網
  • ConfigObj:INI 檔案解析器,帶驗證功能。官網
  • ConfigParser:(Python 標準庫) INI 檔案解析器。官網
  • profig:通過多種格式進行配置,具有數值轉換功能。官網
  • python-decouple:將設定和程式碼完全隔離。官網

命令列工具

用於建立命令列程式的庫。

  • 命令列程式開發
    • cement:Python 的命令列程式框架。官網
    • click:一個通過組合的方式來建立精美命令列介面的包。官網
    • cliff:一個用於建立命令列程式的框架,可以建立具有多層命令的命令列程式。官網
    • clint:Python 命令列程式工具。官網
    • colorama:跨平臺彩色終端文字。官網
    • docopt:Python 風格的命令列引數解析器。官網
    • Gooey:一條命令,將命令列程式變成一個 GUI 程式。官網
    • python-prompt-toolkit:一個用於構建強大的互動式命令列程式的庫。官網
    • Pythonpy:在命令列中直接執行任何Python指令。官網
  • 生產力工具
    • aws-cli:Amazon Web Services 的通用命令列介面。官網
    • bashplotlib:在終端中進行基本繪圖。官網
    • caniusepython3:判斷是哪個專案妨礙你你移植到 Python 3。官網
    • cookiecutter:從 cookiecutters(專案模板)建立專案的一個命令列工具。官網
    • doitlive:一個用來在終端中進行現場演示的工具。官網
    • howdoi:通過命令列獲取即時的程式設計問題解答。官網
    • httpie:一個命令列HTTP 客戶端,cURL 的替代品,易用性更好。官網
    • PathPicker:從bash輸出中選出檔案。官網
    • percol:向UNIX shell 傳統管道概念中加入互動式選擇功能。官網
    • SAWS:一個加強版的 AWS 命令列。官網
    • thefuck:修正你之前的命令列指令。官網
    • mycli:一個 MySQL 命令列客戶端,具有自動補全和語法高亮功能。官網
    • pgcli:Postgres 命令列工具,具有自動補全和語法高亮功能。官網

下載器

用來進行下載的庫.

  • s3cmd:一個用來管理Amazon S3 和 CloudFront 的命令列工具。官網
  • s4cmd:超級 S3 命令列工具,效能更加強勁。官網
  • you-get:一個 YouTube/Youku/Niconico 視訊下載器,使用 Python3 編寫。官網
  • youtube-dl:一個小巧的命令列程式,用來下載 YouTube 視訊。官網

影象處理

用來操作影象的庫.

  • pillow:Pillow 是一個更加易用版的 PIL官網
  • hmap:影象直方圖對映。官網
  • imgSeek:一個使用視覺相似性搜尋一組圖片集合的專案。官網
  • nude.py:裸體檢測。官網
  • pyBarcode:不借助 PIL 庫在 Python 程式中生成條形碼。官網
  • pygram:類似 Instagram 的影象濾鏡。官網
  • python-qrcode:一個純 Python 實現的二維碼生成器。官網
  • Quads:基於四叉樹的計算機藝術。官網
  • scikit-image:一個用於(科學)影象處理的 Python 庫。官網
  • thumbor:一個小型影象服務,具有剪裁,尺寸重設和翻轉功能。官網
  • wand:MagickWand的Python 繫結。MagickWand 是 ImageMagick的 C API 。官網

OCR

光學字元識別庫。

  • pyocr:Tesseract 和 Cuneiform 的一個封裝(wrapper)。官網

音訊

用來操作音訊的庫

  • audiolazy:Python 的數字訊號處理包。官網
  • audioread:交叉庫 (GStreamer + Core Audio + MAD + FFmpeg) 音訊解碼。官網
  • beets:一個音樂庫管理工具及 MusicBrainz 標籤新增工具官網
  • dejavu:音訊指紋提取和識別官網
  • django-elastic-transcoder:Django + Amazon Elastic Transcoder官網
  • eyeD3:一個用來操作音訊檔案的工具,具體來講就是包含 ID3 元資訊的 MP3 檔案。官網
  • id3reader:一個用來讀取 MP3 元資料的 Python 模組。官網
  • m3u8:一個用來解析 m3u8 檔案的模組。官網
  • mutagen:一個用來處理音訊元資料的 Python 模組。官網
  • pydub:通過簡單、簡潔的高層介面來操作音訊檔案。官網
  • pyechonest:Echo Nest API 的 Python 客戶端官網
  • talkbox:一個用來處理演講/訊號的 Python 庫官網
  • TimeSide:開源 web 音訊處理框架。官網
  • tinytag:一個用來讀取MP3, OGG, FLAC 以及 Wave 檔案音樂元資料的庫。官網
  • mingus:一個高階音樂理論和曲譜包,支援 MIDI 檔案和回放功能。官網

Video

用來操作視訊和GIF的庫。

  • moviepy:一個用來進行基於指令碼的視訊編輯模組,適用於多種格式,包括動圖 GIFs。官網
  • scikit-video:SciPy 視訊處理常用程式。官網

地理位置

地理編碼地址以及用來處理經緯度的庫。

  • GeoDjango:世界級地理圖形 web 框架。官網
  • GeoIP:MaxMind GeoIP Legacy 資料庫的 Python API。官網
  • geojson:GeoJSON 的 Python 繫結及工具。官網
  • geopy:Python 地址編碼工具箱。官網
  • pygeoip:純 Python GeoIP API。官網
  • django-countries:一個 Django 應用程式,提供用於表格的國家選擇功能,國旗圖示靜態檔案以及模型中的國家欄位。官網

HTTP

使用HTTP的庫。

  • requests:人性化的HTTP請求庫。官網
  • grequests:requests 庫 + gevent ,用於非同步 HTTP 請求.官網
  • httplib2:全面的 HTTP 客戶端庫。官網
  • treq:類似 requests 的Python API 構建於 Twisted HTTP 客戶端之上。官網
  • urllib3:一個具有執行緒安全連線池,支援檔案 post,清晰友好的 HTTP 庫。官網

資料庫

Python實現的資料庫。

  • pickleDB:一個簡單,輕量級鍵值儲存資料庫。官網
  • PipelineDB:流式 SQL 資料庫。官網
  • TinyDB:一個微型的,面向文件型資料庫。官網
  • ZODB:一個 Python 原生物件資料庫。一個鍵值和物件圖資料庫。官網

資料庫驅動

用來連線和操作資料庫的庫。

  • ySQL:awesome-mysql系列
    • mysql-python:Python 的 MySQL 資料庫聯結器。官網
    • ysqlclient:mysql-python 分支,支援 Python 3。
    • oursql:一個更好的 MySQL 聯結器,支援原生預編譯指令和 BLOBs.官網
    • PyMySQL:純 Python MySQL 驅動,相容 mysql-python。官網
  • PostgreSQL
    • psycopg2:Python 中最流行的 PostgreSQL 介面卡。官網
    • queries:psycopg2 庫的封裝,用來和 PostgreSQL 進行互動。官網
    • txpostgres:基於 Twisted 的非同步 PostgreSQL 驅動。官網
  • 其他關係型資料庫
    • apsw:另一個 Python SQLite封裝。官網
    • dataset:在資料庫中儲存Python字典
    • pymssql:一個簡單的Microsoft SQL Server資料庫介面。官網
  • NoSQL 資料庫
    • cassandra-python-driver:Cassandra 的 Python 驅動。官網
    • HappyBase:一個為 Apache HBase 設計的,對開發者友好的庫。官網
    • Plyvel:一個快速且功能豐富的 LevelDB 的 Python 介面。官網
    • py2neo:Neo4j restful 介面的Python 封裝客戶端。官網
    • pycassa:Cassandra 的 Python Thrift 驅動。官網
    • PyMongo:MongoDB 的官方 Python 客戶端。官網
    • redis-py:Redis 的 Python 客戶端。官網
    • telephus:基於 Twisted 的 Cassandra 客戶端。官網
    • txRedis:基於 Twisted 的 Redis 客戶端。官網

ORM

實現物件關係對映或資料對映技術的庫。

  • 關係型資料庫
    • Django Models:Django 的一部分。官網
    • SQLAlchemy:Python SQL 工具以及物件關係對映工具。官網
    • Peewee:一個小巧,富有表達力的 ORM。官網
    • PonyORM:提供面向生成器的 SQL 介面的 ORM。官網
    • python-sql:編寫 Python 風格的 SQL 查詢。官網
  • NoSQL 資料庫
    • django-mongodb-engine:Django MongoDB 後端。官網
    • PynamoDB:Amazon DynamoDB 的一個 Python 風格介面。官網
    • flywheel:Amazon DynamoDB 的物件對映工具。官網
    • MongoEngine:一個Python 物件文件對映工具,用於 MongoDB。官網
    • hot-redis:為 Redis 提供 Python 豐富的資料型別。官網
    • redisco:一個 Python 庫,提供可以持續存在在 Redis 中的簡單模型和容器。官網
  • 其他
    • butterdb:Google Drive 電子表格的 Python ORM。官網

Web 框架

全棧 Web 框架。

  • Flask:一個 Python 微型框架。官網
  • yramid:一個小巧,快速,接地氣的開源Python web 框架。
  • Bottle:一個快速小巧,輕量級的 WSGI 微型 web 框架。官網
  • CherryPy:一個極簡的 Python web 框架,服從 HTTP/1.1 協議且具有WSGI 執行緒池。官網
  • TurboGears:一個可以擴充套件為全棧解決方案的微型框架。官網
  • web.py:一個 Python 的 web 框架,既簡單,又強大。官網
  • web2py:一個全棧 web 框架和平臺,專注於簡單易用。官網
  • Tornado:一個web 框架和非同步網路庫。官網

許可權

允許或拒絕使用者訪問資料或功能的庫。

  • Carteblanche:Module to align code with thoughts of users and designers. Also magically handles navigation and permissions.官網
  • django-guardian:Django 1.2+ 實現了單個物件許可權。官網
  • django-rules:一個小巧但是強大的應用,提供物件級別的許可權管理,且不需要使用資料庫。官網

CMS

內容管理系統

  • django-cms:一個開源的,企業級 CMS,基於 Django。官網
  • djedi-cms:一個輕量級但卻非常強大的 Django CMS ,考慮到了外掛,內聯編輯以及效能。官網
  • FeinCMS:基於 Django 構建的最先進的內容管理系統之一。官網
  • Kotti:一個高階的,Python 範的 web 應用框架,基於 Pyramid 構建。官網
  • Mezzanine:一個強大的,持續的,靈活的內容管理平臺。官網
  • Opps:一個為雜誌,報紙網站以及大流量入口網站設計的 CMS 平臺,基於 Django。官網
  • Plone:一個構建於開源應用伺服器 Zope 之上的 CMS。官網
  • Quokka:靈活,可擴充套件的小型 CMS,基於 Flask 和 MongoDB。官網
  • Wagtail:一個 Django 內容管理系統。官網
  • Widgy:最新的 CMS 框架,基於 Django。官網

電子商務

用於電子商務以及支付的框架和庫。

  • django-oscar:一個用於 Django 的開源的電子商務框架。官網
  • django-shop:一個基於 Django 的店鋪系統。官網
  • Cartridge:一個基於 Mezzanine 構建的購物車應用。官網
  • shoop:一個基於 Django 的開源電子商務平臺。官網
  • alipay:非官方的 Python 支付寶 API。官網
  • merchant:一個可以接收來自多種支付平臺支付的 Django 應用。官網
  • money:貨幣類庫with optional CLDR-backed locale-aware formatting and an extensible currency exchange solution.官網
  • python-currencies:顯示貨幣格式以及它的數值。官網

RESTful API

用來開發RESTful APIs的庫

  • Django
    • django-rest-framework:一個強大靈活的工具,用來構建 web API。官網
    • django-tastypie:為Django 應用開發API。官網
    • django-formapi:為 Django 的表單驗證,建立 JSON APIs 。官網
  • Flask
    • flask-api:為 flask 開發的,可瀏覽 Web APIs 。官網
    • flask-restful:為 flask 快速建立REST APIs 。官網
    • flask-restless:為 SQLAlchemy 定義的資料庫模型建立 RESTful APIs 。官網
    • flask-api-utils:為 Flask 處理 API 表示和驗證。官網
    • eve:REST API 框架,由 Flask, MongoDB 等驅動。官網
  • Pyramid
    • cornice:一個Pyramid 的 REST 框架 。官網
  • 與框架無關的
    • falcon:一個用來建立雲 API 和 web app 後端的噶效能框架。官網
    • sandman:為現存的資料庫驅動系統自動建立 REST APIs 。官網
    • restless:框架無關的 REST 框架 ,基於從 Tastypie 學到的知識。官網
    • ripozo:快速建立 REST/HATEOAS/Hypermedia APIs。官網

驗證

實現驗證方案的庫。

  • OAuth
    • Authomatic:簡單但是強大的框架,身份驗證/授權客戶端。官網
    • django-allauth:Django 的驗證應用。官網
    • django-oauth-toolkit:為 Django 使用者準備的 OAuth2。官網
    • django-oauth2-provider:為 Django 應用提供 OAuth2 接入。官網
    • Flask-OAuthlib:OAuth 1.0/a, 2.0 客戶端實現,供 Flask 使用。官網
    • OAuthLib:一個 OAuth 請求-簽名邏輯通用、 完整的實現。官網
    • python-oauth2:一個完全測試的抽象介面。用來建立 OAuth 客戶端和服務端。官網
    • python-social-auth:一個設定簡單的社會化驗證方式。官網
    • rauth:OAuth 1.0/a, 2.0, 和 Ofly 的 Python 庫。官網
    • sanction:一個超級簡單的OAuth2 客戶端實現。官網
  • 其他
    • jose:JavaScript 物件簽名和加密草案的實現。官網
    • PyJWT:JSON Web 令牌草案 01。官網
    • python-jws:JSON Web 簽名草案 02 的實現。官網
    • python-jwt:一個用來生成和驗證 JSON Web 令牌的模組。官網

模板引擎

模板生成和詞法解析的庫和工具。

  • Jinja2:一個現代的,對設計師友好的模板引擎。官網
  • Chameleon:一個 HTML/XML 模板引擎。 模仿了 ZPT(Zope Page Templates), 進行了速度上的優化。官網
  • Genshi:Python 模板工具,用以生成 web 感知的結果。官網
  • Mako:Python 平臺的超高速輕量級模板。官網

Queue

處理事件以及任務佇列的庫。

  • celery:一個非同步任務佇列/作業佇列,基於分散式訊息傳遞。官網
  • huey:小型多執行緒任務佇列。官網
  • mrq:Mr. Queue -一個 Python 的分散式 worker 任務佇列, 使用 Redis 和 gevent。官網
  • rq:簡單的 Python 作業佇列。官網
  • simpleq:一個簡單的,可無限擴張的,基於亞馬遜 SQS 的佇列。官網

搜尋

對資料進行索引和執行搜尋查詢的庫和軟體。

  • django-haystack:Django 模組化搜尋。官網
  • elasticsearch-py:Elasticsearch 的官方底層 Python 客戶端。官網
  • elasticsearch-dsl-py:Elasticsearch 的官方高階 Python 客戶端。官網
  • solrpy:solr的 Python 客戶端。官網
  • Whoosh:一個快速的純 Python 搜尋引擎庫。官網

動態訊息

用來建立使用者活動的庫。

  • django-activity-stream:從你的站點行為中生成通用活動資訊流。官網
  • Stream-Framework:使用 Cassandra 和 Redis 建立動態訊息和通知系統。官網

資源管理

管理、壓縮、縮小網站資源的工具。

  • django-compressor:將連結和內聯的 JavaScript 或 CSS 壓縮到一個單獨的快取檔案中。官網
  • django-storages:一個針對 Django 的自定義儲存後端的工具集合。官網
  • fanstatic:打包、優化,並且把靜態檔案依賴作為 Python 的包來提供。官網
  • File Conveyor:一個後臺駐留的程式,用來發現和同步檔案到 CDNs, S3 和 FTP。官網
  • Flask-Assets:幫你將 web 資源整合到你的 Flask app 中。官網
  • jinja-assets-compressor:一個 Jinja 擴充套件,用來編譯和壓縮你的資源。官網
  • webassets:為你的靜態資源打包、優化和管理生成獨一無二的快取 URL。官網

快取

快取資料的庫。

  • Beaker:一個快取和會話庫,可以用在 web 應用和獨立 Python指令碼和應用上。官網
  • django-cache-machine:Django 模型的自動快取和失效。官網
  • django-cacheops:具有自動顆粒化事件驅動失效功能的 ORM。官網
  • django-viewlet:渲染模板,同時具有額外的快取控制功能。官網
  • dogpile.cache:dogpile.cache 是 Beaker 的下一代替代品,由同一作者開發。官網
  • HermesCache:Python 快取庫,具有基於標籤的失效和 dogpile effect 保護功能。官網
  • johnny-cache:django應用快取框架。官網
  • pylibmc:libmemcached 介面的 Python 封裝。官網

電子郵件

用來發送和解析電子郵件的庫。

  • django-celery-ses:帶有 AWS SES 和 Celery 的 Django email 後端。官網
  • envelopes:供人類使用的電子郵件庫。官網
  • flanker:一個 email 地址和 Mime 解析庫。官網
  • imbox:Python IMAP 庫官網
  • inbox.py:Python SMTP 伺服器。官網
  • inbox:一個開源電子郵件工具箱。官網
  • lamson:Python 風格的 SMTP 應用伺服器。官網
  • mailjet:Mailjet API 實現,用來提供批量傳送郵件,統計等功能。官網
  • marrow.mailer:高效能可擴充套件郵件分發框架。官網
  • modoboa:一個郵件託管和管理平臺,具有現代的、簡約的 Web UI。官網
  • pyzmail:建立,傳送和解析電子郵件。官網
  • Talon:Mailgun 庫,用來抽取資訊和簽名。官網

國際化

用來進行國際化的庫。

  • Babel:一個Python 的國際化庫。官網
  • Korean:一個韓語詞態庫。官網

URL處理

解析URLs的庫

  • furl:一個讓處理 URL 更簡單小型 Python 庫。官網
  • purl:一個簡單的,不可變的URL類,具有簡潔的 API 來進行詢問和處理。官網
  • pyshorteners:一個純 Python URL 縮短庫。官網
  • shorturl:生成短小 URL 和類似 bit.ly 短鏈的Python 實現。官網
  • webargs:一個解析 HTTP 請求引數的庫,內建對流行 web 框架的支援,包括 Flask, Django, Bottle, Tornado和 Pyramid。官網

HTML處理

處理 HTML和XML的庫。

  • BeautifulSoup:以 Python 風格的方式來對 HTML 或 XML 進行迭代,搜尋和修改。官網
  • bleach:一個基於白名單的 HTML 清理和文字連結庫。官網
  • cssutils:一個 Python 的 CSS 庫。官網
  • html5lib:一個相容標準的 HTML 文件和片段解析及序列化庫。官網
  • lxml:一個非常快速,簡單易用,功能齊全的庫,用來處理 HTML 和 XML。官網
  • MarkupSafe:為Python 實現 XML/HTML/XHTML 標記安全字串。官網
  • pyquery:一個解析 HTML 的庫,類似 jQuery。官網
  • untangle:將XML文件轉換為Python物件,使其可以方便的訪問。官網
  • xhtml2pdf:HTML/CSS 轉 PDF 工具。官網
  • xmltodict:像處理 JSON 一樣處理 XML。官網

爬取網路站點的庫

  • Scrapy:一個快速高階的螢幕爬取及網頁採集框架。官網
  • cola:一個分散式爬蟲框架。官網
  • Demiurge:基於PyQuery 的爬蟲微型框架。官網
  • feedparser:通用 feed 解析器。官網
  • Grab:站點爬取框架。官網
  • MechanicalSoup:用於自動和網路站點互動的 Python 庫。官網
  • portia:Scrapy 視覺化爬取。官網
  • pyspider:一個強大的爬蟲系統。官網
  • RoboBrowser:一個簡單的,Python 風格的庫,用來瀏覽網站,而不需要一個獨立安裝的瀏覽器。官網

網頁內容提取

用於進行網頁內容提取的庫。

  • Haul:一個可以擴充套件的影象爬取工具。官網
  • html2text:將 HTML 轉換為 Markdown 格式文字官網
  • lassie:人性化的網頁內容檢索庫。官網
  • micawber:一個小型網頁內容提取庫,用來從 URLs 提取富內容。官網
  • newspaper:使用 Python 進行新聞提取,文章提取以及內容策展。官網
  • opengraph:一個用來解析開放內容協議(Open Graph Protocol)的 Python模組。官網
  • python-readability:arc90 公司 readability 工具的 Python 高速埠。官網
  • sanitize:為雜亂的資料世界帶來調理性。官網
  • sumy:一個為文字檔案和 HTML 頁面進行自動摘要的模組。官網
  • textract:從任何格式的文件中提取文字,Word,PowerPoint,PDFs 等等。官網

表單

進行表單操作的庫。

  • Deform:Python HTML 表單生成庫,受到了 formish 表單生成庫的啟發。官網
  • django-bootstrap3:集成了 Bootstrap 3 的 Django。官網
  • django-crispy-forms:一個 Django 應用,他可以讓你以一種非常優雅且 DRY(Don’t repeat yourself) 的方式來建立美觀的表單。官網
  • django-remote-forms:一個平臺獨立的 Django 表單序列化工具。官網
  • WTForms:一個靈活的表單驗證和呈現庫。官網
  • WTForms-JSON:一個 WTForms 擴充套件,用來處理 JSON 資料。官網

資料驗證

資料驗證庫。多用於表單驗證。

  • Cerberus:A mappings-validator with a variety of rules, normalization-features and simple customization that uses a pythonic schema-definition.官網
  • colander:一個用於對從 XML, JSON,HTML 表單獲取的資料或其他同樣簡單的序列化資料進行驗證和反序列化的系統。官網
  • kmatch:一種用於匹配/驗證/篩選 Python 字典的語言。官網
  • schema:一個用於對 Python 資料結構進行驗證的庫。官網
  • Schematics:資料結構驗證。官網
  • valideer:輕量級可擴充套件的資料驗證和適配庫。官網
  • voluptuous:一個 Python 資料驗證庫。主要是為了驗證傳入 Python的 JSON,YAML 等資料。官網

反垃圾技術

幫助你和電子垃圾進行戰鬥的庫。

  • django-simple-captcha:一個簡單、高度可定製的Django 應用,可以為任何Django表單新增驗證碼。官網
  • django-simple-spam-blocker:一個用於Django的簡單的電子垃圾遮蔽工具。官網

標記

用來進行標記的庫。

  • django-taggit:簡單的 Django 標記工具。官網

管理面板

管理介面庫。

  • Ajenti:一個你的伺服器值得擁有的管理面板。官網
  • django-suit:Django 管理介面的一個替代品 (僅對於非商業用途是免費的)。官網
  • django-xadmin:Django admin 的一個替代品,具有很多不錯的功能。官網
  • flask-admin:一個用於 Flask 的簡單可擴充套件的管理介面框架。官網
  • flower:一個對 Celery 叢集進行實時監控和提供 web 管理介面的工具。官網
  • Grappelli:Django 管理介面的一個漂亮的面板。官網
  • Wooey:一個 Django 應用,可以為 Python 指令碼建立 web 使用者介面。官網

靜態站點生成器

靜態站點生成器是一個軟體,它把文字和模板作為輸入,然後輸出HTML檔案。

  • Pelican:使用 Markdown 或 ReST 來處理內容, Jinja 2 來製作主題。支援 DVCS, Disqus.。AGPL 許可。官網
  • Cactus:為設計師設計的靜態站點生成器。官網
  • Hyde:基於 Jinja2 的靜態站點生成器。官網
  • Nikola:一個靜態網站和部落格生成器。官網
  • Tinkerer:Tinkerer 是一個部落格引擎/靜態站點生成器,由Sphinx驅動。官網
  • Lektor:一個簡單易用的靜態 CMS 和部落格引擎。官網

程序

作業系統程序啟動及通訊庫。

  • envoy:比 Python subprocess 模組更人性化。官網
  • sarge:另一 種 subprocess 模組的封裝。官網
  • sh:一個完備的 subprocess 替代庫。官網

併發和並行

用以進行併發和並行操作的庫。

  • multiprocessing:(Python 標準庫) 基於程序的“執行緒”介面。官網
  • threading:(Python 標準庫)更高層的執行緒介面。官網
  • eventlet:支援 WSGI 的非同步框架。官網
  • gevent:一個基於協程的 Python 網路庫,使用greenlet官網
  • Tomorrow:用於產生非同步程式碼的神奇的裝飾器語法實現。官網

網路

用於網路程式設計的庫。

  • asyncio:(Python 標準庫) 非同步 I/O, 事件迴圈, 協程以及任務。官網
  • Twisted:一個事件驅動的網路引擎。官網
  • pulsar:事件驅動的併發框架。官網
  • diesel:基於Greenlet 的事件 I/O 框架。官網
  • pyzmq:一個 ZeroMQ 訊息庫的 Python 封裝。官網
  • txZMQ:基於 Twisted 的 ZeroMQ 訊息庫的 Python 封裝。官網

WebSocket

幫助使用WebSocket的庫。

  • AutobahnPython:給 Python 、使用的 WebSocket & WAMP 基於 Twisted 和 asyncio官網
  • Crossbar:開源統一應用路由(Websocket & WAMP for Python on Autobahn).

    相關推薦

    github總結python資源列表

    Python 資源大全中文版 我想很多程式設計師應該記得 GitHub 上有一個 Awesome - XXX 系列的資源整理。awesome-python 是 vinta 發起維護的 Python 資源列表,內容包括:Web框架、網路爬蟲、網路內容提取、模板引

    githubpython package 的安裝

    ## 詳細安裝方法 1、假設已經通過git命令的專案 clone 下來,或者直接下載zip檔案並解壓到目錄A。2. 目錄A下有setup等檔案。 2、如果是windows系統,在目錄A下,再選擇任何檔案的情況下(可以先左鍵單擊空白處),按住Shift的同時在空白處單擊右鍵,調出選單 ,此時

    為你的githubpython專案新增buildpassing徽章?

    buildpassing徽章是由Travis CI持續整合服務提供的。下面我們就來利用它對你的python專案進行整合測試。 首先當然是登入了,我們可以使用github帳號授權登入Travis CI。 Travis CI的關鍵就是.travis.yml檔案。對於p

    《轉載-Githubpython開源專案》

    Python開源專案,期待大家和我們一起共同維護 說明 Feedback 期望大家隨時能提出寶貴的意見(直接提交issues即可)。請廣大網友只按照目錄結構(即使目錄結構有問題)新增三方庫,並提交pull request。目錄問題大家提出issues後樓主會及時更改

    github的一些資源

    1、spring cloud + vue + oAuth2.0全家桶實戰,前後端分離模擬商城,完整的購物流程、後端運營平臺,可以實現快速搭建企業級微服務專案。支援微信登入等三方登入。 paasCloud 2、企業級搜尋系統案例(已經非常精簡),基於現公司專案搭建,可支援千萬量級以上搜索。(非

    github的開發資源大全中文版

    awesome list 收集各種awesome。 awesome的源頭在這裡:awesome,後來發展了各種各樣的avesome專案。不過資源都是英文的,不太方便國內同學檢視,我這裡整理了一些中文的avesome專案。 參與貢獻

    網路總結python中的面試題

    【題目:001】| 說說你對zen of python的理解,你有什麼辦法看到它? Python之禪,Python秉承一種獨特的簡潔和可讀行高的語法,以及高度一致的程式設計模式,符合“大腦思維習慣”,使Python易於學習、理解和記憶。Python同時採用了一條

    GitHub 收穫 6519 顆 Star 的 Python 面試題資源,到底有多牛?

    整理 | Jane出品 | AI科技大本營編輯 | AI深入淺出最近身邊很多小夥伴都是在筆試、面

    Github的PHP開源資源匯總

    參考 php代碼 文件流 靜態 完整 官方 模型 fss 計算 依賴管理 ——用於依賴管理的包和框架 Composer/Packagist : 一個包和依賴管理器 Composer Installers: 一個多框架Composer庫安裝器 Pickle: 可以在任意平臺

    GitHub 最火的 Python 開源項目zz

    單元 ctrl 自動補全 網頁 我們 mvc 編程 google 工程 https://github.com/tensorflow/tensorflow Star 68481 Google 的 TensorFlow 是最流行的開源 AI 庫之一。它的高計算效率,豐富的開

    python web 開發——pycharm 提交代碼到 GitHub

    git load 路徑 key 代碼 web .... keys src 1、下載git 並安裝:https://git-scm.com/downloads 這裏安裝的是 Windows版本的 2、註冊 gitbub 賬號 ,這裏就不介紹了 3、創建一個SS

    github傳代碼總結

    文件 es2017 commit font 成功 logs span comm key 1.先在github上新建一個項目,如下圖所示: 建好了之後,點擊 clone and download,如下圖:點擊1,切換到2,復制3 2.在本地新建一個文件夾,比如

    爬取github流行的python項目

    fin .get get cnblogs rep 地址 ges name req # -*- coding:utf-8 -*- __author__ = "MuT6 Sch01aR" import requests from pyquery import PyQue

    【轉載】【技巧總結】PyCharm怎麽克隆github開源的項目

    ont img 技術分享 彈出 windows charm 我們 cmd文件 安裝 PyCharm怎麽clone github上開源的項目 一、先要確保PyCharm正確的配置了Git ??如果你已經在PyCharm中配置好了Git,可以跳過此步驟,直接看下一步。 ??那麽

    python 原生列表刪除元素方法總結

    inf ima 技術 image rem move 方法 .com pytho 一、列表方法remove(),按值刪除,刪除首個符合的元素 二、列表方法pop(),按索引刪除,默認刪除最後一個元素 三、del函數,刪除

    [資源分享] Github八千Star的深度學習500問教程

    本文大約 650 字,閱讀大約需要 2 分鐘 這周要分享的一個資源是來自 Github 上的已經有八千多 Star 的一個深度學習知識總結,如下圖所示: 其 Github 地址為: DeepLearning-500-questions 它目前是有 16 個

    安裝代理後github不去的解決方法(該裝置或資源未設定接受埠為……)

    問題有很多種可能性,所以解決問題也有很多種方法 我就說說我的方法 代理安裝又解除安裝後,可能是配置檔案出了錯誤,所以chrome一直不是安全連線,我也不是搞web又不是搞windows的 光是這一點不能解決什麼問題 然後又用了firefox,這時候問題就很清楚了,他提示該證書只能

    python列表的知識點總結,出自python程式設計從入門到實踐!

      訪問列表元素 列表是有序集合,因此要訪問列表的任何元素,只需將該元素的位置或索引告訴 Python 即可。要訪問列表元素,可指出列表的名稱,再指出元素的索引,並將其放在方括號內。             &n

    第013講:元組:戴了枷鎖的列表 | 學習記錄(小甲魚零基礎入門學習Python

    (標答出處: 魚C論壇) 《零基礎入門學習Python》 測試題: 請用一句話描述什麼是列表?再用一句話描述什麼是元組? 列表:類似於一個倉庫,可以往其中儲存東西,當然也可以向其中增加或者刪除東西; 元組:類似於一個保險箱,但是和保險箱不同的是,當你向其中存入資料後,

    2018年10月份GitHub最熱門的Python開源專案

    本文我們將和大家介紹 GitHub 上 10 月份最受歡迎的 11 個Python開源專案,在這些專案中,你有在用或用過哪些呢? 1TensorFlow-Course https://github.com/open-source-for-science/TensorFlow-Cour