從CSV檔案中讀取jpg圖片的URL地址並多執行緒批量下載
阿新 • • 發佈:2018-11-17
很多時候,我們的網站上傳圖片時並沒有根據內容進行資料夾分類,甚至會直接儲存到阿里雲的OSS或是七牛雲等雲端儲存上。這樣,當我們需要打包圖片時,就需要從資料庫找尋分類圖片,通過CURL進行下載。我最近剛剛完成了一個這樣的任務,覺得會比較常用,就把程式放到了github上分享給大家,希望大家能夠喜歡。
這個程式只有一個檔案,對環境沒有太大苛求,windows和linux都能用,是不是執行緒安全無所謂,也沒有什麼特別的擴充套件需要安裝。
使用的步驟是這樣的:
- 首先,把你資料庫的圖片欄位匯出成csv檔案
- 然後,命令視窗執行程式碼:
php run.php -f yourcsv.csv
- 如果你的欄位裡沒有網址資訊,比如http://yoursite.com/images/20... 在欄位裡只記錄為20180101/14904.jpg,那麼應該執行:
php run.php -f yourcsv.csv -p http://yoursite.com/images
這樣就可以了,你的電腦上會多一個資料夾名叫dir_yourcsv.csv,裡面會按欄位分檔案儲存下載的圖片。
並且,這個程式是多執行緒下載的,所以下載速度應該會比較快,我自己測試的速度,大約是10秒左右下載100個圖片,當然這也與你的網速和圖片大小有關。
就這麼簡單,沒啥好說的了。有啥需要改的,可以在這篇文章下留言,也可以直接去github上提。