Linux wget 批量下載
方案一：使用wget自帶的一個功能 -i 選項 從指定檔案中讀取下載地址，這樣的好處是一直是這一個wget程序下載所有pdf，不會來回的啟、停止程序
[[email protected] tmp]# pwd /root/tmp [[email protected] tmp]# wc -l 50pdf.log 50 50pdf.log [[email protected] tmp]# head -3 50pdf.log 14788669468643331.pdf 1479035133045678.pdf 14799731544302441.pdf [[email protected]tmp]# awk '{print "http://xxxxx/"$1}' 50pdf.log > download.log [[email protected] tmp]# head -3 download.log http://xxxxx/14788669468643331.pdf http://xxxxx/1479035133045678.pdf http://xxxxx/14799731544302441.pdf [[email protected] tmp]# wget -i download.log --2017-09-05 16:12:52-- http://xxxxx/14788669468643331.pdfResolving nfs.htbaobao.com... 106.75.138.13 Connecting to nfs.htbaobao.com|106.75.138.13|:80... connected. HTTP request sent, awaiting response... 200 OK Length: 2601963 (2.5M) [application/pdf] Saving to: “14788669468643331.pdf” 100%[========================================================================================================================================================================>] 2,601,963 244K/s in 10s 2017-09-05 16:13:02 (245 KB/s) - “14788669468643331.pdf” saved [2601963/2601963] .......................................中間省略 --2017-09-05 16:14:04-- http://xxxxx/1481341338750833.pdf Reusing existing connection to nfs.htbaobao.com:80. HTTP request sent, awaiting response... 200 OK Length: 152155 (149K) [application/pdf] Saving to: “1481341338750833.pdf” 100%[========================================================================================================================================================================>] 152,155 209K/s in 0.7s 2017-09-05 16:14:05 (209 KB/s) - “1481341338750833.pdf” saved [152155/152155] FINISHED --2017-09-05 16:14:05-- Downloaded: 50 files, 16M in 1m 13s (226 KB/s)
[[email protected] tmp]# ls
14788669468643331.pdf 1481187682278708.pdf 1481262534034760.pdf 1481266593232456.pdf 1481340827926207.pdf 1481340948842260.pdf 1481341049634040.pdf 1481341172815801.pdf 1481341307823881.pdf
1479035133045678.pdf 1481193562811982.pdf 1481262611307371.pdf 1481267034803389.pdf 1481340853666343.pdf 1481340973957872.pdf 1481341112979143.pdf 1481341185245978.pdf 1481341338750833.pdf
14799731544302441.pdf 1481247789582233.pdf 1481262623674903.pdf 1481270022285676.pdf 1481340897933322.pdf 1481341008561312.pdf 1481341130545646.pdf 1481341216517700.pdf 50pdf.log
14799944743125144.pdf 1481262178457017.pdf 1481262846773279.pdf 1481286012498927.pdf 1481340922434822.pdf 1481341008584230.pdf 1481341134346522.pdf 1481341229730723.pdf download.log
1481034002739896.pdf 1481262229905206.pdf 1481265452669335.pdf 1481340787767089.pdf 1481340927135663.pdf 1481341022043499.pdf 1481341148759269.pdf 1481341244148718.pdf
1481095290513785.pdf 1481262241457479.pdf 1481265807661321.pdf 1481340826599027.pdf 1481340943094250.pdf 1481341045655154.pdf 1481341159027852.pdf 1481341261314587.pdf
在下載過程中開啟另外一個視窗檢視是否是同一個wget程序
[[email protected] ~]# ps -ef|grep -v grep|grep wget root 11752 9933 0 16:12 pts/1 00:00:00 wget -i download.log [[email protected] ~]# ps -ef|grep -v grep|grep wget root 11752 9933 0 16:12 pts/1 00:00:00 wget -i download.log [[email protected] ~]# ps -ef|grep -v grep|grep wget root 11752 9933 0 16:12 pts/1 00:00:00 wget -i download.log [[email protected] ~]# ps -ef|grep -v grep|grep wget root 11752 9933 0 16:12 pts/1 00:00:00 wget -i download.log [[email protected] ~]# ps -ef|grep -v grep|grep wget [[email protected] ~]#
方案二：把這些URL地址放在一個檔案裡面，然後寫個指令碼直接for迴圈取一個URL地址交給wget下載，但是這樣不好的是每下載一個pdf都會啟動一個wget程序，下載完成後關閉wget程序 ......一直這樣迴圈到最後一個，比較影響系統性能
[[email protected] tmp]# ls 50pdf.log download.log wget_pdf.sh [[email protected] tmp]# cat wget_pdf.sh #!/usr/bin/env bash # for url in `cat /root/tmp/download.log`;do wget $url done [[email protected] tmp]# sh wget_pdf.sh --2017-09-05 16:24:06-- http://xxxxx/14788669468643331.pdf Resolving nfs.htbaobao.com... 106.75.138.13 Connecting to nfs.htbaobao.com|106.75.138.13|:80... connected. HTTP request sent, awaiting response... 200 OK Length: 2601963 (2.5M) [application/pdf] Saving to: “14788669468643331.pdf” 100%[========================================================================================================================================================================>] 2,601,963 230K/s in 11s 2017-09-05 16:24:17 (224 KB/s) - “14788669468643331.pdf” saved [2601963/2601963] ......................................................中間省略 --2017-09-05 16:25:21-- http://xxxxx/1481341338750833.pdf Resolving nfs.htbaobao.com... 106.75.138.13 Connecting to nfs.htbaobao.com|106.75.138.13|:80... connected. HTTP request sent, awaiting response... 200 OK Length: 152155 (149K) [application/pdf] Saving to: “1481341338750833.pdf” 100%[========================================================================================================================================================================>] 152,155 184K/s in 0.8s 2017-09-05 16:25:22 (184 KB/s) - “1481341338750833.pdf” saved [152155/152155] [[email protected] tmp]# ls 14788669468643331.pdf 1481187682278708.pdf 1481262534034760.pdf 1481266593232456.pdf 1481340827926207.pdf 1481340948842260.pdf 1481341049634040.pdf 1481341172815801.pdf 1481341307823881.pdf 1479035133045678.pdf 1481193562811982.pdf 1481262611307371.pdf 1481267034803389.pdf 1481340853666343.pdf 1481340973957872.pdf 1481341112979143.pdf 1481341185245978.pdf 1481341338750833.pdf 14799731544302441.pdf 1481247789582233.pdf 1481262623674903.pdf 1481270022285676.pdf 1481340897933322.pdf 1481341008561312.pdf 1481341130545646.pdf 1481341216517700.pdf 50pdf.log 14799944743125144.pdf 1481262178457017.pdf 1481262846773279.pdf 1481286012498927.pdf 1481340922434822.pdf 1481341008584230.pdf 1481341134346522.pdf 1481341229730723.pdf download.log 1481034002739896.pdf 1481262229905206.pdf 1481265452669335.pdf 1481340787767089.pdf 1481340927135663.pdf 1481341022043499.pdf 1481341148759269.pdf 1481341244148718.pdf wget_pdf.sh 1481095290513785.pdf 1481262241457479.pdf 1481265807661321.pdf 1481340826599027.pdf 1481340943094250.pdf 1481341045655154.pdf 1481341159027852.pdf 1481341261314587.pdf
在下載過程中開啟另外一個視窗檢視是否是同一個wget程序
[[email protected] ~]# ps -ef|grep -v grep|grep wget root 11778 9933 0 16:24 pts/1 00:00:00 sh wget_pdf.sh root 11780 11778 0 16:24 pts/1 00:00:00 wget http://xxxxx/14788669468643331.pdf [[email protected] ~]# ps -ef|grep -v grep|grep wget root 11778 9933 0 16:24 pts/1 00:00:00 sh wget_pdf.sh root 11784 11778 0 16:24 pts/1 00:00:00 wget http://xxxxx/1479035133045678.pdf [[email protected] ~]# ps -ef|grep -v grep|grep wget root 11778 9933 0 16:24 pts/1 00:00:00 sh wget_pdf.sh root 11784 11778 0 16:24 pts/1 00:00:00 wget http://xxxxx/1479035133045678.pdf [[email protected] ~]# ps -ef|grep -v grep|grep wget root 11778 9933 0 16:24 pts/1 00:00:00 sh wget_pdf.sh root 11791 11778 0 16:24 pts/1 00:00:00 wget http://xxxxx/14799731544302441.pdf [[email protected] ~]# ps -ef|grep -v grep|grep wget root 11778 9933 0 16:24 pts/1 00:00:00 sh wget_pdf.sh root 11791 11778 0 16:24 pts/1 00:00:00 wget http://xxxxx/14799731544302441.pdf [[email protected] ~]# ps -ef|grep -v grep|grep wget root 11778 9933 0 16:24 pts/1 00:00:00 sh wget_pdf.sh root 11798 11778 0 16:24 pts/1 00:00:00 wget http://xxxxx/14799944743125144.pdf [[email protected] ~]# ps -ef|grep -v grep|grep wget root 11778 9933 0 16:24 pts/1 00:00:00 sh wget_pdf.sh root 11846 11778 0 16:25 pts/1 00:00:00 wget http://xxxxx/1481341307823881.pdf
小結：
1、使用方案一 只有一個程序下載，且在最後會顯示總共下載了多少個檔案，下載的總大小等資訊
2、使用方案二 每次下載都會重新生成一個wget程序，上下文頻繁切換
相關推薦
Linux wget 批量下載
方案一：使用wget自帶的一個功能 -i 選項 從指定檔案中讀取下載地址，這樣的好處是一直是這一個wget程序下載所有pdf，不會來回的啟、停止程序 [[email protected] tmp]# pwd /root/tmp [[email protected] tmp]# wc
wget批量下載
name http des www arc bin hive yum源 use 下載ftp文件： wget --ftp-user=User --ftp-password=Mir URL 下載yum源文件： #!/bin/bash yum
利用wget批量下載http目錄下檔案
因為網路特殊，連不上網際網路，只好自己製作一個puppet本地源。因為自己的電腦是是可以連網際網路的，所以就直接將puppetlabs.repo匯入進來了 rpm -Uvh http://yum.puppetlabs.com/el/6/products/i386/puppe
wget批量下載FTP上的檔案
wget "ftp://192.168.1.1:21/*" -nH -nc --ftp-user=ftp --ftp-password=ftp -r -P /home/www/ -nd不建立目錄 -
linux通過wget直接下載jdk，避免用戶驗證
license htm -s cert 表示 字段 下載 ora oracl 下載JDK的時候，會出現用戶驗證的問題，下載下來的文件是一個HTML的文件，所以要加上幾個字段表示去除驗證。 下載語句： wget --no-check-certificate --no-co
【Linux基礎】wget命令下載
次數 遠程 分隔 address exe erb 本地 guide symlink 原文 1.下載單個文件 wget http://down.51cto.com/download.php?do=attachment&aid=1131994&k=93d6c
Linux運維之批量下載指定網站的100個圖片檔案，並找出大於200KB的檔案
題目為： 有一百個圖片檔案，它們的地址都是 http://down.fengge.com/img/1.png http://down.fengge.com/img/2.png … 一直到 http://down.fengge.com/img/100.png 批量下載這10
Linux運維之批量下載指定網站的100個圖片文件，並找出大於200KB的文件
pre 文件 one clas nbsp .com find -s png 題目為： 有一百個圖片文件，它們的地址都是http://down.fengge.com/img/1.pnghttp://down.fengge.com/img/2.png…一直到http://do
Linux C 建立新目錄，然後轉換工作空間到該目錄下，並呼叫wget函式下載檔案到新建目錄下
#include<stdio.h> #include <sys/stat.h> int main () { char wget_cmd[100]; char *pathname="/var/www/html/sssnsd/"; char buf[5
Linux wget 從指定的URL下載檔案
wget命令用來從指定的URL下載檔案。wget非常穩定，它在頻寬很窄的情況下和不穩定網路中有很強的適應性，如果是由於網路的原因下載失敗，wget會不斷的嘗試，直到整個檔案下載完畢。如果是伺服器打斷下載過程，它會再次聯到伺服器上從停止的地方繼續下載。這對從那些限定了連結時間的
Linux 命令列下載工具 wget 的使用技巧
wget 是一個命令列的下載工具。對於我們這些 Linux 使用者來說，幾乎每天都在使用它。下面為大家介紹幾個有用的 wget 小技巧，可以讓你更加高效而靈活的使用 wget。 $ wget -r -np -nd http://example.com/packages/
分散式進階 十 linux命令列下載檔案以及常用工具 wget Prozilla MyGet Linuxdown Cu
linux命令列下載檔案以及常用工具：wget、Prozilla、MyGet、Linuxdown、Curl、Axel 本文介紹常用的幾種命令列式的下載工具：wget、Prozilla、MyGet、Linuxdown、Curl、Axel
Linux入門：常用命令：wget檔案下載
wget是在Linux下開發的開放原始碼的軟體，作者是Hrvoje Niksic，後來被移植到包括Windows在內的各個平臺上。它有以下功能和特點： （1）支援斷點下傳功能；這一點，也是網路螞蟻和FlashGet當年最大的賣點，現在，Wget也可以使用此功
linux下wget如何下載整個網站，或者特定目錄全部檔案
需要下載某個目錄下面的所有檔案。命令如下wget -c -r -np -k -L -p www.xxx.org/pub/path/在下載時。有用到外部域名的圖片或連線。如果需要同時下載就要用-H引數。wget -np -nH -r –span-hosts www.xxx.o
Linux下wget命令下載JDK
Linux 下 wget 命令下載 JDK wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" -c https://download
CheungSSH比Ansible更優秀的Linux SSH批量管理伺服器 執行命令上傳下載自動化運維工具
安裝部署： 第一步： [ root ~]# yum install -y gcc 第二步：[ root ~]# yum install -y python-devel 第三步 到官網下載pycrypto模組： wget --no-check-certificate https://pypi.py
在Linux系統上安裝jdk1.8（詳細說！）直接官網下載和用wget命令下載
1、先在官網上下載jdk1.8（也可以用wget命令直接下載） 這個為在官網直接下載jdk1.8 這個為用wget命令直接下載 //輸入 wget --no-check-certificate --no-cookies --header "Cookie: oraclelicen
Linux wget斷點續傳，限速下載
未安裝wget，聯網執行以下命令即可： yum install wget 1、斷點續傳，只需要新增 -c 引數即可 wget -c http://mirrors.163.com/ub
Linux 使用wget命令下載JDK（新版JDK和舊版JDK通用）
Oracle官網上下載jdk，需要點選accept licence的才能下載，使用下面的命令，直接可以下載。wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-secu
linux通過wget直接下載jdk（避免使用者驗證）
jdk1.7下載語句：wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=acce