基於ThinkPHP5 使用QueryList爬取 並存入mysql資料庫
阿新 • • 發佈:2018-11-15
QueryList4教程 地址:
https://doc.querylist.cc/site/index/doc/45
在ThinkPHP5程式碼根目錄執行composer命令安裝QueryList:
composer require jaeger/querylist
如果出現 以下錯誤
Loading composer repositories with package information Updating dependencies (including require-dev) Authentication required (packagist.phpcomposer.com): Username: 出現這樣的 情況
使用
composer config -g repo.packagist composer https://packagist.laravel-china.org
下面演示在Index
控制器中使用QueryList:
use QL\QueryList; public function qulist(){ $data = QueryList::get('http://maoyan.com/board/4') // 設定採集規則 ->rules([ // 爬取圖片地址 "src"=>array(".board-wrapper dd img.board-img","data-src"), // 爬取電影名 "name"=>array(".board-wrapper dd .movie-item-info .name","html"), // 爬取電影主演資訊 "star"=>array(".board-wrapper dd .movie-item-info .star","html"), // 爬取上映時間 "releasetime"=>array(".board-wrapper dd .movie-item-info .releasetime","html"), ]) ->query()->getData(); $excel_array=$data->all(); var_dump($excel_array);exit; }
如果沒有錯的 則
如果想繼續抓取下一頁的資料 要根據規律來去
這裡我繼續抓取20頁 但是沒有那麼多就抓取了10頁的資料
public function qulist(){ for($i=0;$i<20;$i++){ $page=$i*10; $data = QueryList::get('http://maoyan.com/board/4?offset='.$page) // 設定採集規則 ->rules([ // 爬取圖片地址 "src"=>array(".board-wrapper dd img.board-img","data-src"), // 爬取電影名 "name"=>array(".board-wrapper dd .movie-item-info .name","html"), // 爬取電影主演資訊 "star"=>array(".board-wrapper dd .movie-item-info .star","html"), // 爬取上映時間 "releasetime"=>array(".board-wrapper dd .movie-item-info .releasetime","html"), ]) ->query()->getData(); $excel_array=$data->all(); var_dump($excel_array);exit; } }
將資料插入到資料庫 詳細步驟