1. 程式人生 > >基於ThinkPHP5 使用QueryList爬取 並存入mysql資料庫

基於ThinkPHP5 使用QueryList爬取 並存入mysql資料庫

QueryList4教程  地址:

https://doc.querylist.cc/site/index/doc/45

在ThinkPHP5程式碼根目錄執行composer命令安裝QueryList:

composer require jaeger/querylist

  如果出現  以下錯誤

Loading composer repositories with package information
Updating dependencies (including require-dev)

    Authentication required (packagist.phpcomposer.com):
      Username:

  出現這樣的 情況

使用

composer config -g repo.packagist composer https://packagist.laravel-china.org

 

下面演示在Index控制器中使用QueryList:


use QL\QueryList;



public function qulist(){
    $data = QueryList::get('http://maoyan.com/board/4')
    // 設定採集規則
    ->rules([
        // 爬取圖片地址
        "src"=>array(".board-wrapper dd img.board-img","data-src"),
        // 爬取電影名
        "name"=>array(".board-wrapper dd .movie-item-info .name","html"),
        // 爬取電影主演資訊
        "star"=>array(".board-wrapper dd .movie-item-info .star","html"),
        // 爬取上映時間
        "releasetime"=>array(".board-wrapper dd .movie-item-info .releasetime","html"),
    ])
    ->query()->getData();
    $excel_array=$data->all();
    var_dump($excel_array);exit;
    }

如果沒有錯的   則

 

如果想繼續抓取下一頁的資料  要根據規律來去

這裡我繼續抓取20頁   但是沒有那麼多就抓取了10頁的資料

public function qulist(){
        for($i=0;$i<20;$i++){
            $page=$i*10;
            $data = QueryList::get('http://maoyan.com/board/4?offset='.$page)
                // 設定採集規則
                ->rules([
                    // 爬取圖片地址
                    "src"=>array(".board-wrapper dd img.board-img","data-src"),
                    // 爬取電影名
                    "name"=>array(".board-wrapper dd .movie-item-info .name","html"),
                    // 爬取電影主演資訊
                    "star"=>array(".board-wrapper dd .movie-item-info .star","html"),
                    // 爬取上映時間
                    "releasetime"=>array(".board-wrapper dd .movie-item-info .releasetime","html"),
                ])
                ->query()->getData();
            $excel_array=$data->all();
            var_dump($excel_array);exit;

        }

    }

將資料插入到資料庫    詳細步驟

該功能地址::https://www.kancloud.cn/he_he/thinkphp5/804186