from datetime import datetime, timedelta
from pymongo import MongoClient, errors

class MogoQueue():

    OUTSTANDING = 1 ##初始狀態
    PROCESSING = 2 ##正在下載狀態
    COMPLETE = 3 ##下載完成狀態

    def __init__(self, db, collection, timeout=300):##初始mongodb連線
        self.client = MongoClient()
        self.Client = self.client[db]
        self.db = self.Client[collection]
        self.timeout = timeout

    def __bool__(self):
        """
        這個函式，我的理解是如果下面的表達為真，則整個類為真
        至於有什麼用，後面我會註明的（如果我的理解有誤，請指點出來謝謝，我也是Python新手）
        $ne的意思是不匹配
        """
        record = self.db.find_one(
            {'status': {'$ne': self.COMPLETE}}
        )
        return True if record else False

    def push(self, url, title): ##這個函式用來新增新的URL進佇列
        try:
            self.db.insert({'_id': url, 'status': self.OUTSTANDING, '主題': title})
            print(url, '插入佇列成功')
        except errors.DuplicateKeyError as e:  ##報錯則代表已經存在於佇列之中了
            print(url, '已經存在於佇列中了')
            pass
    def push_imgurl(self, title, url):
        try:
            self.db.insert({'_id': title, 'statue': self.OUTSTANDING, 'url': url})
            print('圖片地址插入成功')
        except errors.DuplicateKeyError as e:
            print('地址已經存在了')
            pass

    def pop(self):
        """
        這個函式會查詢佇列中的所有狀態為OUTSTANDING的值，
        更改狀態，（query後面是查詢）（update後面是更新）
        並返回_id（就是我們的ＵＲＬ），MongDB好使吧，^_^
        如果沒有OUTSTANDING的值則呼叫repair()函式重置所有超時的狀態為OUTSTANDING，
        $set是設定的意思，和MySQL的set語法一個意思
        """
        record = self.db.find_and_modify(
            query={'status': self.OUTSTANDING},
            update={'$set': {'status': self.PROCESSING, 'timestamp': datetime.now()}}
        )
        if record:
            return record['_id']
        else:
            self.repair()
            raise KeyError

    def pop_title(self, url):
        record = self.db.find_one({'_id': url})
        return record['主題']

    def peek(self):
        """這個函式是取出狀態為 OUTSTANDING的文件並返回_id(URL)"""
        record = self.db.find_one({'status': self.OUTSTANDING})
        if record:
            return record['_id']

    def complete(self, url):
        """這個函式是更新已完成的URL完成"""
        self.db.update({'_id': url}, {'$set': {'status': self.COMPLETE}})

    def repair(self):
        """這個函式是重置狀態$lt是比較"""
        record = self.db.find_and_modify(
           query={
               'timestamp': {'$lt': datetime.now() - timedelta(seconds=self.timeout)},
               'status': {'$ne': self.COMPLETE}
           },
            update={'$set': {'status': self.OUTSTANDING}}
        )
        if record:
            print('重置URL狀態', record['_id'])

    def clear(self):
        """這個函式只有第一次才呼叫、後續不要呼叫、因為這是刪庫啊！"""
        self.db.drop()
 

from Download import request
from mongodb_queue import MogoQueue
from bs4 import BeautifulSoup


spider_queue = MogoQueue('meinvxiezhenji', 'crawl_queue')
def start(url):
    response = request.get(url, 3)
    Soup = BeautifulSoup(response.text, 'lxml')
    all_a = Soup.find('div', class_='all').find_all('a')
    for a in all_a:
        title = a.get_text()
        url = a['href']
        spider_queue.push(url, title)
    """上面這個呼叫就是把URL寫入MongoDB的隊列了"""

if __name__ == "__main__":
    start('http://www.mzitu.com/all')

"""這一段兒就不解釋了哦！超級簡單的"""

import os
import time
import threading
import multiprocessing
from mongodb_queue import MogoQueue
from Download import request
from bs4 import BeautifulSoup

SLEEP_TIME = 1

def mzitu_crawler(max_threads=10):
    crawl_queue = MogoQueue('meinvxiezhenji', 'crawl_queue') ##這個是我們獲取URL的佇列
    ##img_queue = MogoQueue('meinvxiezhenji', 'img_queue')
    def pageurl_crawler():
        while True:
            try:
                url = crawl_queue.pop()
                print(url)
            except KeyError:
                print('佇列沒有資料')
                break
            else:
                img_urls = []
                req = request.get(url, 3).text
                title = crawl_queue.pop_title(url)
                mkdir(title)
                os.chdir('D:\mzitu\\' + title)
                max_span = BeautifulSoup(req, 'lxml').find('div', class_='pagenavi').find_all('span')[-2].get_text()
                for page in range(1, int(max_span) + 1):
                    page_url = url + '/' + str(page)
                    img_url = BeautifulSoup(request.get(page_url, 3).text, 'lxml').find('div', class_='main-image').find('img')['src']
                    img_urls.append(img_url)
                    save(img_url)
                crawl_queue.complete(url) ##設定為完成狀態
                ##img_queue.push_imgurl(title, img_urls)
                ##print('插入資料庫成功')

    def save(img_url):
        name = img_url[-9:-4]
        print(u'開始儲存：', img_url)
        img = request.get(img_url, 3)
        f = open(name + '.jpg', 'ab')
        f.write(img.content)
        f.close()

    def mkdir(path):
        path = path.strip()
        isExists = os.path.exists(os.path.join("D:\mzitu", path))
        if not isExists:
            print(u'建了一個名字叫做', path, u'的資料夾！')
            os.makedirs(os.path.join("D:\mzitu", path))
            return True
        else:
            print(u'名字叫做', path, u'的資料夾已經存在了！')
            return False

    threads = []
    while threads or crawl_queue:
        """
        這兒crawl_queue用上了，就是我們__bool__函式的作用，為真則代表我們MongoDB佇列裡面還有資料
        threads 或者 crawl_queue為真都代表我們還沒下載完成，程式就會繼續執行
        """
        for thread in threads:
            if not thread.is_alive(): ##is_alive是判斷是否為空,不是空則在佇列中刪掉
                threads.remove(thread)
        while len(threads) < max_threads or crawl_queue.peek(): ##執行緒池中的執行緒少於max_threads 或者 crawl_qeue時
            thread = threading.Thread(target=pageurl_crawler) ##建立執行緒
            thread.setDaemon(True) ##設定守護執行緒
            thread.start() ##啟動執行緒
            threads.append(thread) ##新增進執行緒佇列
        time.sleep(SLEEP_TIME)

def process_crawler():
    process = []
    num_cpus = multiprocessing.cpu_count()
    print('將會啟動程序數為：', num_cpus)
    for i in range(num_cpus):
        p = multiprocessing.Process(target=mzitu_crawler) ##建立程序
        p.start() ##啟動程序
        process.append(p) ##新增進程序佇列
    for p in process:
        p.join() ##等待程序佇列裡面的程序結束

if __name__ == "__main__":
    process_crawler()