2. 程式人生 > >Python自動化開發學習-爬蟲1

Python自動化開發學習-爬蟲1

阿新 • • 發佈：2018-10-15
不同的 bar 實戰 har clas 圖片 print 有一種 python對象

講師的博客：https://www.cnblogs.com/wupeiqi/articles/6283017.html

建立本地緩存

用下面的命令，就可以把一個頁面爬取下來。不過再繼續其他操作之前先把爬取的內容在本地建立緩存：

import requests
r = requests.get(‘http://www.autohome.com.cn/news‘)  # 爬取頁面
print(r.text)  # 打印響應的內容

下面會試很多的方法，還是要避免每次都去爬一次相同的頁面。主要爬的太頻繁，不知道會不會被封。所以爬取過一次之後，在本地建立緩存，之後的各種分析就不用再去爬一遍了。
要緩存的就是 r = requests.get(‘http://www.autohome.com.cn/news‘)

這個，也就是這裏的r這個對象。不緩存的話，r是保存在內存中的，程序一旦退出就沒有了。這裏要做的就是對r這個對象進行序列化，把它保存為本地的文件。由於r是一個python對象，無法使用JSON序列化，這裏可以用pickle，保存為一個二進制文件。

序列化與反序列化

首先是把對象序列化，保存為本地的二進制文件：

import pickle
with open(‘test.pk‘, ‘wb‘) as f:
    pickle.dump(r, f)

只有再用的時候，就不需要再通過requests.get再去爬一遍了，直接從本地文件中取出內容反序列生成r對象：

import pickle
with open(‘test.pk‘, ‘rb‘) as f:
    r = pickle.load(f)

封裝個模塊

然後，每次自己都要想一下之前有沒有緩存過也很麻煩，所以在封裝一下，自動判斷有沒有緩存過。如果沒有就去爬網頁，然後生成緩存。如果有就去緩存的文件裏讀。
創建一個文件夾“pk”專門存放緩存的文件。假設測試的python文件是 s1.py 那麽就生成一個 pk/s1.pk 的緩存文件，只要判斷是否存在該文件，就可以知道是否緩存過了：

import os
import pickle
import requests

def get_pk_name(path):
    basedir = os.path.dirname(path)
    fullname = os.path.basename(path)
    name = os.path.splitext(fullname)[0]
    pk_name = ‘%s/pk/%s.%s‘ % (basedir, name, ‘pk‘)
    return pk_name

pk_name = get_pk_name(__file__)
response = None
if os.path.exists(pk_name):
    print("已經爬取過了，獲取緩存的內容...")
    with open(pk_name, ‘rb‘) as f:
        response = pickle.load(f)

# 只有在沒有緩存過頁面的時候才進行爬取
if not response:
    print("開始爬取頁面...")
    response = requests.get(‘http://www.autohome.com.cn/news‘)
    # 爬完之後記得保存，下次就不用再去爬取了
    with open(pk_name, ‘wb‘) as f:
        pickle.dump(response, f)

# 從這裏開始寫真正的代碼
print(response.text)

Requests

中文官方文檔：http://cn.python-requests.org/zh_CN/latest/user/quickstart.html
安裝模塊：

pip install requests

發送請求

r = requests.get(‘http://www.autohome.com.cn/news‘)

讀取響應內容

print(r.text)

文本編碼
上面可能會有亂碼，那就是編碼不對，可以查看當前的編碼，也可以改變它。默認的編碼就是 ‘ISO-8859-1‘ ：

print(r.encoding)
r.encoding = ‘ISO-8859-1‘

另外還可以自動獲取頁面的編碼，解決亂碼問題：

r.encoding = r.apparent_encoding
print(r.text)

二進制響應內容
如果要自己找編碼，應該也是在這裏面找

print(r.content)

在下載的時候，就要用到二進制的響應內容了
響應狀態碼

print(r.status_code)

正常返回的狀態碼是200
Cookie

cookie_obj = r.cookies
cookie_dict = r.cookies.get_dict()

r.cookies 是一個對象，這個對象的的行為和字典類似，也可以像對象那樣使用。這裏還可以用 get_dict() 方法轉成原生的字典。

Beautiful Soup

中文官方文檔：https://beautifulsoup.readthedocs.io/
安裝模塊：

pip install beautifulsoup4

這裏繼續對上面爬取到的內容進行分析，把爬取到的內容先把編碼轉正確了，然後這裏要分析的是 r.text 文本的響應內容：

import requests
from bs4 import BeautifulSoup

r = requests.get(‘http://www.autohome.com.cn/news‘)
r.encoding = r.apparent_encoding
soup = BeautifulSoup(r.text, features=‘html.parser‘)

features 參數是指定一個處理引擎，這裏用的是默認的，效率一般，但是不用額外的安裝。如果是生產環境，還有更高效的處理引擎。
這裏最後拿到了一個 soup 對象，之後又一系列的方法，可以提取出各種內容。

查找方法
soup.find方法，可以找到第一個符合條件的對象。可以找標簽，也可以找id等，還可以多條件組合使用：

soup.find("div")
soup.find(id="link3")
soup.find("div", id="link3")

soup.find_all方法，和find的用法一樣，實際上find方法的實現也是調用find_all方法。find_all方法會返回所有符合條件的對象，返回的對象是在一個列表裏的。

打印對象和對象的文本
直接打印對象會打印整個html標簽，如果只需要標簽中的文本，可以通過對象的text屬性：

soup = BeautifulSoup(r.text, features=‘html.parser‘)
target = soup.find(‘div‘, {‘class‘: "article-bar"})
print(type(target), target, target.text)

獲取對象的所有屬性
對象的attrs屬性裏是這個html標簽的所有的屬性：

target = soup.find(id=‘auto-channel-lazyload-article‘)
print(target.attrs)

實戰

僅憑上面這點知識點就可以開始下面的實戰了

爬取汽車之家新網咨詢

下面是代碼，找到了沒一條新聞咨詢的a連接的地址，以及標題，最後還把對應的圖片下載到了本地（先建一個img文件夾）：

# check_cache.py
"""用來檢查是否有本地緩存的小模塊"""

import os

def get_pk_name(path):
    basedir = os.path.dirname(path)
    fullname = os.path.basename(path)
    name = os.path.splitext(fullname)[0]
    pk_name = ‘%s/pk/%s.%s‘ % (basedir, name, ‘pk‘)
    return pk_name

# s1.py
"""爬取汽車之家新網咨詢"""

import os
import pickle
import requests
from bs4 import BeautifulSoup

from check_cache import get_pk_name

pk_name = get_pk_name(__file__)
response = None
if os.path.exists(pk_name):
    print("已經爬取過了，獲取緩存的內容...")
    with open(pk_name, ‘rb‘) as f:
        response = pickle.load(f)

# 只有在沒有緩存過頁面的時候才進行爬取
if not response:
    print("開始爬取頁面...")
    response = requests.get(‘http://www.autohome.com.cn/news‘)
    # 爬完之後記得保存，下次就不用再去爬取了
    with open(pk_name, ‘wb‘) as f:
        pickle.dump(response, f)

response.encoding = response.apparent_encoding  # 獲取頁面的編碼，解決亂碼問題
# print(response.text)

soup = BeautifulSoup(response.text, features=‘html.parser‘)
target = soup.find(id=‘auto-channel-lazyload-article‘)
# print(target)
# obj = target.find(‘li‘)
# print(obj)
li_list = target.find_all(‘li‘)
# print(li_list)
for i in li_list:
    a = i.find(‘a‘)
    # print(a)
    # print(a.attrs)  # 有些li標簽裏沒有a標簽，所以可能會報錯
    if a:  # 這樣判斷一下就好了
        # print(a.attrs)  # 這是一個字典
        print(a.attrs.get(‘href‘))  # 那就用操作字典的方法來獲取值
        # tittle = a.find(‘h3‘)  # 這個類型是對象
        tittle = a.find(‘h3‘).text  # 這樣拿到的才是文本
        print(tittle, type(tittle))  # 不過打印出來差不多，都會變成字符串，差別就是h3這個標簽
        img_url = a.find(‘img‘).attrs.get(‘src‘)
        print(img_url)
        # 上面獲取到了圖片的url，現在可以下載到本地了
        img_response = requests.get("http:%s" % img_url)
        if ‘/‘ in tittle:
            file_name = "img/%s%s" % (tittle.replace(‘/‘, ‘_‘), os.path.splitext(img_url)[1])
        else:
            file_name = "img/%s%s" % (tittle, os.path.splitext(img_url)[1])
        with open(file_name, ‘wb‘) as f:
            f.write(img_response.content)

登錄抽屜

這裏要解決一個登錄的問題。
登錄有2種，一種是Form表單驗證，還有一種是AJAX請求。這是一個使用AJAX做登錄請求的網站。
下面是幾張瀏覽器調試工具的截圖，主要是要找一下，登錄請求需要提交到哪裏，提交哪些信息，以及最後會返回的內容。
登錄的AJAX請求：
技術分享圖片

請求正文：
技術分享圖片

響應正文：
技術分享圖片

登錄請求的代碼如下：

import requests

post_dict = {
    ‘phone‘: ‘8613507293881‘,  # 從請求正文裏發現，會在手機號前加上86
    ‘password‘: ‘123456‘,
}

# 所有的請求頭可以從請求標頭裏找到，不過不是必須的
headers = {
    ‘User-Agent‘: ‘‘,  # 這個網站要驗證這個請求頭，不過只要有就可以通過
}

# 從標頭裏可以得知，請求的url和請求的方法
response = requests.post(
    url=‘https://dig.chouti.com/login‘,
    data=post_dict,
    headers=headers,
)

print(response.text)
# 這裏還有返回的cookies信息，登錄成功關鍵是要拿到成功的cookie
cookie_dict = response.cookies.get_dict()
print(cookie_dict)

登錄的套路
上面使用了錯誤的用戶名和密碼，在繼續登錄驗證之前，看了解下登錄的機制。
登錄肯定是要提交驗證信息的，一般就用戶名和密碼。然後請求驗證之後，服務端會記錄一個session，然後會返回給客戶端一個cookie。之後用戶每次請求都帶著這個cookie，服務端收到請求後就知道這個請求是那個用戶提交的了。
不過這個網站有一點不一樣，用戶在提交驗證信息的時候，不但要提交用戶名和密碼，還要提交一個gpsd。然後服務端驗證通過後，會把這次收到的gpsd記錄下來。用戶之後的cookie裏就是要帶著這個gpsd就能驗證通過。驗證請求的gpsd可以從第一次發送get請求的返回的cookie裏獲取到。另外用戶驗證通過後，服務端會返回一個cookie，這個cookie裏也有一個gpsd，但是是一個新的gpsd，並且是沒有用的，這裏就會混淆我們，在進行驗證這不的時候造成一些困擾。
具體如何應對這類特殊情況，只能用瀏覽器，打開調試工具，然後一點一點試了。

登錄並點贊
下面就是登錄驗證，獲取到第一條咨詢的標題和id，發送post請求點贊：

import requests
from bs4 import BeautifulSoup

headers = {
    ‘User-Agent‘: ‘‘,  # 這個網站要驗證這個請求頭，不過只要有就可以通過
}

r1 = requests.get(‘https://dig.chouti.com‘, headers=headers)
r1_cookies = r1.cookies  # 這裏有個gpsd，登錄驗證的時候要一並提交
print(r1_cookies.get_dict())

# 不能把密碼上傳啊
with open(‘password/s2.txt‘) as f:
    auth = f.read()
    auth = auth.split(‘\n‘)

post_dict = {
    ‘phone‘: ‘86%s‘ % auth[0],  # 從請求正文裏發現，會在手機號前加上86
    ‘password‘: auth[1],
}

# 這個網站的登錄機制是，發送驗證信息和cookies裏的gpsd，成功後給你的gpsd授權
# 之後的請求只有cookies裏有這個授權過的gpsd就能認證通過
r2 = requests.post(
    url=‘https://dig.chouti.com/login‘,
    data=post_dict,
    headers=headers,
    cookies={‘gpsd‘: r1_cookies[‘gpsd‘]}
)

print(r2.text)
r2_cookies = r2.cookies  # 這裏也會返回一個新的gpsd，但是無用。
print(r2_cookies.get_dict())

# 獲取咨詢，然後點贊
r3 = requests.get(
    url=‘https://dig.chouti.com‘,
    headers=headers,
    cookies={‘gpsd‘: r1_cookies[‘gpsd‘]},
)
r3.encoding = r3.apparent_encoding
soup = BeautifulSoup(r3.text, features=‘html.parser‘)
target = soup.find(id=‘content-list‘)
item = target.find(‘div‘, {‘class‘: ‘item‘})  # 就只給第一條點贊吧
news = item.find(‘a‘, {‘class‘: ‘show-content‘}).text
linksId = item.find(‘div‘, {‘class‘: ‘part2‘}).attrs[‘share-linkid‘]
print(‘news:‘, news.strip())

# 點贊
r = requests.post(
    url=‘https://dig.chouti.com/link/vote?linksId=%s‘ % linksId,
    headers=headers,
    cookies={
        ‘gpsd‘: r1_cookies[‘gpsd‘],
    }
)

print(r.text)

Requests 模塊詳細

找到requests.get()方法的源碼，在 requests/api.py 這個文件裏，有如下這些方法：

  • requests.get()
  • requests.options()
  • requests.head()
  • requests.post()
  • requests.put()
  • requests.patch()
  • requests.delete()

另外還有一個 requests.request() 方法。上面這些方法裏最終調用的都是這個request方法。下面就來看下這些方法裏都提供了寫什麽參數。

參數

在 requests.request() 方法裏所有的參數如下：

  • method ： 提交方式。request方法裏的參數，其他方法裏在調用request方法時，都會填好。
  • url ： 提交地址
  • params ： 在url中傳遞的參數。也就是get方式的參數
  • data ： 在請求體裏傳遞的參數。
  • json ： 在請求體裏傳遞的參數。和data不一樣，會把json對象序列化後，把整個字符串發出去。
  • headers ： 請求頭。有幾個重要的請求頭信息，下面會列出
  • cookies ： 這個就是Cookies。它是放在請求頭的Cookie裏發送給服務端的。
  • files ： 上傳文件。下面有使用示例
  • auth ： 設置 HTTP Auth 的認證信息。下面有展開
  • timeout ： 超時時間。單位是秒，類型是float。也可以是個元祖(connect timeout, read timeout)
  • allow_redirects ： 是否允許重定向。默認是True。
  • proxies ： 使用代理。具體怎麽用這裏沒記
  • verify ： 對於https的請求，如果設為Flase，會忽略證書。
  • stream ： 下載時的參數，如果是False，則先一次全部下載到內存。如果內容太大，下面有展開。
  • cert ： 提交請求如果需要附帶證書文件，則要設置cert。

data 和 json 參數
這兩個參數都是在請求體力傳遞的參數。但是格式不同，在網絡上最終傳遞的一定都是序列化的字符串。不同的類型會生成一個不同的請求頭。在 requests/models.py 文件裏可以找到如下的代碼：

if not data and json is not None:
    content_type = ‘application/json‘

if data:
    if isinstance(data, basestring) or hasattr(data, ‘read‘):
        content_type = None
    else:
        content_type = ‘application/x-www-form-urlencoded‘

也就是不同的格式，會設置不同的 Content-Type 請求頭：
data 請求頭：‘application/x-www-form-urlencoded‘
json 請求頭：‘application/json‘
而後端收到請求後，也就可以先查找請求頭裏的 Content-Type ，然後再解析請求體裏的數據。
為什麽要用兩種格式？
Form表單提交的是data數據，並且Form只能提交字符串或列表，是沒有字典的。也就是data這個字典裏的value的值只能是字符串或列表，不能是字典。（data字典裏不能套字典）
如果就是需要向後端提交一個字典的話，那麽只能使用josn了。

請求頭

  • Referer ： 上一次請求的url
  • User-Agent ： 客戶端使用的瀏覽器

發送文件
這是最基本的用法，字典的key f1，就是Form表單的name。這裏實例用了request方法來提交請求，之後的例子只有file_dict不同：

file_dict = {
    ‘f1‘: open(‘test1.txt‘, rb)
}
requests.request(
    method=‘POST‘,
    url=‘http://127.0.0.1:8000/test/‘,
    files=file_dict
)

定制文件名：

file_dict = {
    ‘f2‘: (‘mytest.txt‘, open(‘test2.txt‘, rb))
}

定制文件內容（沒有文件對象了，文件名當然也得自己定了）：

file_dict = {
    ‘f3‘: (‘test3.txt‘, "自己寫內容，或者從文件裏讀取到的內容")
}

HTTP Auth
HTTP Auth是一種基本連接認證。比如家裏用的路由器、ap，用web登錄時會彈框（基本登錄框，這個不是模態對話框），就是這種認證方式。它會把用戶名和密碼通過base64加密後放在請求頭的 Authorization 裏發送出去。
使用的示例代碼：

import requests

def param_auth():
    from requests.auth import HTTPBasicAuth

    ret = requests.get(‘https://api.github.com/user‘, auth=HTTPBasicAuth(‘wupeiqi‘, ‘sdfasdfasdf‘))
    print(ret.text)

在 requests.auth 裏看到了幾個類，應該是不同的加密或者認證方式，但是本質都是把認證信息加密後放在請求頭裏發送。這裏就用 HTTPBasicAuth 舉例了。下面是 HTTPBasicAuth 的源碼：

class HTTPBasicAuth(AuthBase):
    """Attaches HTTP Basic Authentication to the given Request object."""

    def __init__(self, username, password):
        self.username = username
        self.password = password

    def __eq__(self, other):
        return all([
            self.username == getattr(other, ‘username‘, None),
            self.password == getattr(other, ‘password‘, None)
        ])

    def __ne__(self, other):
        return not self == other

    def __call__(self, r):
        r.headers[‘Authorization‘] = _basic_auth_str(self.username, self.password)
        return r

上面的過程很簡單，把用戶名和密碼通過 _basic_auth_str 方法加密後，加到請求頭的 ‘Authorization‘ 裏。
這種認證方式比較簡單，發布到公網上的網站不會用這種認證方式。

stream 下載
發送完請求，不立即下載全部內容（一次把完整的內容全部下載到內存）。而是通過叠代的方式，一點一點進行下載：

import requests

def param_stream():
    from contextlib import closing
    with closing(requests.get(‘http://httpbin.org/get‘, stream=True)) as r:
        # 在此處理響應。
        for i in r.iter_content():
            print(i)  # 這裏用二進制打開個文件寫，應該就好了

Session

多次請求的時候，使用 requests.Session() 會自動幫我們管理好Cookie，另外還會設置好一些默認信息，比如請求頭等等。
用法如下：

import requests

session = requests.Session()  # 生成一個session實例
# 之後的requests請求，使用session替代requests，比如get請求如下
r1 = session.get(‘https://dig.chouti.com‘)

不如看下源碼：

class Session(SessionRedirectMixin):
    """A Requests session.

    Provides cookie persistence, connection-pooling, and configuration.

    Basic Usage::

      >>> import requests
      >>> s = requests.Session()
      >>> s.get(‘http://httpbin.org/get‘)
      <Response [200]>

    Or as a context manager::

      >>> with requests.Session() as s:
      >>>     s.get(‘http://httpbin.org/get‘)
      <Response [200]>
    """

    __attrs__ = [
        ‘headers‘, ‘cookies‘, ‘auth‘, ‘proxies‘, ‘hooks‘, ‘params‘, ‘verify‘,
        ‘cert‘, ‘prefetch‘, ‘adapters‘, ‘stream‘, ‘trust_env‘,
        ‘max_redirects‘,
    ]

除了實例化後使用，還可以像文件操作一樣用with的方法使用。
attrs 列表裏的值，就是session會自動幫我們設置的所有的屬性。
比如headers，它會默認在每次發送的時候添加如下的請求頭：

def default_headers():
    """
    :rtype: requests.structures.CaseInsensitiveDict
    """
    return CaseInsensitiveDict({
        ‘User-Agent‘: default_user_agent(),
        ‘Accept-Encoding‘: ‘, ‘.join((‘gzip‘, ‘deflate‘)),
        ‘Accept‘: ‘*/*‘,
        ‘Connection‘: ‘keep-alive‘,
    })

# User-Agent 的值是這樣的，"python-requests/2.19.1" 後面是requests模塊的軟件版本，會變。
# 可以方便的改掉
s = requests.Session()
s.headers[‘User-Agent‘] = ""

學到這裏，之後再發送請求，尤其是要和網站進行多次交互的。就新把Session設置好，然後用Session來請求。所有的設置都會保存在Session的實例裏，重復使用，自動管理。

優化登錄點贊

之前自動登錄點贊的例子，如果使用session改一下就簡單多了，完全不用管cookie：

import requests
from bs4 import BeautifulSoup

session = requests.Session()

# 默認的 User-Agent 的值是 "python-requests/2.19.1" 會被反爬，需要改一下
session.headers[‘User-Agent‘] = ""
session.get(‘https://dig.chouti.com‘)

# 不能把密碼上傳啊
with open(‘password/s2.txt‘) as f:
    auth = f.read()
    auth = auth.split(‘\n‘)

post_dict = {
    ‘phone‘: ‘86%s‘ % auth[0],  # 從請求正文裏發現，會在手機號前加上86
    ‘password‘: auth[1],
}
session.post(‘https://dig.chouti.com/login‘, data=post_dict)

# 獲取咨詢，然後點贊
r3 = session.get(‘https://dig.chouti.com‘)
r3.encoding = r3.apparent_encoding
soup = BeautifulSoup(r3.text, features=‘html.parser‘)
target = soup.find(id=‘content-list‘)
item = target.find(‘div‘, {‘class‘: ‘item‘})
news = item.find(‘a‘, {‘class‘: ‘show-content‘}).text
linksId = item.find(‘div‘, {‘class‘: ‘part2‘}).attrs[‘share-linkid‘]
print(‘news:‘, news.strip())

# 點贊
r = session.post(‘https://dig.chouti.com/link/vote?linksId=%s‘ % linksId)
print(r.text)

Python自動化開發學習-爬蟲1

相關推薦

Python自動化開發學習-爬蟲1

不同的 bar 實戰 har clas 圖片 print 有一種 python對象 講師的博客：https://www.cnblogs.com/wupeiqi/articles/6283017.html 建立本地緩存 用下面的命令，就可以把一個頁面爬取下來。不過再繼續其他操

Python自動化開發學習-爬蟲2

data unicode dump 自動 erro clas ldr check request Web服務的本質2 之前講過這個，在這裏：http://blog.51cto.com/steed/2071271不過當時沒講透，這次再展開一點點。Web服務的通信本質上就是通過

Python自動化開發學習1

python一、開篇的大段毒雞湯真是夠補。正好在外面旅遊，一路上帶著耳機就全部聽完了。二、進入正題，結果還是介紹。說下版本問題，盡量還是用Python3。三、Hello World。就是個儀式感，別的沒啥print("你好")四、變量。雖然駝峰規則也行，但是python推薦用_下劃線，那就用下劃線把。變量名全

Python自動化開發學習2

python模塊Python有他有非常豐富的標準庫和第三方庫。使用前要先用import命令導入，然後才能在之後的代碼中調用。sys 模塊import sys print(sys.path) # 打印環境變量結果輸出的是一串目錄列表，是python運行的環境變量。Python導入的時候會依次在這些目錄中查找。

Python自動化開發學習2-2

python集合創建集合可以用set()，或者直接用{}set_a = set([1,2,3,4,5]) set_b = {1,3,5,7,9} print(set_a) print(set_b) print(type(set_a),type(set_b))集合同樣也有各種操作，就記幾個符號的。別的到用的時候

Python自動化開發學習3

python函數通過函數，可以定義一段代碼塊，之後通過函數名可以反復調用定義一個函數：def alert(): "打印Hello World" print("Hello World")使用def來定義函數，第二行建議使用使用文檔字符串進行函數說明。之後使用函數名就能夠反復調用函數。alert(

Python自動化開發學習4-裝飾器

python裝飾器通過裝飾器可以為函數添加附加功能。通過修改函數本身也可以實現增加功能，但是通過裝飾器還有下面2個好處。裝飾器的2個原則：不改變被裝飾函數的源代碼不改變被裝飾函數的調用方式遵循了上面2個原則，我們可以在為函數添加附加功能的時候，不必去破壞已有的穩定的代碼和代碼調用方式。並且易於回退。先定義一個

Python自動化開發學習4-2

python列表生成式先看2段代碼a = [ i*2 for i in range(10) ]print(a)#b = []for i in range(10): b.append(i*2)print(b)a和b的效果一樣，但是a使用的代碼更加簡潔列表生成式也可以使用函數，生成更加復雜的列表a = [

Python自動化開發學習3-2-匿名函數、內置函數

python匿名函數如果函數值使用一次，並且結構結單（需要一行表達式），就可以使用匿名函數。匿名函數的好處：程序一次行使用，所以不需要定義函數名，節省內存中變量定義空間讓程序更加簡潔普通函數：def test(x,y): return x+y print(test(1,2))匿名函數：test = l

Python自動化開發學習5

python模塊在模塊中，我們可以定義變量、函數，還有類（這個還沒學到）。總之應該就是所有的代碼。先建一個文件，取名為module,py，內容如下：# 一下是module.py的內容 string = "This is module,py" def say_hi(): print("Hi") def

Python自動化開發學習12-MariaDB

運行 fault 學員 2個 echo 一致性 並且 class類 相同 關系型數據庫 主流的關系型數據庫大概有下面這些： Oracle ： 甲骨文公司的企業級的數據庫 SQL Server ： 微軟的 MySQL ： 免費的數據庫，現在也屬於Oracle的旗下產品 Ma

Python自動化開發學習12-聯合唯一

必須 index ext 建表 uniq mar auto int 修改表結構 聯合唯一 聯合唯一，就是一個表中的多個字段的組合需要唯一。 使用mysql語句創建 比如創建一張hosts表，記錄登錄的ip地址或者hostname（表中對應字段host）和 端口號（表中對應字

Python自動化開發學習12-堡壘機開發

color images 很多 配置環境 主機 ive 數據 是我 source 堡壘機介紹 很多人覺得，堡壘機就是跳板機，這是不全面的。跳板功能只是堡壘機所具備的功能的其中一項。堡壘機還有以下兩個至關重要的功能： 權限管理 ： 用戶使用堡壘機賬號登錄堡壘機系統。不需要知

Python自動化開發學習14

空白 什麽 可選 還原 級別 自動跳轉 基礎上 分隔 stat Web的三個層次 網頁設計思路是把網頁分成三個層次，即：結構層(HTML)、表示層(CSS)、行為層(Javascript)。形象的比喻，先是HTML捏了一個人，然後CSS則是給人穿上衣服，最後通過JS讓人動起

Python自動化開發學習15-css補充內容

屏蔽 absolute 應該 順序 什麽 font 舉例 fix idt 上節回顧 上一節學習的內容，有一下幾點，可以註意一下。或者說推薦這麽做。 class可以設置多個值-css樣式重用 可以給一個標簽設置多個class值，這樣我們可以為每個class應用一種樣式。標簽有

Python自動化開發學習15-JavaScript和DOM

eal get 標題 加載 ima radio tolower 雙擊 for循環 初識JavaScript JavaScript（後面都簡寫為js）是一門獨立的語言。瀏覽器本身就具有js解釋器。 js的存在形式 和css類似，js代碼要放在<script>標簽中

Python自動化開發學習16-前端內容綜合進階

python javascript css DOM css補充 這裏再補充幾個css的知識點，下面會用到 最小寬度-min-width 設置元素的最小寬度。舉例說明，比如設置一個百分比的寬度，那麽元素的寬度的像素值是會隨著頁面大小而變化的。如果設置一個最小的像素寬度，那麽當變化到最小值之後，不

Python自動化開發學習17

python jQuery jQuery學習之前 jQuery 是 JavaScript 的一個類庫，類似 python 中的模塊。jQuery在線手冊：http://jquery.cuishifeng.cn/官網：http://jquery.com/ 版本選擇 目前jQuery有三個大版本：1.x、

Python自動化開發學習18-Web前端補充內容

javascript jQuery JavaScript-補充 js正則表達式 在使用之前，首先要創建正則表達式對象，創建對象有兩種方式：/pattern/attributes ：這個簡單，推薦用這個。而且不用寫引號new RegExp(pattern, attributes); ：和上面的效果一樣，

Python自動化開發學習18-Django基礎篇

python django 自定義Web框架 跟著老師一點一點完善代碼和文檔結構，最終一個Web框架的雛形會顯現出來，然後引出之後要學習完善的的Web框架。 Web框架的本質 Web服務端的本質就是一個socket服務端，而我們的瀏覽器就是socket客戶端。瀏覽器發送的請求就是一次socket請求。