python爬蟲篩選工作例項講解
阿新 • • 發佈:2020-11-25
我們在選擇一件商品的時候,會先了解一些相關的商品資訊,根據自己的需求和情況再進行選擇。這種現象也同樣適用於找工作,篩選一個崗位的重要環節,就是看自身是否符合工作經驗的要求。不過因為資訊量比較大,有沒有什麼方法可以用python爬蟲中的知識點幫我們解決一下呢~具體內容往下看:
根據工作經驗年限,劃分招聘等級
# 校正拉勾網工作年限描述,以 Boss直聘描述為準 def update_lagou_workyear(): items = db.jobs_lagou_php.find({}) for item in items: if item['workYear'] == '應屆畢業生': item['workYear'] = '應屆生' elif item['workYear'] == '1年以下': item['workYear'] = '1年以內' elif item['workYear'] == '不限': item['workYear'] = '經驗不限' update_lagou(item) print('ok') # 設定招聘的水平,分兩次執行 def set_level(): items = db.jobs_zhipin_php.find({}) # items = db.jobs_lagou_php.find({}) if item['workYear'] == '應屆生': item['level'] = 1 elif item['workYear'] == '1年以內': item['level'] = 2 elif item['workYear'] == '1-3年': item['level'] = 3 elif item['workYear'] == '3-5年': item['level'] = 4 elif item['workYear'] == '5-10年': item['level'] = 5 elif item['workYear'] == '10年以上': item['level'] = 6 elif item['workYear'] == '經驗不限': item['level'] = 10 update(item) print('ok')
這裡有點坑的就是,一般要求經驗不限的崗位,需求基本都寫在任職要求裡了,所以為了統計的準確性,這個等級的資料,後面會被捨棄掉。
從後續的平均資料來看,這裡的經驗不限,一般要求的是1-3年左右,但是還是建議捨棄掉。
拉勾網的職位描述和 Boss直聘稍有不同,需要先校正,然後再設定等級
例項擴充套件:
python實現圖片篩選程式
#_*_coding:utf-8_*_ ''' Version V17.1.0 Date 2017-10-15 @Author Cheney ''' # 收集EL 圖片集中需要的圖片,在elpick目錄下進行 from PIL import Image import csv import os # 獲取需要圖片的檔名 def readImageName(): # 在elpick目錄下讀取sn.scv檔案,該檔案讀取出來後元素是list 需要轉換為str get_csv = csv.reader(open("elpick/sn.csv")) origSN = [] transSN = [] for sn in get_csv: origSN.append(sn) tempList = origSN # 讀取csv檔案獲時獲取到的列表,其元素也是列表,需要將其轉換為字串元素,使用下面for語句實現 for s in tempList: # 去掉列表元素中的[''] 這幾個字元 s = str(s).strip('[\'') s = str(s).strip('\']') transSN.append(s) ImageName = transSN return ImageName pickImageName = readImageName() # 遍歷所有圖片集的檔名 for image in os.listdir("elpick/original_el"): # 將讀取到的檔名進行處理,去副檔名,若是int檔名需要對檔名進行int 處理 imageName = image.strip(".jpg") # 比較判斷 若遍歷的檔名在需要收集的列表中,讀取之後並儲存到pick_el資料夾下 if imageName in pickImageName: pickImage = Image.open(('elpick/original_el/%s.jpg') % imageName) pickImage.save(("elpick/picked_el/%s.jpg") % imageName)
到此這篇關於python爬蟲篩選工作例項講解的文章就介紹到這了,更多相關python爬蟲篩選工作內容請搜尋我們以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援我們!