scrapy--解決css選擇器遇見含空格類提取問題response.css()
阿新 • • 發佈:2018-12-25
今天在寫爬蟲規則時 遇到一個含空格的類 剛開始使用css選擇器無法提取到任何內容,試了幾次都沒成功 之後換xpath選擇器成功提取出內容。個人找了多次未發現有處理類似問題的。下面是自己的解決辦法。
方法一》
我要用的含空格的類 position-label clearfix 完整提取規則:response.css(".position-label clearfix .labels::text").extract()
這樣提取失敗 因為在css選擇器中,空格表示取子代元素 所以選擇器錯誤地把position-label clearfix 當成兩個元素看待了,自然提取不到任何元素。
response.css(".position-label.clearfix .labels::text").extract() 即在position-label clearfix中的"空格"換成" . "
方法二》
類似方法一的解決思路 可以ctrl + F 在檢查頁面搜尋 position-label 即position-label clearfix空格之前的部分 看是否唯一 如果唯一, response.css(".position-label .labels::text").extract() 問題同樣也可得到解決。