初觸Python,關於pyquery解析html（百度貼吧）
一直聽同事說Python是個神奇的語言，上週在逛知乎的時候深受這個話題的啟發。
先是說到IDE的選擇,作為python新人,雖然知道mac終端自帶Python,但在一番谷歌百度之後,還是選擇了PyCharm 。理由大概是 PyCharm比較像xcode吧。看上去有種親切感。
Python的第三方庫和iOS開發的第三方庫大體相像。但是在引入第三方庫的時候，PyCharm似乎是更加的簡單。注意選擇對應的版本然後下載第三方庫，稍等片刻就成功了。
Python的第三方庫和iOS開發的第三方庫大體相像。但是在引入第三方庫的時候，PyCharm似乎是更加的簡單。注意選擇對應的版本然後下載第三方庫，稍等片刻就成功了。
第一次爬資料，選擇了百度貼吧作為聯絡的目標，爬之前並沒有查到關於爬貼吧帖子列表的一個教程，自己動手豐衣足食。
首先引入需要使用的第三方庫PyQuery
#coding=utf-8 from pyquery import PyQuery as pq from lxml import etree v_source=pq(url='http://tieba.baidu.com/f?kw=%BD%A3%CD%F83&fr=ala0&tpl=5') v_source2=(v_source('div').children('.wrap2')).children('.content') v_source3=((v_source2.children()).children('.main')).children() v_source4=(((((v_source3.children()).children()).children()).children('.col2_right')).children('.threadlist_lz')).children('.threadlist_title') print(v_source4) fordatainv_source4: Atitle=pq(data).text() Aurl= pq(data)('a[class= "j_th_tit " ]').attr('href') if(AurlandAtitle): print(Atitle,"http://tieba.baidu.com"+Aurl)
最後得到的結果是 帖子的標題以及url：
【破事水】情緣了兩個月 昨天死了 http://tieba.baidu.com/p/3978787393
隔壁貼在問專業，我好想知道渣基三的都是做什麼工作的！ http://tieba.baidu.com/p/3977454500
【樹洞】今天我截了個5000分藏劍的鏢… http://tieba.baidu.com/p/3977501311
當劍三這兩種體型同時出現在你身邊，你選哪一個做你男/女朋友 http://tieba.baidu.com/p/3976484359
怒撕大戰啥都不會就有臉進組的小白 http://tieba.baidu.com/p/3977928309
新手看到10多個門派好方啊，選哪個好玩啊 http://tieba.baidu.com/p/3978693801
【女神養成】且看小白如何逆襲成女神 http://tieba.baidu.com/p/3108513494
【這是一個日了狗的樹洞】情緣七夕竟然不要我和她做任務 http://tieba.baidu.com/p/3978824104
【假裝是對稱貼】那個睜眼說瞎話的咩太你進來我有事和你說說 http://tieba.baidu.com/p/3977303586
求賜一個清新脫俗美麗動聽的秀蘿名字 http://tieba.baidu.com/p/3977303814
七夕GM瘋辣 http://tieba.baidu.com/p/3978419861
【跟風】是不是隻有我一個覺得花哥最醜 http://tieba.baidu.com/p/3978734881
一個基三渣男的自我救贖之路。(就作為離別的感言吧) http://tieba.baidu.com/p/3978565064
曝光一個騙子_(:з」∠)_！！ http://tieba.baidu.com/p/3976992408
【捏臉向】莫提來路 莫問歸處（郵箱+網盤） http://tieba.baidu.com/p/3978273550
【我的江湖不留遺憾】A之前要做的100件事 http://tieba.baidu.com/p/3963973171
【破事水】就因為奶花不易上手，奶不上hps不怪你咯 http://tieba.baidu.com/p/3977435265
【樹洞】我是那個代練…那個高三老闆的代練 http://tieba.baidu.com/p/3972726245
艾特自己的遊戲ID，亮了的揍死他！ http://tieba.baidu.com/p/2738498207
【關於騰訊】之前一直罵騰訊搶頭條然而…… http://tieba.baidu.com/p/3978690160
只有我覺得囤貨商人現在都是老爺麼 http://tieba.baidu.com/p/3977553269
【樹洞】那個以為我每次打本工資都有26W的徒弟，我不欠你什麼。 http://tieba.baidu.com/p/3977360158
關於刷羽毛點 http://tieba.baidu.com/p/3978301556
【只是樹洞】同心鎖，真能鎖得住什麼 http://tieba.baidu.com/p/3978821975
劍三碧池新標準大科普！ http://tieba.baidu.com/p/3770167700
為什麼我的代練永遠畫風不太對！！ http://tieba.baidu.com/p/3894758678
十七萬血萬分蒼雲被9600冰心滿血秒掉 驚呆了 http://tieba.baidu.com/p/3978488404
為什麼打怪不掉鳥毛 http://tieba.baidu.com/p/3978816908
【捏臉帖】雨浥紅妝嬌娜娜（郵箱+網盤） http://tieba.baidu.com/p/3977768289
抄書，十三棍僧，，，我去npc買了好多這書，不知道怎麼用啊 http://tieba.baidu.com/p/3978675722
【歌帖】且伴這歲月長長，君餘音仍繞樑漫漫 http://tieba.baidu.com/p/3976837006
【818？】那個假裝備胎還腳踏幾條船的甩鍋王麻煩你不要再內she了 http://tieba.baidu.com/p/3898377744
【樹洞】自從我拜了個說話不超過五個字的師父，我的人生軌跡改變了 http://tieba.baidu.com/p/3940312698
【姨媽服】你們不知道的賴子 http://tieba.baidu.com/p/3938340367
【調查】你玩劍三多久了花了多少軟妹幣 http://tieba.baidu.com/p/3978388753
我比金山聰明系列之各職業能力分佈圖 http://tieba.baidu.com/p/3978388473
818，念破處女座團長 http://tieba.baidu.com/p/3978805760
[616]論排隊撿物資有沒有必要 http://tieba.baidu.com/p/3978673469
【樹洞】那個少女心的小公舉師傅和他的菜地幫 http://tieba.baidu.com/p/3978791802
有個奶說被鬆獅丐餵了糖葫蘆感覺很噁心 http://tieba.baidu.com/p/3978722892
【外觀水貼】無聊時發一下罷了（從南皇到朔雪） http://tieba.baidu.com/p/3765402065
我就想問問刷999個羽毛要多久 http://tieba.baidu.com/p/3978748424
又看見逗比言論，長點見識再來bb行嗎 http://tieba.baidu.com/p/3978376261
【求助】七夕鳥毛去哪裡刷最快？ http://tieba.baidu.com/p/3978781271
【樹洞】我陸日天一生渣妹無數，但我願意為這個胎收手。 http://tieba.baidu.com/p/3970223700
【樹洞】直到今天母上推開了我屋的門ojz http://tieba.baidu.com/p/3978813461
稍微提一下在學習的時候碰到的問題：
#include "libxml/xmlversion.h" 報錯。not found 或者error:command'cc'failedwithexit status1。
這個問題國內論壇基本上沒答案，並且都是一個版本.還是萬能的stackoverflow解救了我。
Cannot install Lxml on Mac os x 10.9
附上 pyquery的api文件
pyquery – PyQuery complete API