1. 程式人生 > >(仿)火車頭採集器 原始碼開源

(仿)火車頭採集器 原始碼開源

菜鳥作品,不喜勿噴

前兩年自己花了很久想仿製一款火車頭採集器

然後也付出了很多努力,最終未能修成正果

程式碼一直在電腦中吃灰,本著無私奉獻的精神

免費開源,給有需要的人蔘考和完善

軟體功能大部分都已實現

  • 任務新建和編輯
  • 網址採集
  • 標籤編輯
  • 資料採集
  • 資料釋出
  • 釋出配置的修改,編輯和測試
  • 釋出模組的修改和編輯

 

 

先上一些效果圖

執行效果

主視窗

 

 

任務視窗

 

 

 

採集內容

 

 

 

網址採集

 

 

 

釋出選擇

 

 

多級網址採集

 

瀏覽器獲取資訊

 

標籤編輯(這個部分耗時比較久)

 

 

 

接下來是釋出部分

 

釋出配置

 

 

 

釋出模組

 

釋出測試

 

 

 

開發日誌(當時手機記錄的,比較長,可跳過,下載地址在最後)

5.23 [視窗]主介面佈局 [視窗]資訊提示視窗     5.24 [視窗]任務分組列表 [新增]任務列表實現儲存和讀取 [優化]主介面視窗尺寸自適應完善     5.25 [新增]分組增加,刪除以及修改功能實現,已xml文字形式儲存檔案   5.26 [優化]分組增刪改重寫,改用sqlite3     5.27  [視窗]採集任務第一步佈局 [視窗]動態提醒幫助視窗 [控制元件]PicMenu——選單選擇改變文字框 [視窗]網址新增(半成品)   5.28  [控制元件]高亮顯示編輯框 [控制元件]lable——選項修改程式碼框 [視窗]新增採集地址新增窗口布局完成 [新增]網址新增部分各個規則生成預覽完成   5.29  [優化]重新優化程式碼高亮編輯框,更多屬性和配置,更多展現組合方式 [新增]任務編輯基本資訊讀取(標題,備註等) [視窗]多頁管理窗口布局完成 [新增]多頁管理網址替換和原始碼中提取   5.30 [新增]GAC瀏覽器支援Xpath,視覺化選取採集元素,支援多選和單選,網址自動糾正   5.31 [視窗]新增任務第一步全部佈局完成(尺寸自適應) [新增]通過xpath獲取網址 [優化]程式碼高亮,支援post隨機值和分頁 [程式碼]新增獲取規則網址列表(待測試)   6.1 [視窗]第一步讀取配置資訊完成 [新增]多級網址規則增刪改 [新增]POST引數增刪改 [新增]自動獲取網址連結 [新增]手動獲取網址連結 [新增]GET和POST方式獲取連結6.2[新增]多級網址支援標籤 [新增]支援附加引數 [新增]列表分頁獲取 [核心]獲取網址列表(一級網址)   6.3 [新增]獲取網址列表支援Xpath [新增]測試地址採集結果,實時狀態 [新增]測試結果的匯出,複製,瀏覽 [新增]獲取網址列表支援多級 [新增]檢測重複網址 [新增]多級網址只測試第一級 [新增]網址列表結果支援標籤 [優化]瀏覽器獲取cookies自動跳轉第一個網址   6.4-6.9暫停開發六天   6.10 [優化]網址採集支援多級標籤 [佈局]新建任務第三步佈局完成   6.12 -16[輔助]xml生成實體類工具開發   6.17 暫停一天   6.18 [視窗]多頁管理實現   6.19 [視窗]標籤編輯基本佈局   6.20 [新增]標籤處理列表讀取   6.21-6.22 [優化]部分標籤處理編輯   6.24 [優化]除ocr外所有標籤讀取編輯儲存 [優化]固定格式讀取,測試  後面懶得寫了