網頁資料採集系統(58同城、美團)
QQ/微信 112908676
下載過程中彈出輸入密碼框,請選擇取消,不影響使用
支援Windows XP/Vista/7/8/10
需求
- 美團獲取外賣和團購商戶的基本資訊,比如商戶名稱、地址以及聯絡電話
- 將搜尋的結果匯出至Excel表中,無需使用者手動翻頁,軟體自動將所有搜尋結果匯出
- 匯出成功後,彈窗並播放提示音
- 試用版跟正式版的唯一區別:匯出結果的電話號碼以*替換部分數字
- 可以定製寫入資料庫
更新
2018.11.04
修改了美團選擇按區顯示結果時軟體自動執行的問題
2018.09.28
修改了美團無法開始採集的問題
2018.08.15
修改了美團採集的電話分隔符和使用說明
2018.08.01
美團可以自定義採集資料項,比如經緯度
所有已列出資料均可採集,解決舊版無法100%採集的問題
2018.05.15
修改了淘寶買家訂單採集時,可能出現部分資料採集不到的問題
2018.05.13
修改了淘寶買入採集時,可能出現的程式崩潰問題
2018.05.06
修改了高德地圖搜尋的精準度問題
增加了美團外賣的採集功能
美團和淘寶採集過程中可以停止採集
2018.04.28 淘寶訂單
修改了訂單採集有時候造成程式崩潰的問題
增加了採集的靈活配置,買家訂單或賣家訂單,資料項
增加了MySQL/PostgreSQL同步功能
2018.03.22 淘寶訂單
修改了訂單採集有時候造成程式崩潰的問題
2018.03.08 淘寶訂單
修改了有些情況採集造成程式崩潰的問題
支援買家訂單賣家訂單
如果當前不在訂單頁面,提示選擇
2018.02.17
修改了美團採集過程中可能出現的軟體崩潰
2018.02.03
修改了美團不能採集美食類資訊的問題
2017.12.22
修改了美團採集部分資料就停止的問題
2017.11.11
根據新版美團頁面,從團購結果中提取商家資訊,簡化了使用者操作
新版只需兩步:1. 輸入關鍵詞搜尋; 2. 點選儲存搜尋結果
新版增加使用者提示音,由於儲存數量多,儲存時間長,儲存結束後會彈窗並播放提示音
如何使用
從上述連結處下載完整壓縮包後,完全解壓到webcrawl資料夾
雙擊webcrawl.exe即可,如有360防毒提示有毒,屬於誤報,請放心使用
美團使用過程示例
開啟美團,輸入關鍵詞後點擊搜尋放大鏡
搜尋到結果後,點選儲存搜尋結果至Excel
選擇要採集的資料項後點擊開始
輸入好檔名
儲存進行中
如果搜尋結果較多儲存時間會相應加長,比如有多頁,正式版會自動儲存多頁的結果,使用者無需手動翻頁
選擇開啟已儲存完畢的Excel檔案
檢視Execl檔案
獲取評論資訊
示例
http://sh.meituan.com/ptapi/poi/getcomment?id=88586670&offset=0&pageSize=10&mode=0&sortType=1
API
/ptapi/poi/getcomment
引數
id=88586670
offset=0
pageSize=10
mode=0
sortType=1
美團外賣的滾動載入
其中uuid取自cookie中的w_uuid
var r = ["cate_all"],
p = {
classify_type: "",
sort_type: 0,
price_type: 0,
support_online_pay: 0,
support_invoice: 0,
support_logistic: 0,
page_offset: 21,
page_size: 20
},
a, o = window.location.href,
s = o.split("-");
a = 1 === s.length ? "cate_all" : s[1], r.length = 0, r.push(a), m.request(!1)
request: function(t) {
p.classify_type = r.join("|"), p.uuid = o.get("w_uuid"), p.platform = 1, p.partner = 4, p.originUrl = encodeURIComponent(window.location.href);
var e = "",
a = 0;
for (var n in p) e += (0 == a ? "" : "&") + n + "=" + p[n], a++;
var u = Rohr_Opt.reload("http://waimai.meituan.com/ajax/poilist?" + e);
i.ajax({
url: "/ajax/poilist?_token=" + u,
type: "POST",
dataType: "json",
data: p
}).done(function(e) {
如果是分類獲取
url:http://waimai.meituan.com/home/wx4g14vq1wtc-910
_token=eJyV0luPmkAUB/DvMq9SYYbb4BtWVxFkvbKrzT4oIsNV5OrS9Lt3wFaajS8lJPw48x/O5ISfINVOYAA5eskMKJ0UDADsc30RMCDP6IqIeCTxPKdIssAA+9+azEkKZsAxtUZg8AMizDE8FD+ayooW7hUZcR/MnRKmRAK9m4xGI4DkeTJg2ergRQevHzleXhzivn2JWHKJHLa6CS4UyiuscvubAjl6qP/YAWibaNO0kUTEQBlKdP8fyi35pxQ6ik8pdZSfUnlQ4jrCjvwX4pZCR/ELlZZSR/kpMSXiWioPylxH+JTNGRBsKXZsv4AaYngnHWjQDJQ+D4/BIl5mRprV5Djan8ftG43kf6Nz+lPR5cxzYypndjN9GxZurS6JicMhEsxopmtWqRMvHErrsZBs88ywCe+nc5VNTYeIr4HhhZvQLBemP9mFzm38PX8xRwE8Y/L2NlsqQ/fQq0Vie2xSBJdKJbtJtd0SCxp7RTfmn5fTuSpNryjVVTJbfCqaka7S9zwYr2olPg1TN4k9vA/Cd83DG94Nr1OSYXOox0UNg/XU1Fk/F8qXorbq/XbK+ZnpbtWeNjnJmZ7edklC/Oko4m+xS0Lr2NNdGJr+9hzXx9DxFiJLNvFeLGPpmPm5hWz19WoneErGXmykBj4fewaRlEJZntQRWm/Ar9/7p/RH
classify_type=910&sort_type=0&price_type=0&support_online_pay=0&support_invoice=0&support_logistic=0&page_offset=21&page_size=20&uuid=Z0ir51E6iTUgi8r_UpwAC8rpMdubES3zXm8kME6qoqre8G2sriutSku12HGCuLYk&platform=1&partner=4&originUrl=http%253A%252F%252Fwaimai.meituan.com%252Fhome%252Fwx4g14vq1wtc-910
time lapse photo deflickering