2. 程式人生 > >地圖瓦片始取程式

地圖瓦片始取程式

阿新 • • 發佈：2018-12-29 
from urllib import request
import re
import urllib.request
import os
import random
import math
import time
import threading
agents = [
     'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36',
    'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/532.5 (KHTML, like Gecko) Chrome/4.0.249.0 Safari/532.5'
 
,
    'Mozilla/5.0 (Windows; U; Windows NT 5.2; en-US) AppleWebKit/532.9 (KHTML, like Gecko) Chrome/5.0.310.0 Safari/532.9',
    'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/534.7 (KHTML, like Gecko) Chrome/7.0.514.0 Safari/534.7',
    'Mozilla/5.0 (Windows; U; Windows NT 6.0; en-US) AppleWebKit/534.14 (KHTML, like Gecko) Chrome/9.0.601.0 Safari/534.14'
 
,
    'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.14 (KHTML, like Gecko) Chrome/10.0.601.0 Safari/534.14',
    'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.20 (KHTML, like Gecko) Chrome/11.0.672.2 Safari/534.20", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.27 (KHTML, like Gecko) Chrome/12.0.712.0 Safari/534.27'
 
,     'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/13.0.782.24 Safari/535.1']


# 經緯度反算切片行列號 3857座標系
def deg2num(lat_deg, lon_deg, zoom):
    #lat_deg,緯度
    #lon_deg,經度
    lat_rad = math.radians(lat_deg)#將角度轉化為弧度
    n = 2.0 ** zoom#2的zoom次方,瓦片個數
    xtile = int((lon_deg + 180.0) / 360.0 * n)
    ytile = int((1.0 - math.log(math.tan(lat_rad) + (1 / math.cos(lat_rad))) / math.pi) / 2.0 * n)
    return (xtile, ytile)

# 經緯度反算切片行列號
def deg2num2(la,lo,zoom):
    if la>90:
        la=89
    if lo>180:
        lo=179
    y = math.ceil((90-la)/(180/(2**zoom)))-1
    x = math.ceil((lo+180)/(360/(2**zoom)))-1
    return x,y


# 下載圖片
def getimg(Tpath, Spath, x, y):
    print(Spath)
    Spath_dir = "/mnt/m3/tilemap/17/"+str(x)
    if not os.path.exists(Spath_dir):
        os.mkdir(Spath_dir)
    try:
        f = open(Spath, 'wb')
        req = urllib.request.Request(Tpath)
        req.add_header('User-Agent', random.choice(agents))  # 換用隨機的請求頭
        pic = urllib.request.urlopen(req, timeout=60)

        f.write(pic.read())
        f.close()
        print(str(x) + '_' + str(y) + '下載成功')
    except Exception:
        with open("/usr/local/program/project/map_pachong/failed","a") as f:
            f.writelines(str(x)+'_'+str(y)+'下載失敗')
        print(str(x) + '_' + str(y) + '下載失敗,重試')
        getimg(Tpath, Spath, x, y)



def main_main(lefttop,rightbottom):
    start_time = time.time()
    num = 0
    for x in range(lefttop[0], rightbottom[0]):
        for y in range(lefttop[1], rightbottom[1]):
            # tilepath = "http://t3.tianditu.gov.cn/DataServer?T=cva_w&x=" + str(x) + "&y=" + str(y) + "&l=" + str(zoom)
            tilepath = "http://mt3.google.cn/vt/lyrs=r&scale=2&hl=zh-CN&gl=cn&x="+str(x)+"&y="+str(y)+"&z="+str(zoom)+"&s=Galil"
            print(tilepath)
            # 天地圖的url 可以換成谷歌地圖的
            getimg(tilepath, os.path.join("/mnt/m3/tilemap/17/",str(x)+"/"+str(y)+".png"), x, y)
    #        num+=1
    #       if num>100:
    #            break
    #   if num>100:
    #       break
    end_time = time.time()

    print('完成',end_time-start_time)


if __name__=="__main__":
    path = r"/mnt/m3/tilemap/17"
    if not os.path.exists(path):
        os.mkdir(path)

    # # zoom = 15  # 下載切片的zoom

    # lefttop = deg2num(38.507126, 113.605620, zoom)  # 下載切片的左上角角點
    # rightbottom = deg2num(34.011111, 122.989999, zoom)
    #
    # print(str(lefttop[0]))
    # print(str(rightbottom[0]))
    # print(str(lefttop[1]))
    # print(str(rightbottom[1]))
    # print("共" + str(lefttop[0] - rightbottom[0]))
    # print("共" + str(lefttop[1] - rightbottom[1]))

    # duan_num=2
    # duan_0 = int((rightbottom[0]-lefttop[0] )/duan_num)
    # duan_1 = int((rightbottom[1]-lefttop[1] ) / duan_num)
    # t1 = threading.Thread(target=main_main,args=(lefttop,(lefttop[0]+duan_0,lefttop[1]+duan_1)))
    # t2 = threading.Thread(target=main_main,args=((lefttop[0]+duan_0,lefttop[1]+duan_1),rightbottom))
    zoom = 17
    start=(106898,50323)
    end = (110315,52354)
    # start=(1000,3000)
    # end = (2500,9999)
    xiancheng_num=2
    start=(106898,50323)
    end = (110315,52354)
    duan = int((end[1]-start[1])/xiancheng_num)
    
    #建立執行緒
    ll=[]
    for i in range(xiancheng_num-1):
        para = ((start[0],start[1]+i*duan),(end[0],start[1]+(i+1)*duan-1))
        print(para)
        t = threading.Thread(target=main_main,args=para)
        ll.append(t)
    para = ((start[0], start[1] + (i+1) * duan), end)
    t = threading.Thread(target=main_main, args=para)
    ll.append(t)
    print(para)


    for i in ll:
        i.start()
    for i in ll:
        i.join()
    print("finish")


    # x,y = deg2num(38.507126, 113.605620,zoom)
    # tilepath = "http://mt3.google.cn/vt/lyrs=r&scale=2&hl=zh-CN&gl=cn&x="+str(x)+"&y="+str(y)+"&z="+str(zoom)+"&s=Galil"
    # getimg(tilepath, os.path.join(path, str(x) + "_" + str(y) + ".png"), x, y)

本想通過多執行緒分塊始取，但不知哪裡出了問題，以上部分程式始取存在問題，只始取了一半瓦片。沒辦法，只好進行手動始取操作。

from urllib import request
import re
import urllib.request
import os
import random
import math
import time
import threading
agents = [
     'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36',
    'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/532.5 (KHTML, like Gecko) Chrome/4.0.249.0 Safari/532.5',
    'Mozilla/5.0 (Windows; U; Windows NT 5.2; en-US) AppleWebKit/532.9 (KHTML, like Gecko) Chrome/5.0.310.0 Safari/532.9',
    'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/534.7 (KHTML, like Gecko) Chrome/7.0.514.0 Safari/534.7',
    'Mozilla/5.0 (Windows; U; Windows NT 6.0; en-US) AppleWebKit/534.14 (KHTML, like Gecko) Chrome/9.0.601.0 Safari/534.14',
    'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.14 (KHTML, like Gecko) Chrome/10.0.601.0 Safari/534.14',
    'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.20 (KHTML, like Gecko) Chrome/11.0.672.2 Safari/534.20", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.27 (KHTML, like Gecko) Chrome/12.0.712.0 Safari/534.27',     'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/13.0.782.24 Safari/535.1']

def getimg(Tpath, Spath, x, y):
    print(Spath)
    Spath_dir = "/mnt/m3/tilemap/17/"+str(x)
    if not os.path.exists(Spath_dir):
        os.mkdir(Spath_dir)
    try:
        f = open(Spath, 'wb')
        req = urllib.request.Request(Tpath)
        req.add_header('User-Agent', random.choice(agents))  # 換用隨機的請求頭
        pic = urllib.request.urlopen(req, timeout=60)

        f.write(pic.read())
        f.close()
        print(str(x) + '_' + str(y) + '下載成功')
    except Exception:
        with open("/usr/local/program/project/map_pachong/failed","a") as f:
            f.writelines(str(x)+'_'+str(y)+'下載失敗')
        print(str(x) + '_' + str(y) + '下載失敗,重試')
        getimg(Tpath, Spath, x, y)

def main_main(lefttop,rightbottom):
    start_time = time.time()
    num = 0
    for x in range(lefttop[0], rightbottom[0]):
        for y in range(lefttop[1], rightbottom[1]):
            # tilepath = "http://t3.tianditu.gov.cn/DataServer?T=cva_w&x=" + str(x) + "&y=" + str(y) + "&l=" + str(zoom)
            tilepath = "http://mt3.google.cn/vt/lyrs=r&scale=2&hl=zh-CN&gl=cn&x="+str(x)+"&y="+str(y)+"&z="+str(zoom)+"&s=Galil"
            print(tilepath)
            # 天地圖的url 可以換成谷歌地圖的
            getimg(tilepath, os.path.join("/mnt/m3/tilemap/17/",str(x)+"/"+str(y)+".png"), x, y)

if __name__=="__main__":
    path = r"/mnt/m3/tilemap/17"
    if not os.path.exists(path):
        os.mkdir(path)

    zoom = 17
    # start=(106898,51337)
    # end = (110315,52354)
    # start=(1000,3000)
    # end = (2500,9999)
    xiancheng_num=2
    start=(106898,51337)
    end = (110315,52354)
    main_main(start,end)
    # duan = int((end[1]-start[1])/xiancheng_num)
    # # 建立執行緒
    # ll = []
    # for i in range(xiancheng_num - 1):
    #     para = ((start[0], start[1] + i * duan), (end[0], start[1] + (i + 1) * duan - 1))
    #     print(para)
    #     t = threading.Thread(target=main_main, args=para)
    #     ll.append(t)
    # para = ((start[0], start[1] + (i + 1) * duan), end)
    # t = threading.Thread(target=main_main, args=para)
    # ll.append(t)
    # print(para)

    # for i in ll:
    #     i.start()
    # for i in ll:
    #     i.join()
    # print("finish")
    ```

相關推薦

地圖瓦片始取程式

from urllib import request import re import urllib.request import os import random import math import time import threading agents = [ 'Mozil

百度地圖瓦片層級範圍對照表

timeout 離線地圖 details style 失敗 java 覆蓋 while 博客 最近搞地圖搞的多，因為項目要求需要做個離線地圖來添加覆蓋物，網上有篇博客教我們怎麽下載瓦片的，對應的是java代碼，但是每次操作去看console裏的層級和範圍超級麻煩，而網上有提

Cesium三維球上邊疊加天地圖瓦片

< script >         var viewer = new Cesium.Viewer( 'cesiumContainer', { &nb

BI系統WebGis地圖的鑽取型別：渲染式、圖形式

本文講給大家介紹BI系統兩種有關WebGis地圖的鑽取型別：渲染式、圖形式。 WebGis渲染式 WebGis渲染式鑽取用於WebGis地圖根據不同的指標去動態渲染地圖，並達到預警的效果。 下面學習如何使用此鑽取方法： 點選渲染指標“公立”或者“民營”，地圖

使用高德地圖微信小程式SDK開發案例-輸入提示（附原始碼）

閒來無事寫一篇使用高德地圖的微信小程式SDK開發應用的例項。 接下來先看需求： 我們要做的是，根據使用者輸入的關鍵詞，給出相應的提示資訊，列表中顯示地方的名稱，地方的詳細地址以及對應的經緯度座標。 當然在UI上我們儘量做到理想的視覺與較好的使用者體驗。 最終的效果我們希望是像這樣的，

國內主要地圖瓦片座標系定義及計算原理

發現個好東西，原作者地址：http://cntchen.github.io/2016/05/09/%E5%9B%BD%E5%86%85%E4%B8%BB%E8%A6%81%E5%9C%B0%E5%9B%BE%E7%93%A6%E7%89%87%E5%9D%90%E6%A0%87%E7%B3%BB%E

百度與谷歌地圖瓦片組織方式對比

百度是從中心點經緯度(0,0)度開始計算瓦片，在第1級時百度將世界地圖分為4塊。 中心點右上部分(中國地區)佔1塊。 谷歌是從左上角經緯度(-180,90)度開始計算瓦片，在第1級時谷歌將世界地圖分為1塊。 在第2級時，百度地圖(中心點右上部分)分為

基於Nginx進行地圖瓦片快取的方案描述

1. 背景        在產品的迭代中，我們完成了移動端瓦片快取方案和服務端瓦片快取方案。但是當我們遇到舊產品不易升級，或正式執行專案無法立刻進行產品更新時，我們可以採用基於Nginx的快取設定來實現第三方瓦片服務的瓦片快取。最近在某24小時執行專案中，團隊成員hwg針對性的做了Nginx配置的設定和實施

PHP抓取程式

程式正在開發中，仍存在問題 <?php function getUrlInfo($url,$suffix_name = 'html'){ $url_info = parse_url($url); //設定預設埠 empty($url_info['port']

基於Leaflet 的Web地圖客戶端應用程式開發框架

MarsGIS for Leaflet地圖框架 是火星科技研發的一個Web地圖開發平臺系統，是火星科技團隊成員多年GIS開發和Leaflet使用的技術沉澱。基於Leaflet和現代Web技術棧全新構建， 集成了領先的開源地相簿、視覺化庫，提供了全新的大資料視覺化、實時流資料視

利用Python呼叫百度地圖介面爬取小區資訊

前幾天有一個需求，就是想要查到每個一二線城市裡所有小區的經緯度，因此爬取程式和啟動程式如下 community_info_do.py 的程式碼如下 # -*- coding: utf-8 -*- """ 功能：呼叫百度地圖介面爬取各城市小區基本資訊 呼叫介面

使用WinDbg抓取程式報錯的Dump檔案，例如抓取IE崩潰的Dump

 前幾天分享了一個關於如何抓藍屏Dump的帖子，今天再和大家分享一個使用WinDbg來抓取程式崩潰的Dump。有了Dump後，我們可以很迅速的解決問題，比如說IE崩潰，QQ崩潰，很多時候我們是一點頭緒都沒有的，但是有了WinDbg後，這一切將變的簡單！雖然WinDbg

ArcGIS Web API 接入天地圖瓦片

接入天地圖的瓦片完全類似google的瓦片服務，但是空間參考不一致，想疊加其他的資料的話需要注意空間參考的設定，以上三篇部落格的目的為簡單的技術研究，如果想將這些內容用於商業用途，大家還是要聯絡廠家啊！ publicclasstianditu :TiledMapServic

五分鐘學GIS | 快速生成地圖瓦片祕籍

什麼是地圖瓦片？        地圖瓦片是包含了一系列比例尺、一定地圖範圍內的地圖切片檔案。地圖瓦片按照金字塔結構組織，每張瓦片都可通過級別、行列號唯一標記。在平移、縮放地圖時，瀏覽器根據金字塔規則，計算出所需的瓦片，從瓦片伺服器獲取並拼接。地圖瓦片，是一種改

java爬蟲實現百度地圖資料爬取

本次專案主要實現百度地圖地點檢索功能的資料爬取，可以獲得檢索的相關資訊。主要是採用百度地圖API介面實現，採用的是servlet，資料庫採用的是mybatis。話不多說，上程式碼。1.DAO層資料package dao;import java.util.List;import

多執行緒正常百度地圖瓦片獲取、衛星圖瓦片、道路圖瓦片、衛星圖道路圖拼接。

import java.io.File; import java.io.*; import java.net.HttpURLConnection; import java.net.URL; import java.util.Properties; import java.ut

資料探勘：如何通過百度地圖API抓取物體周邊地理位置資訊

1.需求描述 對於資料探勘工程師來說，有時候需要抓取地理位置資訊，比如統計房子周邊基礎設施資訊，比如醫院、公交車站、寫字樓、地鐵站、商場等，一般的爬蟲可以採用python指令碼爬取,有很多成型的框架如scrapy，但是想要爬百度地圖就必須遵循它的JavaScr

利用 Global mapper製作地圖瓦片

簡單介紹一下利用Global mapper來製作地圖的瓦片資料，後期再介紹利用瓦片資料生成離線地圖 1.準備條件 shp格式的地圖資料，global mapper17 軟體 可以

多時相地圖瓦片簡單設想

瓦片地圖 ogl 有時 standard 利用 歷史影像 遊戲 下載 and 地圖及瓦片地圖相關文章 瓦片地圖的前世今生 國內主要地圖瓦片坐標系定義及計算原理 地圖瓦片與四叉樹（二） 地圖瓦片與四叉樹（二） 一個有意思的坐標系投影介紹網站 一個小遊戲讓你徹底弄懂墨卡托投影

百度地圖POI數據爬取，突破百度地圖API爬取數目“400條“的限制11。

XML response city 代碼實現 append api json highlight inf 1.POI爬取方法說明 1.1AK申請 　　登錄百度賬號，在百度地圖開發者平臺的API控制臺申請一個服務端的ak,主要用到的是Place API.檢校方式可設置成I