1. 程式人生 > 其它 >18. 基於向量瓦片的遙感洪澇災害損失評估Web應用的Web Geospace Service效能改進

18. 基於向量瓦片的遙感洪澇災害損失評估Web應用的Web Geospace Service效能改進

Eugene.G. Yu 空間資訊科學與系統中心( Csiss )喬治·梅森大學

摘要

遙感洪災作物損失評估( RF- CLASS )是一個地理空間Web服務系統,在評估洪災作物損失時為決策者提供綜合服務。它服務於一系列基於向量的地理空間資料。傳統上,這些資料通過開放的Web地圖服務( WMS )在Web上視覺化,而地理空間資料要麼儲存在地理資料庫中,要麼儲存在向量特徵持久服務——Web特徵服務( WFS )中。在Web上進行渲染的向量特徵的柵格化往往是完全在飛。該方法由於沒有預先計算金字塔的延遲展開和每個向量特徵上的豐富度損失,導致大向量資料視覺化的使用者體驗顯著下降。為了提高效能,採用了向量拼接技術。優化向量拼接的幾個技術挑戰已經被識別和研究,分別是拼接圖式、瓦片邊界和歸屬。已經設計、實現和測試了全棧服務(伺服器和客戶端),在載入速度和歸屬性上達到最佳效能。

關鍵詞

地理空間Web服務、向量瓦片、向量瓦片服務、地理空間Web客戶端、損失、洪水、遙感

1. 引言

遙感洪澇作物損失評估( RFCLASS )是一個地理空間Web服務系統,服務於農作物風險管理和災害農業統計的社群。其中一個主要功能是使決策者能夠互動式地獲取與洪水、作物損失和相關靜態有關的不同資訊。重要的視覺是生成並交付給客戶端的地圖,以便即時瞭解洪水及其造成的損害的程度和程度。該系統服務於許多不同的資料集。主要洪水資料集和作物資料都是向量格式的。單個檔案大小可以超過幾個千兆位元組,給使用者實時接收渲染影象帶來嚴重的延遲。

傳統的方法主要依靠在一系列尺度上對柵格資料的金字塔進行刻槽,甚至對柵格資料進行瓦片。這在一定程度上有助於減少交付資料的時間:( 1 )將渲染影象的再生減少到最小,( 2 )對跨尺度的重取樣進行預快取,( 3 )瓦片影象可以顯著減少伺服器端的操作量( 例如 ,重置、縮放 )。

但是,一些嚴重的問題依然存在,同時也出現了一些新的挑戰:( 1 )載入瓦片影象仍然可以屬於對使用者體驗來說可能是嚴重的問題,特別是在頻寬是首要限制的情況下;( 2 )渲染樣式是有限的;( 3 )如果需要預快取不同的樣式,磁碟空間就會出現問題;( 4 )屬性與區域斷開但只與個別畫素相連;( 5 )高質量的圖形很難實現。

向量拼接是一種新的方法,可以提供風格靈活、屬性資訊豐富且繫結緊密的大型向量資料集的視覺化。在本研究中,實現了支援洪水資料集傳播的向量拼接。將向量吊具的效能與光柵拼接和向量原始資料的傳輸進行了比較。

論文組織如下:首先,對向量拼接和柵格拼接的概念進行了界定,並從理論上進行了比較。第二,描述了效能評價和效能的向量拼接實現和實驗設定。第三,給出並討論了結果。最後,對結論進行了總結。

2. 瓦片策略

A .柵格瓦片

柵格拼接是將資料分割成小塊的過程,以實現快速、選擇性的交付,達到省時、減負的目的。柵格瓦片屬性共享瓦片系統的共同屬性:離散縮放級別、影象瓦片、離散定址方案和預快取。光柵拼接的優點在於易於實現,生成相當直接。生成瓦片的計算可以簡單地通過跨尺度重取樣來完成。

光柵拼接的缺點是對儲存和傳輸頻寬的要求較高。對於毗鄰美國的洪水地圖,如果需要30米解析度,儲存可以超過30兆位元組,如果需要不同的樣式和渲染,儲存可以更多。依賴於細節層次( LOD ),儲存需求可以超出控制增長為拍位元組 。傳輸拋物磚所需的頻寬比矢量表示的頻寬大。

瓦片生成方案的優化和選擇性動態生成在某些情況下有助於解決瓦片儲存和運輸中的一些問題。一個例子的改進是選擇適當的瓦片尺寸,可能有助於減少由於現有的遺留物和通訊技術造成的運輸時間。示例和Ioup 發現512 by 512的瓦片大小在當前技術中畫素大小浪費和壓縮計算方面表現更好。256 ~ 256的瓦片尺寸在大多數情況下也被認為是好的,並被廣泛地作為工業中瓦片的基本尺寸、、。另一個例子是根據需求頻率生產選擇性瓦片,同時留下不頻繁的瓦片按需生產。這種方法將減少對儲存的需求,同時平衡計算能力的使用。

B .向量瓦片

向量拼接類似於光柵拼接,但編碼的資料是向量格式的 。同樣,它也共享瓦片系統在管理和傳輸方面的共同特性。向量瓦片的生成通常分為兩類:嚴格劃分向量資料為柵格瓦片和使用瓦片區域作為包圍盒選擇特徵、。

由於資料格式和拓撲概念的不同,向量拼接在操作上與柵格拼接不同。主要區別是對LOD、分割槽、屬性和渲染責任的控制。向量圖的LOD隨尺度變化而變化,幾何圖形在不同尺度上會有太大的差異。一個特徵需要用一個點來表示,而一個多邊形在很大的細節。劃分可以打破向量特徵的完整性,而柵格劃分很少打破作為表示和管理基本單元的畫素。向量瓦片可以比柵格畫素更有效地管理屬性。向量拼接將渲染責任以及靈活性留給客戶端,而柵格拼接則在伺服器端完成渲染。

對向量瓦片的編碼可以以不同的格式進行不同的目的。表1列出了向量瓦片最常用的一些向量格式。MapBox Vector Tile ( MVT )是應用最廣泛的特定向量瓦片格式之一。地理標記語言( GML )支援標準的Web服務,即。Web特性服務( Wfs )。它是用WFS支援向量瓦片的方向之一。

瓦片的儲存屬於3組之一:單位元組-檔案粒度、空間資料庫管理系統( DBMS )和多位元組-whithin-one-file 、。單位元組檔案粒度易於搜尋、更新和Web託管,但在空間使用上無效,克隆速度慢,讀寫速度慢,。DBMS結構緊湊,安全,查詢效率高,但在安裝、配置和管理方面花費昂貴和時間。多個位元組的一體式檔案可以平衡到某些特定的情況,但缺乏通用工具,不易更新和搜尋。儲存系統的選擇需要根據實際的使用情況和手頭的優先順序來決定。

在工業中出現了幾種用於向量拼接的規範。成熟的MapBox向量瓦片規範和TileJSON 被廣泛應用於分佈瓦片。開放地理空間聯盟( Open Geospace Consortium,OGC )的WebMap Tile Service ( WMTS ) 廣泛應用於從向量瓦片服務傳遞柵格渲染。最近,Web特徵服務( Web Feature Service,WFS ) 也被擴充套件用於傳遞向量瓦片。

開源和商業軟體正在興起對向量瓦片的支援,包括ESRI產品和MapBox套件。GeoServer完全支援向量瓦片,而MapServer則有計劃在其中支援向量瓦片,供其取悅版本。Web客戶端包括OpenLayers、Leaflet和MapBox GL 。

3. 向量拼接的實現及效能對比實驗

A .向量瓦片的實現

支援向量瓦片的設定和配置需要準備資料、伺服器軟體和客戶端軟體。洪水地圖儲存在Albers等面積投影中,目前流行的向量瓦片伺服器和系統並不支援該投影。一種包含方法是將資料轉換為常用的支援向量瓦片投影,例如。Epsg3857為web Mercator投影。根據軟體、儲存和瓦片格式的選擇,瓦片的構建可以有所不同。本研究選用開源GeoServer,其成熟且對向量瓦片支援良好,同時易於建立和完成對向量瓦片和柵格瓦片的支援,便於效能比較。

洪水資料首先重新投影到EPSG4326 (地理座標系)。然後將其載入到GeoServer中。向量瓦片是預先建立(種子)的所有三種支援格式- GeoJSON、TopoJSON和MVT。

另一個開源伺服器TileServer 也被選擇為洪水地圖服務,考慮到它的易安裝性、處理大型資料集的能力以及它整合的Web客戶端的易支援性。使用TileServer的Docker影象建立向量瓦片,服務洪水資料向量瓦片,並顯示向量瓦片。

圖1顯示了一個在RF-classSS中繪製洪水地圖的示例。洪水圖主要包括日、月和年合成圖。洪水頻率圖綜合了所有年份的大小和多邊形數都可以相當大。所有這些地圖都已被輸入到基於向量位的伺服器和服務中。

B .績效評估

為了評估向量拼接的效能,我們做了如下設定以確保比較:

  • 用相同的軟體和硬體配置從相同的伺服器提供相同的地圖。在本研究中,GeoServer被配置、安裝並部署到執行Debian 9的Linux伺服器中的Tomcat servlet中。GeoServer能夠同時服務向量瓦片、柵格瓦片和其他常見的OGC Web服務,簡化了設定。一次資料載入既可用於光柵拼接,也可用於向量拼接。

  • 從同一臺客戶機訪問地圖。Windows計算機用於主持客戶機軟體。計算機通過Internet與伺服器相連。

  • 使用相同的客戶端。主要客戶端軟體是基於JavaScript的瘦客戶端,考慮到洪水圖通過Web-services和Internet最流行的用法。RF- CLASS是一種線上服務,既支援機器,也支援人類對資訊和資料的消費。對於正常使用者來說,基於瀏覽器的瘦客戶端就是他們將要使用的。選擇OpenLayers作為基本JavaScript包,以啟用客戶端。圖2所示為GeoServer 提供的JavaScript源的一個簡單客戶端片段。這個片段可以被修改和重複使用,以訪問不同的資料集,其中的更改可能是替換層名或格式。

為了記錄和捕獲接收瓦片的時間延遲( 無論是向量瓦片還是柵格瓦片 ,都是為了比較 ),使用瀏覽器中Web開發人員的網路監控工具。圖3顯示了訪問和載入光柵瓦片和向量瓦片的螢幕截圖。為了確保通過相同配置從不同服務( 向量拼接和柵格拼接 )載入相同的地圖檢視埠的時間分離和總和,請求之間的足夠間隙允許完成所有需要的瓦片的非同步載入。這些錄音將重複數次以獲得平均讀數。

通過瀏覽器的開發人員控制檯進行網路監控的記錄被匯出為HTTP Archive ( har )檔案捕獲。利用實用程式har2csv ( https://github.com/danstuken/har2csv/downloads )將har檔案進一步轉換為逗號分離值( csv )檔案。所有記錄進一步輸入到統計軟體中分析和總結效能指標。

4. 結果和討論

A .尺寸轉移和頻寬需求

每個瓦片傳輸的資料大小取決於所選擇的資料格式。本研究選取了五種流行的資料編碼格式進行比較。圖4顯示了結果。可以看出,MapBox向量瓦片在MapBox向量Tile格式( MVT )中非常有效地保持了傳輸的資料的最小尺寸。GeoJSON和TopoJSON由於都是純文字,所以在儲存資料大小方面是最少的。它們也不是壓縮的。TopoJSON確實減少了傳輸的資料量,因為共享弧使用拓撲結構,而不是具有冗餘座標的完整多邊形。

B. 時間

接收資料所花費的時間主要由資料大小決定。圖5顯示了接收每個瓷磚所花費的時間。比較了三種變焦水平。在3個層次上,時間長度都對應於圖4所示傳輸的資料大小。在5種資料編碼格式中,GeoJSON傳輸每個瓦片所需時間最長,MVT所需時間最少。

C .屬性

在向量瓦片服務中可以將屬性連同每個特徵一起傳送。光柵拼接服務需要反覆對伺服器進行查詢以檢索屬性。此外,該屬性需要在畫素級關聯,如果需要進行多次查詢,會增加伺服器和客戶端之間的大量通訊流量。另一方面,向量將屬性關聯到更有效的多邊形或線特徵。

D .向量瓦片編碼

MapBox向量瓦片格式在節省頻寬和減少伺服器和客戶端之間傳輸的資料包大小方面是非常有效的。擴充套件緩衝區的編碼使得在保持幾何視覺效果的同時,可以很容易地建立具有嚴格相等瓦片包圍盒大小的瓦片。在硬幣的另一面,緩衝區方法使得MVT非常適合繪製和視覺化地圖,但在保持幾何和拓撲的完整性方面並不是很好的方法。可能存在的問題是:( 1 )相同的特徵ID導致兩個或兩個以上的多邊形在不同的瓦片中被分割。並且( 2 )額外的面積為常規GIS軟體( 專門渲染 ,在 GIS軟體包中不易做到 ,如 QGIS )增加了渲染難度。

E .建造前(播種)

對瓦片進行預建造有助於加快服務速度。GeoServer通過Geo Web Cache支援兩種瓦片快取方式:請求上的瓦片快取和瓦片播種。請求上的Tile快取有助於在某些瓦片上沒有請求時減少儲存需求。使用較少的瓦片可能會留下未經處理的瓦片,從而節省伺服器浪費儲存空間。然而,這對於從大資料集生成瓦片來說是公平慢的。在洪水向量圖中,洪水頻率圖可以真正以小多邊形碎片化,導致檔案大,超過千兆位元組的不壓縮檔案。瓦片的生成需要數小時才能完成。如果訪問瓦片服務,則預先構建向量瓦片或柵格瓦片成為必要。在伺服器中,不同格式的向量瓦片的預構建使用的時間略有不同。對於美國毗鄰的1個洪水頻率資料集,MVT,2的時間為3小時3分31秒

預建設與按需建設的選擇取決於洪水製圖服務用例中資料的複雜性和規模。大資料預構建可能需要更高效的演算法。TileServer有一個不同的瓦片建立實現,它花費的時間要少得多,大約20分鐘才能完成對同一洪水頻率資料集的MVT編碼。生成策略的進一步細化應該為動態泛化、和離線生成、、之間的選擇提供更好的決策。

5. 結論

向量打字的應用在頻寬需求、載入時間和屬性分佈方面執行柵格打字。向量拼接將渲染留給客戶端軟體,減少了伺服器上計算需求的負載。磁碟儲存和計算量都明顯減少。對於那些無法以傳統的向量或柵格服務方式提供足夠快的使用者體驗的大型資料集,向量拼接尤為重要。

不同的編碼格式會影響向量化的效能。在目前最流行的向量打字和Raster打字格式中,MVT被顯示為最高效的向量打字編碼。

許多標準服務(向量或柵格)已啟用事務來更新和修改資料集。對於向量瓦片服務,在許多應用中都需要完全支援CRUD ( 建立、讀取、更新和刪除 )操作的能力。對向量瓦片來說,修改特徵的支援是一個挑戰,需要進一步研究,以提供高效、均衡的方法。以下是今後進一步研究的方向,以推進向量拼接策略:( 1 )超出預定義web墨卡託的空間投影支援;( 2 )超出渲染目的的編碼;( 3 )利用標準向量服務(例如)標準化向量拼接服務。WFS ),( 4 ) BLOB (二進位制大物件)以外的空間索引的儲存格式。

致謝

研究小組還積極參與正在進行的OGC試驗檯倡議。測試床活動中的互動和討論有助於啟發研究的各個方面。這就承認了通過向量拼寫執行緒組對向量拼寫的啟發和理解。