高德SD地圖資料生產自動化技術的路線與實踐(道路篇)
一、背景及現狀
近些年,國內道路交通及相關設施的基礎建設日新月異。廣大使用者日常出行需求旺盛,對所使用到的電子地圖產品的資料質量和現勢性提出了更高的要求。傳統的地圖資料採集和生產過程,即通過採集裝置實地採集後對採集資料進行人工處理的模式,其資料更新慢、加工成本高等問題矛盾日益突顯。
高德地圖憑藉視覺AI和大資料技術優勢引領地圖資料產業變革,通過影象AI技術從採集資料中直接識別提取各類資料要素,為實現機器代替人的作業模式提供最堅實的技術基礎。
高德地圖通過對現實世界高頻高密度的資料採集,運用影象視覺AI能力,在海量的採集圖片庫中自動檢測識別並確定出各種交通標誌標線標牌的內容及位置,再通過與歷史資料資訊的對比,能快速發現現實世界的變化資訊,同時結合強大而專業的資料融合能力,實現100%資訊融入,從而構建出高現勢性的全國基礎地圖。
綜上,通過演算法、地圖工程的深度技術合作,以及與資料採集、資料生產的業務拉通,搭建一條以影象識別、位置服務、差分過濾、資料融合等為核心技術的基礎地圖資料生產全自動化產線,從而建立起從真實世界到地圖應用終端,高效高質量的資料資訊流水線生產通道。
二、自動化產線的可行性及重點
從影象物體分類和檢測進展來看,影象物體的分類和檢測已經有幾十年的歷史,湧現了一系列經典的演算法。近些年隨著影象識別技術特別是深度學習技術的快速發展及GPU計算能力的發展,分類和檢測技術有了極大的提升。
從自動化需要的大資料來看,高德地圖專注地圖資料製作十幾年,積累了覆蓋全國、豐富且準確的資料,加之每天擁有大量採集資訊的匯入,這些資料都成為演算法訓練天然的樣本池;同時一整套專業化、標準化的地圖生產作業規範為資料融合打下了堅實的理論基礎。
因此,從演算法儲備能力、資料和工藝的積累來看,自動化產線搭建具有較強的可行性,其重點圍繞著以下四部分組成:
影象識別:影象識別的目標是從輸入影象中解析出地圖資料相關的現實資訊,通過檢測、識別圖片中的交通標誌標線標牌資訊,細分其型別,並理解其中的數字和文字,以文字形式表達內容。此外,由於輸入的是連續影象,單個標誌標線標牌可以在多個影象上觀察到,因此整合多張影象中的同一資訊,並選擇最合適的影象作為主圖展示。
位置服務:基於低精度GPS和採集影象,位置服務推算出自身和場景物體的精確位置,並對映到地圖資料中。其中包括影象道路理解、標誌位置解析、採集軌跡匹配等核心能力。依據軌跡特性和道路連通性,建立對定位位置、角度、速度等與候選道路關係的匹配概率模型,將軌跡關聯到地圖資料上。通過對多張圖片中場景的理解,給出圖片相對於路口的相對位置,結合地圖道路資料的形態,進一步確定物體的作用位置。
影象差分和語義過濾:目的是將新採集資料與已有母庫中的資料進行一致性對比,自動將相同的資訊進行差分與過濾操作,留下變化的資訊。兩者不同之處在於前者是檢測相同位置新一次採集的圖片相對於歷史採集圖片是否有變化,從軌跡和影象本身的角度對比;後者從資料的角度看影象識別後內容,對於母庫資料是否有變化,從地圖語義的角度做比較。
基於位置的資料融合:影象識別的成果,結合位置服務提供的作用位置,獲取到作用道路。通過抽象路口的模型,在該道路或路口做資料融合,即新增或者更新地圖資料。
三、 關鍵技術能力
1.影象識別
影象識別主要面臨三大挑戰:一方面場景多樣,型別繁多。待檢測物件種類繁多,如交通標誌標牌、地面引導線、電子眼等。比如正常的方向資訊標牌如下圖:
特殊的方向資訊牌標牌:
而同類檢測物件的樣式也是繁雜的,國標通用的交通標誌有幾百個型別,而各地也會有一些地方特色的交通標誌,所以需支援定製化檢測識別。常見標牌形狀多樣,三角、圓形、方形、菱形、八邊形等,同時顏色分佈廣泛,如黃色、紅色、藍色、綠色、黑色、白色等,另外,還需要排除自然場景內一些類似交通標誌的標語、廣告牌等,以減少對識別準確率的影響。
另一方面,在自然場景下圖片質量差異巨大,其中很多影象質量偏低。再加上面臨遮擋、逆光、雨雪天等極端戶外場景。這些在檢測環節都是要重點考慮及解決的問題。
最後,待檢測物件的尺寸差異較大,大如方牌(幾百個畫素大小),小如電子眼、交通燈(十幾個畫素大小)。而小尺度檢測,辨識度很差,對檢測演算法有比較高的要求。
綜上,對於演算法能力本身而言,交通標誌檢測實際上是一個多型別的目標檢測任務,主流的方法是基於深度學習的End2End方案,在一個網路中同時完成檢測與細分類任務。常用的dataset一般是PASCAL VOC(20類)和COCO(90類)等。
根據業務的實際需要,整個方案分為目標檢測與精細分類兩部分組成,目標檢測階段通過Faster-RCNN在圖片中檢測所有的交通標誌,該階段要求極高的召回率和執行速度,相應在準確率方面可以放寬要求;精細分類階段對目標檢測階段得到候選框,然後進行精細分類並濾除噪聲,最終保證極高的召回率和準確率。
2.位置服務
軌跡漂移對位置匹配地圖的準確性一直都是極大的挑戰,一方面平行路、高架場景,尤其是主輔路這種距離1-2個車道的平行路,需要很高的定位精度,常規的GPS定位精度在5-10m,很難達到80%的主輔路識別率。另外基礎地圖資料本身也存在GPS精度問題。
通過規則及隱馬爾科夫模型的學習、推理以及維特比演算法等基礎理論以外,合理地抵抗定位漂移問題,是軌跡匹配成功的關鍵。通過對軌跡形態進行學習和總結,找出其規律,建立符合其特性的概率模型,精準地表達匹配建立過程,合理地平衡匹配準確性和抗漂移能力二者之間的關係。另外,通過長軌跡的連通性和影象識別車道數或道路位置關係,以解決平行路的部分場景的問題。
而對作用道路和作用位置的確定,目前依賴於影象識別對於路口位置的識別及融合對地圖資料場景的理解和判斷,例如標牌對路或路口的相對位置靠識別本身很難確定,需要融合對資料路網資料特性的理解和判斷,這種判斷比較複雜,人一眼就看明白了,但是機器很難用規則去描述。所以,通過路段中直行、路口中直行及拐彎等場景的分析,對比地圖路段或路口的模型,來確定作業道路,根據不同屬性計算作用位置。
3.影象差分和語義過濾
影象差分主要會面臨資料對齊問題,即同一位置的多次採集資料,會受GPS自身精度及因衛星訊號遮擋導致的漂移帶來的所在道路判斷偏差的影響。另外,在語義識別上,受自然環境下的環境因素,如遮擋、模糊、陰影、雨雪天氣、視角變化等,會影響後續演算法對影象的深層語義資訊(如型別、內容等)的解析。兩種因素的疊加,在多張影象和語義的一致性比對時,難度就提高了不少。
這方面,演算法大幅快速提升了識別和一致性判斷的準確率,以避免錯誤匹配對資料更新的影響。影象差分分為資料對齊和區域性匹配兩部分,資料對齊回答兩次採集影象是否在同一位置、視角等,通過GPS軌跡粗篩、影象匹配等手段,判斷兩張影象的位置關係。區域性匹配則需要回答兩個物體是否為同一型別,對於有文字內容的物體,還需要檢測版式、文字的一致性。因此除引入常見的點特徵匹配技術外,也使用了基於深度學習的影象匹配網路。對於文字內容部分,藉助OCR能力完成內容的理解和解析,最終判斷兩次採集的內容完全一致性。
4.基於位置的資料融合
由於現實世界的複雜性,地圖生產經驗積累形成了大量標準化地圖資料製作規範,這些都是能合理抽象、準確表達現實世界的無形資產。即便現實路網形態千奇百怪,但都能通過模型進行抽象歸類,建立不同場景下相對通用的地圖資料模型,從而在其上建立沉澱大量的地圖資料處理的工具類和方法,以確保資料自動化融合能力的廣泛使用。
四、總結
高德SD基礎地圖資料生產自動化實現,本質上就是在基礎地圖資料生產過程中,引入影象AI技術和資料融合技術,結合多年地圖數字化生產作業規範及經驗,創新出一套面向資料的自動化生產線,形成自動化解放人工持續提供高效高質量的地圖資料,以解決地圖供應商生產產線專業化程度高、人工成本大、作業效率低等產線問題,最終滿足廣大使用者出行過程對電子地圖產品資料現勢性的需求。
相關推薦
高德SD地圖資料生產自動化技術的路線與實踐(道路篇)
一、背景及現狀 近些年,國內道路交通及相關設施的基礎建設日新月異。廣大使用者日常出行需求旺盛,對所使用到的電子地圖產品的資料質量和現勢性提出了更高的要求。傳統的地圖資料採集和生產過程,即通過採集裝置實地採集後對採集資料進行人工處理的模式,其資料更新慢、加工成本高等問題矛盾日益突顯。 高德地圖憑藉視覺AI和大資
延遲任務排程系統—技術選型與設計(上篇)
本文來自網易雲社群 延遲任務的場景是? 現有的解決方案是? 存在的問題是什麼? 希望達到的目標是? 可以實現的方案有? RabbitMQ實現 通過死信和死信路由實現 通過延遲訊息外掛來實現 Redis實現 Delay
高德APP啟動耗時剖析與優化實踐(iOS篇)
前言最近高德地圖APP完成了一次啟動優化專項,超預期將雙端啟動的耗時都降低了65%以上,iOS在iPhone7上速度達到了400毫秒以內。就像產品們用後說的,快到不習慣。算一下每天為使用者省下的時間,還是蠻有成就感的,本文做個小結。 (文中配圖均為多才多藝的技術哥哥手繪) 啟動階段效能多維度
中國HBase技術社群第八屆MeetUp ——HBase典型應用場景與實踐(南京站)
HBase—Hadoop Database是一個分散式的、面向列的開源資料庫,該技術來源於 Fay Chang 所撰寫的Google論文“Bigtable:一個結構化資料的分散式儲存系統”。HBase的特點是高可靠性、高效能、面向列、可伸縮的分散式儲存系統,如今HBase已經廣泛應用於各網際網路行業。那麼我們
基於深度學習的人臉識別AI技術謎與思(十四)--臉型識別
所有圖片源自網路,無意冒犯,如覺不適,通知後立即刪除。 本文在頭條號和百家號同步首發 前言 2017年12月25日,百度大腦人臉模組再一次升級,由原來的1.6.9.0升級為2.0.0.0,自此之後,我們的人臉識別就採用最新的版本了。大公司時刻充滿了焦慮感和
大資料在能源行業中的應用(開始篇)
由於中國和印度的經濟持續強勁增長,在2006年至2030年期間,其一次能源需求的增長將佔世界一次能源總需求增長量的一半以上。中東國家佔全球增長量的11%,增強了其作為一個重要的能源需求中心的地位。總的來說,非經合組織(Non-OECD)國家佔總增長量的87%。因此,它們佔世界一次能源需求比例從51%上升至
恩智浦杯(飛思卡爾)全國大學生智慧車競賽攝像頭簡單的影象失真矯正技術原理與實現(透視變換)
先說一些廢話(沒耐心看可直接看分割線下面的內容): 博主是去年參加了十二屆的恩智浦杯(飛思卡爾)全國大學生智慧車競賽光電競速組,我們隊當時獲得的是區賽預賽第三、決賽第四的成績,我們區賽的光電競速組可以選拔五組進入全國總決賽,但因為我們學校另一個隊獲得了區賽決賽第三,
資料倉庫中的sql效能優化(MySQL篇)
做資料倉庫的頭兩年,使用高配置單機 + MySQL的方式來實現所有的計算(包括資料的ETL,以及報表計算。沒有OLAP)。用過MySQL自帶的MYISAM和列儲存引擎Infobright。這篇文章總結了自己和團隊在那段時間碰到的一些常見效能問題和解決方案。 P.S.如果沒有
大資料的應用場景都有哪些(教育篇)
現如今,很多學校的教室都早已使用上了多媒體工具,正是有了這些東西,使得學生能夠感受到學習的快樂,以及能夠讓同學們更好地學習知識。現在在教育的每一個環節都離不開資料,其實大資料在教育方面的使用也越來越普及,那麼在教育方面大資料的應用場景都有哪些呢? 當學生在課堂上學習的時候,資料不僅可以幫助改善教育教學,
大資料的應用場景都有哪些(醫療篇)
現如今,很多行業都開始使用大資料了,雖然說大資料已經應用在生活中的方方面面,但是還是有很多人不知道大資料到底用在了什麼地方。今天我們在這篇文章中給大家講講大資料在醫療中的應用場景都有哪些,希望能夠給大家帶來幫助。 如果在醫療中使用大資料,那麼就能夠使得看病變成一件簡單的事情,同時看病能夠更高效率進行,在
大資料的應用場景都有哪些(零售篇)
我們在前面的文章中給大家介紹的使用大資料的醫療優勢的具體內容,其實大資料的應用場景並不是侷限於醫療方面,在零售方面也是可以給人們帶來極大的方便的。那麼在零售業方面大資料還能夠給人們帶來什麼好處呢?我們在這篇文章中給大家詳細解答一下。 如果在零售方面使用了大資料,那麼這樣就能夠了解了人們的購物意圖。一般來
Kubernetes二進制方式v1.13.2生產環境的安裝與配置(HTTPS+RBAC) ?
googl modify 目前 ffi 通告 exe ppr firewalld 前臺 Kubernetes二進制方式v1.13.2生產環境的安裝與配置(HTTPS+RBAC) 一 背景 由於眾所周知的原因,在國內無法直接訪問Google的服務。二進制包由於其下載方便、靈活
APP漏洞自動化掃描專業評測報告(上篇)
一、前言 隨著Android作業系統的快速發展,運行於Android之上的APP如雨後春筍般湧現。由於一些APP的開發者只注重APP業務功能的實現,對APP可能出現安全問題不夠重視,使得APP存在較多的安全隱患。國內一些安全廠商為這些開發者提供了各種各樣的安全服務,包括
PANDAS 資料合併與重塑(concat篇)
pandas作者Wes McKinney 在【PYTHON FOR DATA ANALYSIS】中對pandas的方方面面都有了一個權威簡明的入門級的介紹,但在實際使用過程中,我發現書中的內容還只是冰山一角。談到pandas資料的行更新、表合併等操作,一般用到的
CentOS(5.8/6.4)linux生產環境若幹優化實戰(實用篇)
its vim error ket chain 精簡 user 清空 效率 下面我就為大家簡單講解幾點關於Linux系統安裝後的基礎優化操作。 註意:本次優化都是基於CentOS(5.8/6.4)。關於5.8和6.4兩者優化時的小區別,我會在文中提及的。 優化條目: 修改
物理隔離下的資料交換平臺難點解析與實踐(一)
目錄 第零章、前言:為什麼?做什麼?怎麼做? 第一章、資料交換平臺的一些基本概念 目錄 第零章、前言:為什麼?做什麼?怎麼做? 最近帶隊做了公司的一個專案,叫資料交換平臺,旨在物理隔離的情況下對多端業務系統進行
揭祕!文字識別在高德地圖資料生產中的演進
導讀:豐富準確的地圖資料大大提升了我們在使用高德地圖出行的體驗。相比於傳統的地圖資料採集和製作,高德地圖大量採用了影象識別技術來進行資料的自動化生產,而其中場景文字識別技術佔據了重要位置。商家招牌上的藝術字、LOGO五花八門,文字背景複雜或被遮擋,拍攝的影象質量差,如此複雜的場景下,如何解決文字識別技術全、準
衛星影像識別技術在高德資料建設中的探索與實踐
導讀對於地圖服務而言,地圖資料的準確率和覆蓋率是服務質量的關鍵因素,而地圖資料的更新,依賴於多種資訊源,如軌跡熱力,實採影象,衛星影像等。近年來,由於遙感衛星數量的增多及高解析度光譜相機的出現,以及衛星影像圖自身覆蓋廣、視角好、資訊豐富的特點,衛星影像作為地圖資料更新的資訊源起到了越來越重要的作用。 對於衛星
iOS應用內跳轉百度高德蘋果地圖
bool 知識點 coo count value oid bsp lse rec 移動開發經常用到基於位置的一些導航功能,但是對於對導航功能依賴性不強的的應用,我們直接采用應用外跳轉地圖APP即可。 但是應用間跳轉,首先需要設置白名單, 在iOS 9 下涉及到平臺客戶端跳
C# 高德JavaScrpt地圖航跡-實時更新
一、既然是地圖,當然先在工具欄裡,新增WebBrowser控制元件,由於還需要選單,所以在屬性裡面設定為:None,然後新增好選單,再在WebBrowser上,選擇 在父容器中停靠。 再加上一些程式碼。地圖的效果就出來了。 這裡還要說明一下。地圖是JavaScrpt的高