1. 程式人生 > >《大資料在遙感應用和空間分析中的挑戰和應對設想》翻譯

《大資料在遙感應用和空間分析中的挑戰和應對設想》翻譯

本文來自美國東密歇根大學地理空間研究和教育研究所(IGRE)所長及創始人謝一春教授演講

1.“大資料”標籤在空間分析中意味著什麼?

 一些遙感大資料的事實

1.1.遙感和計算機技術的最新進展催生了遙感資料的爆炸式增長;

1.2. 在NASA當前活動任務中從航天工藝流出的觀測資料大約為每小時1.73GB千兆位元組;

1.3. 由單個衛星資料中心收集的遙感資料每天急劇增加幾TB;

1.4. 根據OGC的統計,全球存檔的觀測資料可能每年超過1艾位元組;

1.5. 特別是,高解析度地球觀測時代(EOS-4)的出現也導致了遙感影象資料的高維度。

2.大資料空間分析面臨的挑戰是什麼?

這些研究問題包括:

2.1 困難在於大規模遙感資料的有效管理;

2.2 密集的不規則資料訪問模式為不良的並行I / O效能收費;

2.3 遙感大資料的載入和傳輸;

2.4 用於優化排程的大量資料相關任務;

2.5 基於分層叢集的並行系統中遙感應用程式的高效和高效程式設計。

如果無法正確克服這些挑戰,那麼大資料將成為我們無法得到的財富。

3. 什麼是解決空間分析中大資料挑戰的可能方案?

從系統的角度來看,隨著數量和複雜性的增加,遙感大資料的快速處理對現有系統提出了極大的挑戰。迫切需要系統架構的新進展,特別是底層硬體和軟體架構的固有可擴充套件性。

具體而言,這些資料密集型系統可以按線性方式進行擴充套件,以便適應幾乎任何數量的資料處理。可能,為了滿足某些應用程式的近實時處理要求,可以輕鬆配置新增額外的需求資料。

為了提高效能,資料密集型平臺必須遵守將程式碼移動到資料原則以最大限度地減少資料移動的過程。對於資料密集型計算而言,系統的儲存層次結構可能會在本地駐留資料以減少 資料傳輸引入的網路和系統開銷。

目前,採用了幾個可用的高效能平臺來理解這些大資料。平臺最主要的選擇集中在雲平臺和平行計算系統上。

4.一些解決方案的例子

4.1 如何構建耦合大資料以支援人 - 自然系統研究;

4.2 如何處理耦合的人 - 自然大資料中的不完整資訊;

4.3 如何應用“人工智慧/機器學習”來分析耦合的人 - 自然大資料。