計算機視覺處理高解析度的影象需要非常多的計算量，因此很多資料集的影象解析度都非常小。而近日，工程師們用一塊玻璃、一個光電探測器和一些軟體，開發了一種「透視」相機，這種不帶鏡頭的相機能拍攝解析度非常小的影象，並抽象出物體的主要輪廓。因此使用這種相機拍攝的影象能大量降低計算機視覺所需要的計算力。同時，他們也在開發用機器學習演算法處理更復雜影象的技術。

以前的相機配備自己的專門裝置，如鏡頭和膠捲，而且照相得去照相館。後來，手機、平板電腦、膝上型電腦和視訊遊戲機都有了自己的照相功能。現在，相機似乎會在某天變得和玻璃一樣不顯眼，甚至它都不再需要鏡頭。

根據新的研究，壓在窗戶邊緣的光電探測器可以檢測玻璃內部的反射光，就像光訊號穿過光纜一樣。對檢測到的微小光線進行一些巧妙的處理，可以讓玻璃面板成為一個巨大的照相機鏡頭。

由這種相機產生的粒狀影象（想象一下畫素化、失真和解析度較低的影象）雖然暫時還沒法和傳統相機的效果相比。但是對於很多計算機視覺任務來說，窗玻璃或一塊汽車擋風玻璃拍攝的解析度足以滿足影象處理演算法或神經網路所需的資訊。

這是他們對 LED 陣列影象的拍攝效果：

其中左列是原始影象，中間列是影象感測器接收到的輸入，右列是計算機重構後的影象。

猶他大學電氣和計算機工程副教授 Rajesh Menon 說，現代照相機拍攝的影象中，其實有很多是我們用肉眼無法看到的。它們只能被用來處理安全的照相機演算法或自動車輛影象感測器看到，而這些我們肉眼無法看到的影象正變得越來越多。

所以，Menon 問道，「如果機器相比人類能夠看到的影象和視訊更多，那我們為什麼不考慮為機器重新設計相機呢？這樣能讓我們脫離之前的窘境，以非人類的角度來看待相機。」

換而言之，計算機視覺演算法並不如人眼那樣總需要高解析度和高影象保真率。它們能從 Menon 和 Ganghun Kim 的「透明無鏡頭相機」中獲得大量資訊，即使它拍攝的影象質量並不高，這樣成本和佔用面積都會大量減小。他們的技術已經申請了專利，該技術對視覺媒介本身並沒有要求，可以是玻璃、塑料或有機玻璃等。

他們將一個現成的光電探測器（8 解析度、640×480 畫素）連線到有機玻璃的邊緣，平滑連線的邊緣且準備與成像裝置連線。他們隨後在有機玻璃其餘周邊放置反光帶。Menon 說他們可以在沒有反光帶的情況下成像，只不過反光帶提高了信噪比。

對於這種概念驗證，實驗只需要保持簡單的視野。他們在窗格前放置了一排尺寸為 32X32 的 LED 燈。然後，當 1024 束光各自被照亮時，他們觀察到達光電探測器的訊號。因此，來自 LED 陣列的任何影象，至少在一級近似中，將僅僅是每個點亮的單獨 LED 燈訊號的線性組合。

如果機器相比人類能夠看到的影象和視訊，那我們為什麼不考慮為機器重新設計相機呢？——猶他大學，Rajesh Menon

Menon 表示，在這個專案中，他們開發了一種傳統訊號處理演算法，它能夠藉助光電探測器接收的訊號重構影象。他們把這一步稱為「反轉問題」，因為他們的演算法利用複雜、混亂的訊號作為輸入，並利用探測器檢測到的光子來生成可能的目標。

「我們正在檢測「光子」在與特定目標對應的空間中的分佈，」他表示，「我們喜歡看一對一的圖。相機的原理正是如此。此處用到的是一對多的圖，因此我們要解決反轉問題。」

這也是這些玻璃面板「相機」與計算機視覺相關的專案完美契合的原因。影象質量和可分解的資訊對於計算機視覺來說可能已經足夠好了，但還不能（也許永遠都不能）取代基於鏡頭、拍給人看的傳統相機。

Menon 提到，他的團隊目前正在開發一種機器學習演算法用於學習更復雜的影象，如可以被檢測並識別為數值的手寫數字。他指出，該技術可能首先被應用在 VR 或 AR 眼鏡中。這些眼鏡的影象生成和影象展示硬體已然非常笨重，眼球追蹤攝像頭可能是個累贅。因此，如果能夠用這款不帶攝像頭的透視相機就能追蹤使用者的眼動並獲取足夠優質的資訊該有多好。

用一項品質遠遠低於當前最佳水平的技術作為突破聽起來非常諷刺。但 Menon 表示，或許轉變思維方式，重新設計在 AI 及影象處理系統中「足夠優質」的技術可以讓我們前進一大步。就像蒼蠅的眼睛一樣，AI 世界裡最重要的不是單個數據的品質，而是資料來源的增殖能力。

這也是為什麼相機和玻璃板在未來數年會越來越接近的原因，至少對於計算機視覺演算法來說是這樣。

論文：Computational imaging enables a「see-through」lens-less camera

論文地址：https://www.osapublishing.org/oe/abstract.cfm?uri=oe-26-18-22826

摘要：傳統相機會遮擋需要記錄的場景，而這裡我們將一個影象感測器（沒有鏡頭）放在透明視窗的邊緣，並通過該視窗觀察物體影象。這一過程首先可以通過影象感測器收集散射光，然後通過解光散射的逆問題來實現影象的重構。因此，我們能形成簡單的影象，並且在物距 150mm、焦距 10mm 的情況下有 0.1 line-pairs/mm 的空間解析度。我們進一步展示了兩種物體的成像：LED 陣列和傳統的 LCD 螢幕。最終，我們演示了彩色和視訊成像。

原文連結：https://spectrum.ieee.org/tech-talk/computing/software/a-lensless-camera-built-specially-for-ai-and-computer-vision-programs-sorry-humans