看懂這顆鐳射雷達晶片,就看懂了索尼汽車
索尼真要造車了?
就在昨天,索尼在 CES 2022 釋出會末尾一口氣展出了兩款概念車 —— 一個是去年已經露過面的純電轎車 Vision-S,另一個則是嶄新的純電 SUV Vision-S 02。與去年展示的概念車的內外飾設計不同,今年索尼以視訊的形式著重展示了概念車型的智慧座艙功能,比如 UI 設計細節,以及手勢互動、人臉識別等具體功能。
▲ 索尼推出的兩款概念車
活動現場,索尼 CEO 吉田憲一郎還表示在 2022 年春季會成立索尼出行公司(Sony Mobility),專注於“探索電動汽車業務的商業化”。
雖然索尼 CEO 沒有明說是否會推出索尼牌的智慧汽車,但上述表現顯然預示著索尼的汽車業務已是箭在弦上。
作為全球消費電子和娛樂領域巨頭,索尼的影響力和地位有目共睹。但一個關鍵問題是,索尼造車的底氣究竟在哪?
答案是感測器。
早在 2021 年 CES 期間,索尼談到 Vision-S 時就表示,希望通過自身的 CMOS 感測器、固態鐳射雷達、感測器融合等成像、感知技術為消費者帶來安全、可靠、舒適的出行體驗。
2021 年 CES 展出的 Vision-S 上有 33 個感測器,其中大部分是索尼自研或使用了索尼的技術。今年 CES 上,感測器數量升級到了 40 個。
這其中有一顆名為 IMX459 的 SPAD(單光子雪崩二極體)鐳射雷達感測器(鐳射接收晶片)。依託索尼的雙層影象感測器堆疊技術,鐳射雷達企業可以基於 IMX459 造出等效線數上千的超高清雷達,讓汽車看得更遠、更清楚(300 米的感知精度為 15cm),並且還能以更快的速度計算出距離資訊,生成 3D 點雲圖像。
▲ 索尼 IMX459
近幾年,鐳射雷達行業技術革新很快、雙稜鏡、MEMS、OPA、Flash、FMCW 等各種技術路線不斷湧現,新產品層出不窮,但很多都還是圍繞光路設計做優化 —— 沒有從本質上進行升級。
索尼的 IMX459 顯然就突破了現在的創新困境,從最底層的鐳射接收和訊號處理層面進行徹底改變,為鐳射雷達行業發展提供了新的基礎。
IMX459 只是索尼概念車上的四十分之一,如果其它 39 個感測器也擁有類似的底層創新,再加上索尼在感知和自動駕駛領域的投資佈局,大法想造出來一臺智慧電動汽車根本不是問題。
可以說,看懂了 IMX459,你就看懂了索尼造車的底氣。
01. 採用 SPAD 技術 打造 11 萬畫素鐳射感測器
鐳射雷達即將迎來大規模量產上車之時,索尼公佈了首顆車規級鐳射雷達接收感測器 IMX459。這顆感測器最亮眼之處有兩點,其一是採用對光感知更敏感的 SPAD(單光子雪崩二極體)技術,其二是這顆感測器的畫素數量達到了 11 萬,這是當前量產產品難以比擬的。
從結構上看,這顆鐳射雷達接收感測器共有兩層,上層採用了 SPAD(單光子雪崩二極體)技術,用於感知反射進感測器的鐳射;下層則是邏輯晶片,使用直接飛行時間(D-ToF)技術,就能實現測距。在效能上,索尼在 1/2.9 英寸的感測器面積下放進了 11 萬個 SPAD 畫素,其解析度為 189x600,呈現出一個矩形區域。而每一個 SPAD 畫素的尺寸僅為 10 微米 x10 微米。
▲ IMX459 分為上下兩層
說到索尼 IMX459 的王牌,就是那 11 萬畫素的 SPAD 感測器,它相較於傳統鐳射雷達感測器共有兩大優勢。其一是感光能力更強,也就是在使用相同鐳射發射端的情況下,SPAD 感測器能感知到更微弱的光,感知距離更遠;其二是計算距離的延遲更低,索尼做到了 6 納秒。
要理解 SPAD 感光的邏輯,不得不提到照相機。數碼照相機 CMOS 上的一個個畫素,通過接收大量光子,感知到光線強度,通過控制光子進入的數量,最終實現正確的曝光併成像。
鐳射雷達感測器的感光元件和數碼相機近似,每一個畫素點需要進入特定波長的大量光子,才能形成鐳射雷達影象,然後通過一顆計算晶片算出感知距離。
無論是數碼照相機還是鐳射雷達感測器,進光量都是“底大一級壓死人”,但車用鐳射雷達無論是成本還是體積都非常受限,一味比誰底大並不是最優的解決方案。而 SPAD 方案的興起,讓感測器廠商找到了進光量不足的另一路徑。
如果進光量不足,加上有干擾光線進入,鐳射雷達感測器所成的像就會出現噪點。對於人類而言,一張照片中出現噪點,能通過智慧將噪點內容“腦補”齊全。因此為鐳射雷達感測器單獨配備一顆 AI 晶片,用於噪點、干擾光線處理就是路徑之一。不過,每經過一次處理,都會產生一定時延,如果低時延的優勢被慢慢磨去,自動駕駛的安全性就會降低。
加入 AI 晶片做訊號預處理雖然簡單,但實際表現可能並不完美。
因此,如果能用微弱的進光量“代表”其他光成像,不但能實現更低的延遲,而且通過成像能得到噪點更少的點雲圖。
韓國科學技術研究院(KIST)新一代半導體研究所所長張畯然在一篇文章中闡述了 SPAD 感測器的工作原理。
▲ 不同型別影象感測器在接受光子照射時電子放大程度
“當在 SPAD 上施加比擊穿電壓(breakdown voltage)更高的電壓時,會發生碰撞電離現象(Impact Ionization),巨大的電場(electric field)使載流子(carrier)加速運動並與原子碰撞,從而使原子中釋放的自由載流子數量急速增多。這種現象被稱為雪崩倍增(Avalanche Multiplication),會導致影象感測器點亮的光子產生大量自由載流子。”他寫道。
這就意味著即便鐳射發射單元發射的鐳射僅有少量反射回來,通過雪崩倍增現象感測器仍舊能夠將光子大量增加,並且識別為大量的光子。這就意味著,SPAD 感測器具有非常高的信噪比。
同時,SPAD 在接收的光子數量極少的情況下就能完成成像,因此其“快門速度”可以做到非常短,提升感知幀率。
02. 雙層晶片架構 響應速度遠超現有產品
索尼除了將 SPAD 技術逐步推向量產之外,也使用了已經打磨多年的一項技術 —— 雙層影象感測器堆疊,這項技術能夠讓感知響應速度更快。
在去年 2 月的一次演講中,索尼半導體公司高階經理 Oichi Kumagai 對 SPAD 鐳射雷達感測器的技術路線進行了詳細介紹。
▲ 索尼 IMX459 結構和單個 SPAD 感測器
其中,邏輯電路放置在晶片底部,每一個畫素尺寸為 10 微米 * 10 微米。感測器表面並非完全平整,索尼將每一個畫素點做成了一個凸透鏡,從而能夠實現更高的光折射率,提升鐳射的吸收效果。根據索尼的測試,這一鐳射雷達感測器在使用 905nm 波長的鐳射光源時,光子檢測效率能達到 24%。
▲ 傳統鐳射雷達感測器點雲圖(左)SPAD 感測器點雲圖(右)
此外,由於每一個 SPAD 畫素都能與下方邏輯電路通過銅-銅(Cu-Cu)元件連線起來,因此只要光子進入 SPAD,就能經過雪崩進入邏輯電路。從感知到光子,到完成數字訊號轉換,整個過程只需要 6 納秒,這一表現非常出色。索尼開發了數字時間轉換器(TDC),直接能夠將光子飛行時間轉換為數值,不需要二次計算。
▲ 索尼 IMX459 光訊號轉換電訊號僅需 6ns
國內 MEMS 鐳射雷達廠商一徑科技的一位產品經理談到,現在市面上其他技術路線的鐳射雷達接收感測器的延遲已經能做到比較低,從感知到生成深度資料,基本需要百納秒到幾微秒之間。
然而,索尼的 IMX459 則是更進一步,相比此前最優秀的產品,也有大幅提升。
IMX459 採用直接飛行時間(D-ToF)的方式測距,張畯然在其文章中說道,當光子進入時,SPAD 陣列會發射數字脈衝(Digital Pulse),因此更容易跟蹤光飛時間。不僅如此,SPAD 還能捕捉精確的時差,因此具有精確的深度解析度(depth resolution),精確程度甚至可以達到毫米級別。
▲ 索尼 IMX459 實際測試
然而,採用 D-ToF 方式測距帶來了一個問題,那就是感知距離短。例如,近兩年在 iPhone 和 iPad 上採用的鐳射雷達,就採用 D-ToF 方式測距,其感知距離大概僅有 5 米。對一款移動裝置來說,5 米的感知距離絕對夠用,但對自動駕駛來說 5 米不可用。
SPAD 技術再一次體現了它的優勢,在同樣的鐳射發射功率下,SPAD 感測器僅需微弱的光,也能完成成像,並且其效率不輸傳統感測器硬體。
▲ 索尼 IMX459 在不同條件下的效能表現
索尼還公佈了其產品在不同溫度環境下的效能,其中光子探測效率在-40 攝氏度時為 14%,隨著溫度增加探測效率不斷上升,超過 50 攝氏度後能達到 20% 以上,當溫度達到 125 攝氏度時,探測效率有所下降。
響應時間上的表現更出色,當在-25 攝氏度時,響應時間為 7 納秒,為最慢響應時間,其他溫度條件下的響應時間還要更快。
03. 上千線鐳射雷達不是夢 行業已有先行者
對於鐳射雷達行業來說,SPAD 技術可以說是革命性的。主要體現在兩點,第一是鐳射雷達等效線數能夠實現大幅度提升,第二是點雲處理的步驟可以逐漸淡化。
目前,業內主流感測器方案是 APD(雪崩光電二極體),隨著技術發展,SiPM(矽光電倍增管)和 SPAD 正在進入鐳射雷達領域。
▲ 不同鐳射雷達技術路線(來自 Oichi Kumagai 演講)
在相機行業中,佳能已經能做到 100 萬畫素的 SPAD 感測器,並且利用 SPAD 響應更快的優點,實現精準的距離測量。未來,鐳射雷達接收感測器能夠像相機一樣,實現“畫素”數量不斷增加。一旦畫素數量倍增,鐳射發射端可以做更高的線數,從而實現更精準的深度資訊感知。
▲ 佳能 100 萬畫素 SPAD 相機感測器
這樣的提升將是 APD、SiPM 等技術路線難以匹敵的。
鐳射雷達還有一大難點就是點雲處理,傳統點雲處理需要一顆晶片實時處理計算。隨著線數、頻率、角解析度的提升,計算裝置所需算力越來越大,此時還想保證低延遲輸出,並且和視覺感測器融合就會愈加困難。
然而,SPAD 感測器能夠直接輸出光子計數,並且輸出飛行時間,能夠輕鬆輸出深度影象。
正因為這兩點原因,索尼等 SPAD 感測器供應商如果能實現高畫素 SPAD 感測器量產,就能夠改變整個行業。
實際上,索尼並非業內首家使用 SPAD 技術的感測器廠商。已經實現量產,明年即將上車的 ibeoNEXT 鐳射雷達,其感測器就採用了 SPAD 技術。
▲ ibeoNEXT
與 ibeo 公司合作並推動鐳射雷達量產上車的亮道智慧,對這顆感測器有深刻理解。亮道智慧一位資深工程師認為,SPAD 技術是純固態鐳射雷達技術路線上非常重要的技術架構之一。
與此同時,行業內還有多種測距技術路線,但這些技術短期內還無法達到量產節點。
據瞭解,ibeoNEXT 除了能夠輸出 X、Y、Z 的三維座標資訊,還能夠利用能量資訊顯示環境影象。這個能量資訊圖與人們常見的黑白照片 / 視訊類似,可以和鐳射雷達的點雲資訊配合同步輸出。最後,配合車上的攝像頭等其他感測器,就能夠形成資訊冗餘。
不過,ibeoNEXT 的畫素點僅有 10240 個,相比索尼 IMX459 的 11 萬相差很遠。即便索尼用 3*3 進行感知,其解析度仍然更高。根據前文的分析,畫素數量越多,所成的像越清晰,也就是索尼 IMX459 能實現更清晰的成像,這才是鐳射雷達更重要的意義。
實際上,除了索尼基於 SPAD 做鐳射雷達感測器之外,相機廠商佳能也正在佈局 SPAD 感測器,並且做出了 100 萬畫素的 CMOS 產品。
04. 結語:索尼加速智慧汽車佈局
2020 年的 CES 消費電子展上,索尼推出了其電動汽車 Vision S,標誌著索尼開始佈局智慧電動汽車。2022 年 CES 上,索尼推出 Vision S-02,進一步加碼智慧電動汽車。
同時,索尼多年來影像感測器、娛樂系統、聲學等領域的佈局,在智慧汽車時代將有更廣闊的發展前景。索尼在此時佈局智慧汽車正當其時,正在加速汽車智慧化實現。