IPL 研究人員表示，除了純攝像頭視覺（例如特斯拉的 FSD）和激光雷達(dá)的光檢測（例如 Waymo 的自動駕駛出租車）之外，基于雷達(dá)的檢測和跟蹤更具成本效益和魯棒性。

該研究項目由華盛頓大學(xué) ECE 教授 Hwang Jenq-neng 負(fù)責(zé)，思科（Cisco）贊助， IPL 的研究人員開展。2019-2022 年在華盛頓大學(xué)擔(dān)任項目負(fù)責(zé)人的 Yizhou Wang 博士表示，即使在暴雨和大雪等天氣條件下，基于雷達(dá)的感知也更加穩(wěn)健。

與需要大量人工標(biāo)注和資本投資來訓(xùn)練 AI 模型的特斯拉純攝像頭視覺相比，Wang 教授稱雷達(dá)更穩(wěn)健且更具成本效益，因為它可以測量車輛與物體之間的 3D 距離，檢測運(yùn)動物體的速度，并能穿透非金屬材料，在惡劣天氣條件下獲得比激光雷達(dá)更清晰的圖像。鑒于 2D 攝像頭感知無法測量距離，分辨率非常高并能顯示物體準(zhǔn)確相對位置的激光雷達(dá)無法檢測速度。

強(qiáng)大的聯(lián)邦 AI 模型

Wang 的研究團(tuán)隊沒有使用激光雷達(dá)來構(gòu)建 AI 模型的基礎(chǔ)，也沒有使用大量人力來進(jìn)行注釋，而是使用分別從攝像頭和雷達(dá)傳感器收集的數(shù)據(jù)作為地面實況來訓(xùn)練每個網(wǎng)絡(luò)，因此能夠產(chǎn)生弱監(jiān)督的聯(lián)邦 AI 學(xué)習(xí)模型。

該融合感知解決方案基于攝像頭的經(jīng)典視覺圖像和雷達(dá)的 3D 信息，而不是人類的監(jiān)督標(biāo)注，且聯(lián)合 AI 訓(xùn)練使該解決方案比其他解決方案更強(qiáng)大。

負(fù)責(zé)為該項目部署融合傳感器的碩士生 Andy Cheng 表示，該融合傳感器獨(dú)立運(yùn)行，因此每個系統(tǒng)也可作為備份系統(tǒng)（也稱為冗余）。

例如，當(dāng)有暴風(fēng)雪時，雷達(dá)網(wǎng)絡(luò)的性能優(yōu)于攝像頭網(wǎng)絡(luò)，并且可以單獨(dú)完成檢測和跟蹤，因為雷達(dá)網(wǎng)絡(luò)已通過聯(lián)邦學(xué)習(xí)進(jìn)行了適當(dāng)?shù)挠?xùn)練。

融合傳感商業(yè)化的局限性

然而，根據(jù) Wang 和 Cheng 的說法，由于基于雷達(dá)的檢測解決方案仍存在局限性，因此重建 3D 雷達(dá)圖像，以及預(yù)處理雷達(dá)生成的包括幅度、相位和相位差等原始數(shù)據(jù)仍然面臨挑戰(zhàn)。

預(yù)處理會減慢整個系統(tǒng)的速度，如果系統(tǒng)要在實際流量中應(yīng)用，任何延遲都可能會導(dǎo)致事故發(fā)生。Wang 教授表示有兩種方法可以減少處理所需的時間。

Wang 表示：" 首先，原始數(shù)據(jù)的可視化可以寫入硬件，這需要更高的計算能力和超低延遲。其次，雷達(dá)生成的原始數(shù)據(jù)可以通過一種新的、更強(qiáng)大的神經(jīng)網(wǎng)絡(luò)進(jìn)行可視化，可以直接將其用作輸入。" 最終，雷達(dá)檢測和攝像頭檢測的綜合結(jié)果將使自動駕駛更加安全。

Wang 指出，自動駕駛在安全性上不能妥協(xié)，基于融合傳感器的感知方案比單純的視覺系統(tǒng)更能保障駕駛者的安全。相對價格低廉并提供 3D 信息的雷達(dá)在自動駕駛汽車領(lǐng)域潛力巨大。

來源：傳感器專家網(wǎng)