雷視融合

雷視融合是一種將雷達與視覺感知技術相融合的新興科技,旨在實現優勢互補。該技術通過硬體、數據與算法的融合,構建全天候、超視距、多維度的感知網路。

在智慧型交通領域,雷視融合技術被視為感知方案的“黑馬”,但其在複雜天氣下的全天候性能、數據可靠性及目標級融合深度等方面仍面臨挑戰。目前,該技術已套用於智慧交通管理、車路協同、道路病害檢測、水利測流及社區安防等多個場景。

基本含義,發展歷程,基本特徵,套用,運營模式,核心團隊,重要事件,影響,相關研究,

基本含義

雷視融合是一種將雷達與視頻(視覺)感知技術相結合,實現優勢互補的感知技術。其核心目標是利用雷達的全天候、測距測速能力和視頻的紋理、特徵識別能力,形成對目標更全面、精準的感知。
當前技術水平下,多數產品未實現深度的目標級融合,多處於利用各自優勢進行協同檢測的階段。總體而言,參測雷視產品其各項檢測效果不如純雷達和純視頻監測設備。雷視融合技術全天候性能較差,在高速公路最需要感知的夜晚、雨霧天氣無法使用。儘管如此,針對該技術的研發仍在持續推進。例如,湖南納雷科技有限公司於2025年12月申請並取得一項名為“基於雷視融合感知的目標檢測方法、設備及存儲介質”的專利,授權公告號CN121348313B。
對於雷視融合感知的看法,業內一直存在兩種聲音:一種聲音認為雷視融合感知將成為未來感知技術的主流,但在技術突破以及設備本身質量和性能的提升上還需做大量的研究工作;另一種聲音認為交通感知不一定要融合,應將研究的重點和精力放在提升單個感知設備的性能上。
長遠來看,技術融合是智慧型交通發展趨勢。在雷視融合的發展上,要解決好“基礎”與“融合”這兩大關鍵性問題。所謂“基礎”,就是要將科研精力放在雷視底層技術和基礎算法的研發上;所謂“融合”,就是要逐步實現雷視技術的目標級融合、特徵級融合乃至數據級融合。雷視融合技術的突破性在於,通過異構感測器協同運作,構建起“1+1>2”的感知新範式。

發展歷程

2019年取消省界收費站及“視頻雲聯網”工程提升了視頻監控密度,為雷視融合提供了套用基礎。為解決高速公路夜間自動化預警等管控需求,深度融合了攝像頭、毫米波雷達和高性能處理終端的雷視融合技術問世。2020年8月,交通運輸部印發《關於推動交通運輸領域新型基礎設施建設的指導意見》,提出提升精準感知能力。在產業層面,2019年行業出現了採用點雲成像雷達的4D雷視一體機;新一代雷視一體機也於此後推出,其最大測距範圍可達425米。
在技術發展初期,市場上絕大多數雷視融合產品在擁堵、交通量等方面檢測效果較好,但在交通事件等其他方面效果未達預期。當時多數產品並未實現真正的目標級融合,僅是利用雷達和視頻各自特點進行檢測。至2022年左右,業內對雷視融合效果進行廣泛探討,認識到其潛力與當前局限性。在此期間,產業界也積極推動技術展示與標準制定,例如有廠商在2023年的行業展會中展示了雷視融合智慧型感知技術。2022年12月發布的《粵港澳大灣區公路智慧型網聯設施技術規範》對“路側端雷視融合一體機”和“毫米波雷達”提出了相關建議。發展過程中,技術路線從簡單的感測器疊加,向目標級、特徵級、數據級深度融合演進。
路側感知市場規模持續增長,其中雷視一體技術呈現明顯增長趨勢。具體到套用案例,相關雷視融合檢測器於2025年在福泉高速進行試點,對機動車逆行、非機動車闖入等事件的檢測準確率較高。2026年,有公司推出了用於構建全天候交通感知體系的雷視融合設備。
至2025-2026年,雷視融合技術開始在智慧交通、安防、道路檢測、水利監測等多個領域規模化套用試點與落地。在智慧交通領域,基於雷視融合與數字孿生技術構建的智慧隧道管理平台已能實現毫秒級安全回響;在深圳坪山等地的“車路雲一體化”項目中,雷視融合成為路側感知的關鍵組成部分。在道路養護方面,搭載雷視融合系統的檢測設備能實現毫米級病害精準識別。在水利領域,雷視融合測流技術也已得到套用。

基本特徵

雷視融合技術通過將雷達與視覺感測器相結合,並利用高性能算法進行數據處理,形成了獨特的感知能力。其核心技術主要體現在以下幾個方面。
技術性能方面,雷視融合通常具備較大的探測範圍(可達數百米)、更精準的探測能力(可實現毫米級識別)以及更完整的障礙物三維地圖構建能力。同時,其感知時延可低至100毫秒以內,對機動車、非機動車、行人的感知準確率可達95%以上。部分方案中,對動態目標的檢測範圍可達350米,對靜態低矮目標的檢測範圍可達200米。在2025年4月的統計中,部分雷視融合檢測器對機動車逆行、非機動車闖入以及違停事件的檢測準確率均達98%以上。
核心硬體上,通常將毫米波雷達或雷射雷達與高清或AI攝像機、高性能處理單元(如RK3568核心板、昇騰邊緣計算等)集成於一體機中,實現硬體層面的緊湊融合。4D毫米波成像雷達也逐漸被採用。
數據處理依賴於高性能算力(如NPU),對實時採集的視頻流與雷達點雲數據進行時空同步與融合分析,輸出包含目標位置、速度、軌跡等信息的矢量數據,實現多目標跟蹤與行為分析。
環境適應性上,該技術旨在實現準全天候工作,在夜間、一般雨霧等條件下的感知性能通常優於純視頻方案。但在極端惡劣天氣(如濃霧、暴雨)下,其性能仍面臨挑戰。在雨天情境下對道路遺撒物檢測效果還有待提升。雷視融合霧天通行誘導有助於改善霧天航行條件,提升航班準點率。
系統特性上,為滿足戶外部署需求,常採用高可靠性設計(如ECC記憶體、工業級溫寬),並具備豐富的接口(如MIPI、CAN、USB)以及穩定的網路連線能力(4G/5G、WiFi),便於系統集成與功能拓展。這類系統可用於構建全天候、多維度的交通狀態感知體系。
算法核心在於運用人工智慧與深度學習算法進行目標檢測、識別與多感測器數據融合。其融合層次不僅包括硬體集成,更追求數據層、特徵層乃至決策層的深度融合,以構建“1+1>2”的感知能力。2025年12月,一項名為“基於雷視融合感知的目標檢測方法、設備及存儲介質”的專利被公開。部分方案採用高效兩段式架構,通過通用感知網路實現雷視BEV特徵深度融合,藉助Transformer架構同步處理4D成像雷達點雲與視覺圖像。

套用

雷視融合技術憑藉其全天候、多目標、高精度的感知能力,已套用於智慧交通、道路管養、安防監控及工業監測等多個領域。在智慧交通領域,該技術能夠實現車道級精準感知,為全息路口、信號燈最佳化及超視距感知等場景提供數據支撐,例如在部分“車路雲一體化”項目中,雷視融合感知方案通過AI超微光攝像機與毫米波雷達融合,實現了車道級精準感知。此外,雷視融合取證設備利用該技術,可用於遠距離違法取證。雷視融合技術在長距離、多車道覆蓋方面具有優勢,探測距離可達數百米,交通信息統計準確率高,已套用於多個智慧交通示範項目。
在高速公路與隧道管理中,基於開源鴻蒙系統的雷視融合技術可被用於構建智慧隧道管理平台,實現毫秒級安全回響,例如在部分項目中,當系統感知到隧道內的異常停車事件後,可實現快速安全回響。在智慧高速建設中,雷視融合路側感知系統通過部署雷達與視覺融合設備,實現全路段、全天候的交通目標檢測與事件識別,支持流量控制、事故預防等套用。在道路基礎設施管養方面,該技術能夠實現對道路裂縫、坑槽等病害的毫米級精準識別與定位,例如部分公交系統搭載的“雷視融合”系統(雷射雷達+視覺識別),通過“一圖雲巡檢”模式,輔助完成道路巡檢工作。
在安防監控領域,雷視融合技術通過硬體、數據與算法的深度融合,構建起全天候、超視距、多維度的安防感知網路。在社區安防中,系統可通過雷達生命體徵波動檢測老人跌倒並觸發預警;在周界防護中,可識別人員入侵、翻越圍牆等行為。在工業與特殊場景監測中,該技術可用於化工園區的泄漏檢測等安全監測。基於邊緣計算平台的3D雷視融合解決方案可實現地面檢測、障礙物分類等功能,套用於智慧工地和無人機測繪,提供全天候和長距離檢測能力。在水利水文領域,雷視融合測流技術實現了對河道表面流速和流量的自動化測量,其測流精度誤差可控制在5%以內。

運營模式

雷視一體機採用一體化設計,實現電源共享與安裝統一,有助於節約物料成本和安裝費用;同時,其將感知融合算法前移至端側,能夠降低感知延遲並減輕邊緣側計算壓力。
市場主要供應商包括大華股份、海康威視、雷森電子、慧爾視、德冠隆等,其中傲酷於2019年推出了4D雷視一體機,雷森電子則計畫在2021年下半年推出新一代雷視一體機IET6LRR。
據預測,2025年路側感知市場規模將達200億元,其中攝像頭和毫米波雷達仍是主流設備,雷視一體技術呈現增長態勢。
2023年,湖北工業大學採購了雷視融合開發平台項目,採購內容包含雲台雷射攝像機等設備。

核心團隊

新大陸科技集團有限公司通過其博士後科研工作站進行技術研發,其雷視融合檢測器已在福泉高速試點,對機動車逆行、非機動車闖入等事件檢測準確率達98%以上。
國微集團(深圳)有限公司推出了基於NVIDIA Jetson邊緣計算平台的3D雷視融合解決方案,實現軟硬體結合,用於自動駕駛輔助和智慧工地等場景。

重要事件

2023年2月,鐳神智慧型作為主要編寫單位參與編寫的《粵港澳大灣區公路智慧型網聯設施技術規範》正式發布執行,其對“路側端雷視融合一體機”和“毫米波雷達”也提出了重要建議。2023年10月,華諾星空在CPSE2023展會中展示了以雷視融合智慧型感知技術為基礎的全域安防智慧型感知AIoT平台及系列套用方案。2026年3月,雲星宇在第28屆高速公路信息化大會亮相,推出雷視融合設備等產品,以構建全天候、多維度的交通狀態感知體系。

影響

雷視融合技術通過雷達與視覺感測器的優勢互補,構建了全天候、高精度、多維度的環境感知能力,正在對交通安全管理、交通系統運行、基礎設施管養、安防產業生態以及智慧交通發展等多個領域產生重要影響。
該技術能夠將交通安全管理從事後取證轉到事前預警,並在夜間、雨霧等複雜天氣下保證識別的準確率,提升了預警的可靠性。
該技術通過實時數據融合,為交通信號最佳化提供了精準依據,可實現動態綠波控制,並用於構建提升運行服務的多種場景。此外,其盲區會車預警功能提升了通行安全與效率。
在道路管養領域,該技術實現了對道路病害的毫米級精準識別,推動了巡檢模式的智慧型化革新,有效解決了人工巡檢工作量大、覆蓋面不足的難題。
雷視融合技術正推動安防產業從硬體競爭轉向生態競爭,並帶動相關市場規模增長。該技術也催生了新的解決方案與商業模式,例如“雷達+健康監測”等創新方案。政策層面,“十四五”規劃將智慧型安防納入新基建範疇,為產業發展提供了動力。
該技術為目前及未來車路協同、自動駕駛的發展奠定了智慧型路側感知系統的基礎。在具體實踐中,其已成為路側端的核心感知節點,為車路雲一體化項目提供關鍵的交通流與事件數據。

相關研究

對於雷視融合感知的看法,業記憶體在兩種不同觀點:一種認為雷視融合感知將成為未來感知技術的主流,但在技術突破以及設備本身質量和性能的提升上還需做大量的研究工作;另一種聲音則認為交通感知不一定要融合,應將研究的重點和精力放在提升單個感知設備的性能上。當前,市場上絕大多數雷視融合產品在擁堵、交通量、占有率等方面檢測效果較好,但在交通事件等其他方面的檢測效果未達預期,且多數產品未實現雷視目標級融合,僅是各自進行擅長項目的檢測。從高速隧道的套用效果來看,毫米波雷達、雷射雷達與雷視一體機的檢測效果相差不大,雷視一體機並不具有突出優勢。
在核心融合算法方面,研究關注目標級、特徵級、數據級等多層次融合。代表性的學術研究包括李波、周孫源、楊茜於2025年發表的《基於深度學習的雷視一體化技術研究》,該研究採用基於CFAR算法的雷達目標檢測、基於YOLOv5的視覺目標識別,並運用決策級融合與全局最近鄰數據關聯算法實現數據融合。隨著雷視融合套用的推廣,建立統一的測試標準、性能評估體系,以及解決雷達與視頻系統間數據匹配與容錯標準統一,已成為研究重點。
企業界也在積極探索更先進的融合方案。例如,有公司致力於“視覺+4D毫米波成像雷達”的異構信息融合技術路線,旨在提升系統在惡劣天氣及複雜場景下的穩定性和安全性。
面向不同垂直場景的解決方案研發也在推進。在水文監測領域,華為提出了自研雷視融合測流方案,該方案已納入水利部“2022年度水利先進實用技術重點推廣指導目錄”,並在試點中實現誤差控制在5%以內的高精度測量。在智慧交通領域,有基於開源鴻蒙系統的雷視融合技術構建智慧隧道管理平台的案例。在高速公路和鐵路輪渡等場景,雷視融合技術已套用於構建智慧高速感知底座和霧天通行視覺增強系統,提升了全天候感知能力。
產業界持續推出新產品及開展合作。例如,宇視科技在2024年4月10日至12日舉辦的第十四屆中國國際道路交通安全產品博覽會上展示了雷視取證抓拍一體機與雷視道路安全預警一體機等產品。此外,湖南納雷科技有限公司在雷視融合感知技術方面取得了專利進展。同時,產業界也通過試點項目驗證技術效果並參與行業規範制定。

相關詞條

熱門詞條

聯絡我們