車聯網中基于英特爾架構的激光雷達3D點云處理與感知融合方案

在基于車聯網 (C-V2X) 的車路協同應用中，路側感知設備獲取的交通目標與交通環境信息由路側邊緣計算設備進行分析處理，生成各類I2V (Infrastructure-to-Vehicle) 消息，并由路側單元（RSU）通過無線鏈路發送給各類道路交通參與者（包括聯網車輛和弱勢交通參與者），用于提升交通安全與交通效率。作為路側感知設備的激光雷達，由于其3D成像和精確測距等卓越性能，受到越來越廣泛的應用。基于英特爾架構的路側邊緣計算設備，在處理激光雷達生成的3D點云中（無論是深度學習還是傳統計算機視覺），都顯示出了卓越的性能。本文介紹了基于第11代英特爾酷睿處理器和英特爾OpenVINO工具套件分發版的集和誠路側MEC設備，用于支持基于深度學習的3D點云處理和鐳神雷視一體機（激光雷達與攝像頭）的感知融合計算。我們為車聯網產業界提供了高性價比的路側感知和路側邊緣計算解決方案。

背景：中國的智能交通基礎設施的快速發展

近幾年，國家有關部門出臺多項產業政策支持智能交通發展，如《交通強國建設綱要》、《國家綜合立體交通網規劃綱要》和《國民經濟和社會發展第十四個五年規劃和2035年遠景目標綱要》

等，均強調全方位布局交通感知系統是實現交通基礎設施智能化的重要步驟。

車聯網作為半導體、智能計算、無線通信、汽車制造和交通運輸等行業深度融合的新型產業形態，在提升交通安全與交通效率方面擁有巨大的潛能。隨著人工智能、邊緣計算和移動組網等技術的快速發展，車聯網的功能與性能也不斷的完善和提升之中，將在未來的智能交通系統中將發揮重要的作用。我國高度重視車聯網產業的發展，相繼出臺了《車聯網（智能網聯汽車）產業發展行動計劃》和《智能汽車創新發展戰略》等系列政策文件。中國產業界一直在積極推動圍繞C-V2X技術構建的車路協同技術路線。

路側基礎設施是車聯網新基建的重要組成部分，其技術與標準體系正在持續完善之中，而相關的細分產業鏈（包括路側感知、路側邊緣計算和路側通信等）也在加速形成。2020年8月出臺的《關于推動交通運輸領域新型基礎設施建設的指導意見》 明確指出要讓泛在感知設施深度覆蓋交通運輸行業。 2021年9月，中國IMT-2020 (5G) 推進組所轄的C-V2X工作組發布研究報告《基于邊緣計算的路側感知融合系統研究》系統性地介紹了路側感知融合的技術和產業發展現狀。

作為全球最領先的芯片廠商，英特爾也與包括鐳神與集和誠在內的國內廣大合作伙伴，加速研發相關的產品與解決方案，促進基于車聯網的車路協同早日實現商用。

車路協同中的路側感知與路側邊緣計算

如圖1所示，車路協同依靠路側感知設備（包括攝像頭、激光雷達和毫米波雷達在內的各類交通傳感器）采集交通目標的原始信息（包括2D視頻圖像和3D點云等），交給路側邊緣計算設備進行分析計算（包括目標檢測與目標分類）以及與感知融合，生成結構化數據用以表示交通目標的屬性（例如車輛的速度與航向、交通事件的類別與影響范圍等）。這些結構化數據被進一步處理成V2X消息，準確地說是I2V消息。這些I2V消息被RSU (路側單元) 經由PC5無線空中接口、或者5G/4G基站經由Uu無線空中接口發送給包括機動車和行人在內的道路交通參與者。

圖1. 車路協同的系統概念

車路協同的路側系統架構由圖2所示，可分為路側感知（包括攝像頭、激光雷達和毫米波雷達在內的各種交通傳感器）、路側邊緣計算（包括路側MEC計算設備）和路側通信（包括RSU）三大部分。本文主要涉及路側感知和路側邊緣計算這兩個部分。

圖2. 車路協同的路側系統架構

路側感知

在車路協同的路側感知領域，常用的傳感器包括攝像頭、激光雷達與毫米波雷達。本文中介紹的技術方案涉及前兩種，下面我們分別介紹它們的技術特點。

攝像頭

攝像頭是最為常見的交通路側傳感器，基于對其所采集的圖像和視頻的分析，能夠獲得豐富的色彩、紋理和語義信息，實現精細化的交通目標的分類。但其局限性也比較突出，主要體現在受夜晚弱光或惡劣天氣條件的影響較大，難以對交通目標進行有效可靠的感知。攝像頭作為交通傳感器的性能優缺點總結于表1中。

激光雷達

激光雷達正在成為智能交通領域越來越重要的一種傳感器。它主動向待測空間區域發射激光光束，并接收反射回來的信號并將其與發射信號進行比較生成3D點云，經過進一步的處理，可獲得目標物體的距離、方位、速度、3D尺寸及類別等精確信息。

激光雷達按照其內部激光掃描機構的工作原理可以分為以下大、小類別：

·機械式

·整體旋轉式

·棱鏡旋轉式

·非機械式

·Flash

·光學相控陣

·以微機電(MEMS)鏡式為主

·混合固態式

·固態式

激光雷達作為交通傳感器的性能優缺點總結于表1中。

表1. 攝像頭與激光雷達的優缺點對比

感知融合：基于激光雷達與攝像頭

感知融合指的是兩種或兩種以上傳感器互相配合共同完成對目標的檢測與分類。由于在性能上“取長補短”，感知融合比單種傳感器具有更全面的感知能力和更優秀的性能。基于激光雷達和攝像頭組合的感知融合在發揮激光雷達精確測距性能優勢的同時，可以依靠攝像頭來識別目標顏色、交通標志和交通信號等信息。也就是說，感知融合可以通過攝像頭與激光雷達的“分工”，將攝像頭用于目標分類而激光雷達用于目標檢測。在這種情況下，3D點云的處理可以使用PCL (Point Cloud Library)等非深度學習的方法，從而降低了算法的整體復雜度及相應的硬件成本，使得高性價比的解決方案成為可能。

路側邊緣計算：促進感知融合在車路協同中的應用

基于英特爾架構的路側邊緣計算設備可對2D視頻圖像和3D點云信息，分別進行基于深度學習的推理或基于傳統計算機視覺的分析，并將兩者得到的結果進行融合。

系統架構

在車路協同的應用中，MEC發揮著無可替代的重要作用。根據部署的位置和對時延與算力的具體需求，MEC可以有多種形式，包括路側MEC和網絡邊緣MEC等（如圖2所示）?；谟⑻貭柤軜嫷母鞣NMEC設備為實現車路協同的各種用例提供強大可靠的通用和AI算力支持，從而使得我們能夠對來自不同種類傳感器的信息進行實時的高效分析并將結果融合，顯著提升了智能交通系統的安全與效率。

面向交通安全的車路協同應用對于端到端時延有著比較嚴格的要求，部署地點靠近路側感知設備和路側通信設備（RSU）的路側MEC對于降低時延有著更好的保障。

第11代英特爾酷睿處理器 (產品代號：Tiger Lake)

針對于包括車路協同在內的眾多垂直行業應用，英特爾發布了第11代酷睿系列處理器，在具備強大通用計算與AI加速運算能力的同時，功耗很低、散熱設計容易，是路側邊緣計算設備非常理想的高性價比和高能效比計算平臺。這一系列處理器中的很多型號還支持寬溫工作以及對設備進行遠程管理維護的英特爾博銳平臺技術。

本文中的性能評估基于以下兩款第11代英特爾酷睿處理器，其配置如表2中所示。

·英特爾酷睿i7-1185GRE處理器

·英特爾酷睿i7-1165G7處理器

兩款處理器的最高性能詳見產品技術規格。

表2. 第11代英特爾酷睿處理器 (Tiger Lake) 配置

集和誠路側MEC設備

基于上述兩款第11代英特爾酷睿處理器，集和誠開發了全新的KMDA-3301型路側MEC設備（如圖3所示）。其主要特點包括：無風扇散熱、IO接口豐富、鋁型材質、機身纖薄、減震設計等，非常適合部署在路側等嚴苛環境，為車路協同應用提供穩定可靠的高算力保障。產品規格詳見集和誠公司網站。

圖3. 集和誠路側MEC設備（KMDA-3301型）

英特爾OpenVINO工具套件分發版 （以下簡稱OpenVINO）

OpenVINO是源自英特爾的一款功能非常全面的優秀軟件工具套件，用于加速高性能計算機視覺和深度學習豐富多樣的應用開發。其顯著的三個特點是：高性能深度學習推理，非常易于使用的簡化開發流程，一次編寫可任意部署。

具體來說，OpenVINO支持快速開發豐富多樣的應用和解決方案，來模擬人類的視覺。它能顯著提升視頻分析的準確度，加速推理，并節約算力資源。該工具套件基于卷積神經網絡 (CNN: Convolutional Neural Network)，支持直接異構執行，可在多種英特爾芯片平臺中擴展計算機視覺和深度學習的工作負載，實現卓越性能。套件中的英特爾Media SDK 支持在英特爾核芯顯卡上進行高性能的視頻編碼和解碼。OpenVINO支持多種操作系統（包括Windows、Linux和macOS）和編程語言（包括Python和C++）。

OpenVINO免費提供超過280個經預先訓練好的神經網絡模型和參考代碼，支持模型的量化和調優，加速深度學習的推理運算。

操作系統與軟件配置

本文的性能實測部分所涉及的操作系統與軟件采用表3中所列的配置。

表3. 操作系統與軟件配置

基于英特爾架構的激光雷達3D點云處理方案

作為車路協同中的路側感知設備，激光雷達可以作為獨立的傳感器使用，也可和攝像頭配合形成感知融合的技術方案。這兩種方案中信息處理所需要的算力，均由MEC設備中最核心的英特爾處理器來承載。下面，我們分別介紹這兩種方案所需解決的技術挑戰、基于英特爾架構的解決方案和性能實測效果。

激光雷達作為獨立傳感器

基于英特爾架構的解決方案

在這種方案中，交通目標的檢測基于對激光雷達生成的3D點云進行深度學習的推理，對算力的要求非常高。在實際的交通應用中，處理速度需要達到至少10幀/秒。通過優化基于深度學習的3D點云處理流程來提升處理速度，對于提升基于部署于路側的MEC平臺的性價比和能效比，至關重要。

我們使用OpenVINO對開源3D點云深度學習模型PointPillars做了優化。如圖4所示，藍色模塊依然沿用原生代碼的Python實現，而綠色模塊則使用了OpenVINO中的模型優化工具 (Model Optimizer) 進行了加速。

圖4. 基于英特爾酷睿處理器 (Tiger Lake) 實現的PointPillars模型

性能實測效果

我們采用KITTI數據集中的訓練集來測試性能。相對于OpenVINO優化之前的PyTorch格式模型，OpenVINO優化之后IR格式模型可以顯著提升吞吐率與處理時延性能（如表4所示）。

表4. 吞吐率與處理時延（基于深度學習的3D點云處理）

感知融合：激光雷達與攝像頭

鐳神雷視一體機

鐳神雷視一體機及其實際部署場景如圖5所示。該設備采用攝像頭和鐳神CH128X1型激光雷達相結合的方式，獲取交通目標與交通環境的原始數據，通過以太網將其傳遞給基于第11代英特爾酷睿處理器的集和誠路側MEC設備進行分析處理。

圖5. 鐳神雷視一體機（激光雷達與攝像頭）及實際部署場景

鐳神CH128X1型激光雷達的激光源不動，通過棱鏡旋轉來掃描空間區域，實現對水平120°區域的掃描。其具體規格參數如下表5所示。

表5. 鐳神CH128X1激光雷達規格參數表

基于英特爾架構的解決方案

為了兼顧處理效率與準確性的需求，鐳神和英特爾共同提出了基于傳統算法和深度學習相結合的目標級感知融合方案，其處理流程如圖6所示。其中，對于激光雷達所采集的3D點云數據，我們采用PCL中的聚類和追蹤算法來獲取目標的的位置距離和速度等信息；對于攝像頭所采集的2D圖像數據，我們采用基于Yolo-v5神經網絡和OpenVINO的深度學習算法來獲取目標的類別信息。

我們將3D點云數據聚類得到的目標中心點投影到2D圖像上，判斷該點與基于深度學習算法得出的2D圖像中目標位置中心的距離是否小于某一閾值：若是，則確定激光雷達和攝像頭分別檢測到的目標為同一物體，并將該兩種傳感器獲取的目標級結果進行融合。如圖6所示，融合的結果包括目標的類別、位置距離和速度等信息，可根據需要顯示在2D圖像或者3D點云中。

圖6. 激光雷達與攝像頭的目標級感知融合

性能實測效果

我們使用采集自鐳神CH128X1型激光雷達的3D點云數據集，其數據文件包含多幀點云數據，每個點的參數包括3D坐標（x, y, z）和反射率（r）。3D點云經過處理之后生成圍繞目標的3D框，其檢測結果的標注采用類似于KITTI數據集所采用的格式。我們使用集和誠KMDA-3301型路側MEC設備和OpenVINO，對于感知融合方案進行了測試，其性能如表6所示。

表6. 感知融合方案的實測性能

實測性能表明，激光雷達無論是作為獨立的傳感器使用，還是和攝像頭配合形成感知融合的技術方案，基于英特爾架構的激光雷達3D點云處理可實現優異的性能。

?

結語與展望

5G在中國已經大規模商用，為終端設備的互聯互通奠定了高速率、低時延和廣泛連接的網絡基礎。作為 5G 垂直行業應用中最受矚目的應用場景之一，車聯網也將在此基礎上加速發展。基于 5G 新空口的蜂窩車聯網標準已經于 2020年6月完成制定，大規模試驗和測試即將展開?；谟⑻貭柤軜嫷募す饫走_3D點云處理和感知融合方案為車聯網積極賦能，使能豐富多樣的智能交通場景，顯著提升交通安全與效率。

以數據為中心的英特爾公司以世界領先的端到端 AI 與計算機視覺技術以及性能強大、功能完善的硬件與軟件產品組合，聯合產業界伙伴，為全球車聯網產業的加速發展奠定了堅實的基礎。

公司簡介

關于英特爾

英特爾（NASDAQ：INTC）作為行業引領者，創造改變世界的技術，推動全球進步并讓生活豐富多彩。在摩爾定律的啟迪下，我們不斷致力于推進半導體設計與制造，幫助我們的客戶應對最重大的挑戰。通過將智能融入云、網絡、邊緣和各種計算設備，我們釋放數據潛能，助力商業和社會變得更美好。如需了解英特爾創新的更多信息，請訪問英特爾中國新聞中心官方網站。

關于鐳神智能

鐳神智能以自主創新的核心技術樹立了多個業界里程碑：全球唯一一家同時掌握了TOF時間飛行法、相位法、三角法和調頻連續波等四種測量原理的激光雷達公司，打造了市面最齊全的激光雷達產品矩陣；國內唯一一家自主研發出激光雷達專用16通道TIA芯片、1550nm光纖激光器和激光雷達自動化生產線的激光雷達公司。鐳神智能是最早布局轉鏡式混合固態激光雷達的公司之一，并成功打造了國內首個、全世界第二個獲車規認證的激光雷達—CH32混合固態激光雷達。鐳神智能達到行業領先水平的車規混合固態激光雷達CH128X全球首發，其基于高線束混合固態激光雷達小型化技術的突破，不僅擁有測距遠、視場寬、分辨率高的卓越性能，而且整機尺寸大大縮小。憑借著雄厚實力和優秀業績，鐳神智能是業界公認的領先激光雷達廠商。

關于集和誠

集和誠科技于 2002 年 4 月成立于深圳，作為一家集研發、生產、銷售、服務于一體的智能物聯系統供應商，自創立以來，依托深耕多年的行業經驗和強大的科研背景，踐行 “自主創新，中國智造” 的戰略方針，持續專注于工業計算機及系統應用平臺的研發與生產。其多元化的產品及服務，包括工業平板電腦、工業觸摸顯示器、嵌入式箱體電腦、單板電腦等以及專注行業應用的客制化解決方案和 AI 賦能增值服務。產品通過 CE、FCC、E-Mark、EN50155 等安規及行業認證，廣泛應用于工業物聯網（IIoT）、智能交通（ITS）、智能安防、能源環保和生物安全等領域，助力打造智能物聯網邊緣計算應用新高地。

實際性能受使用情況、配置和其他因素的差異影響。

性能測試結果基于配置信息中顯示的日期進行測試，且可能并未反映所有公開可用的安全更新。詳情請參閱配置信息披露。沒有任何產品或組件是絕對安全的。

具體成本和結果可能不同。

英特爾技術可能需要啟用硬件、軟件或激活服務。

英特爾未做出任何明示和默示的保證，包括但不限于，關于適銷性、適合特定目的及不侵權的默示保證，以及在履約過程、交易過程或貿易慣例中引起的任何保證。

英特爾并不控制或審計第三方數據。請您審查該內容，咨詢其他來源，并確認提及數據是否準確。

©英特爾公司版權所有。英特爾、英特爾標識以及其他英特爾商標是英特爾公司或其子公司在美國和/或其他國家的商標。

聲明:

凡文章來源標明“中國智能交通網”的文章版權均為本站所有，請不要一聲不吭地來拿走，轉載請注明出處，違者本網保留追究相關法律責任的權利；所有未標明來源為“中國智能交通網”的轉載文章均不代表本網立場及觀點，“中國智能交通網”不對這些第三方內容或鏈接做出任何保證或承擔任何責任。