摘要：環境感知是自動駕駛系統(ADS)執行的動態駕駛任務的基本組成部分。基于人工智能(AI)的方法已經超越了實現環境感知的傳統技術。當前與汽車系統安全相關的標準，國際標準化組織ISO 26262和ISO 21448，假設存在全面的需求規范。這些規范是嚴格測試汽車系統功能并檢查其是否符合安全法規的基礎。然而，基于人工智能的感知系統沒有完整的需求規范。相反，大量數據集用于訓練基于人工智能的感知系統。本文介紹了一種功能監視器，用于對基于攝像頭和激光雷達傳感器的雙倍人工智能環境感知進行功能運行時監控。為了評估功能監視器的適用性，我們使用模型車在受控實驗室環境中進行定性場景評估。然后討論評估結果，以深入了解監視器的性能及其對實際應用的適用性。

01.簡介

原則上，全自動駕駛汽車在技術上是可行的。然而，在理想條件下（例如在實驗室環境或受限測試場）進行初步概念驗證測試后，在批準和發布過程中需要進一步創新的驗證和確認技術。這些額外的驗證和確認階段對于收集自動駕駛汽車在現實場景中的安全性和可靠性所需的證據是必不可少的。對于認證機構對自動駕駛汽車的商業批準，當前最先進的做法要求使用預定義的測試場景驗證特定操作，并對涵蓋數百萬公里駕駛的實時數據進行統計分析。對于汽車工程師協會(SAE) 3/4級及以上的自動駕駛汽車，關鍵挑戰在于確保在所有可能的情況下安全發布和車輛安全運行，而不僅僅是在系統開發過程中遇到的情況，例如通過隨機測試。

當今的自動駕駛系統主要設計為故障安全系統，能夠將自車切換到安全狀態，例如通過啟動緊急制動器。然而，未來的ADS必須設計為故障運行系統，特別是在許多情況下，可能無法立即進入故障狀態，例如在高速公路上高速行駛時。此外，如果在車輛運行過程中出現問題，動態駕駛任務的控制權不能再簡單地交還給人類駕駛員，因為SAE L4+不再要求人工干預。如果沒有人類后備系統，ADS必須能夠在出現問題時接管控制并為車輛建立安全狀態。

近年來，已經為ADS建立了高級功能架構，包括三個主要子系統：

（1）環境和自我感知，

（2）情況理解和行動規劃，以及

（3）軌跡規劃和運動控制。

環境和自我感知尤為重要，因為它嚴重影響著整個ADS的性能和自動駕駛汽車的安全性，正如一系列涉及（部分）自動駕駛功能（例如特斯拉的自動駕駛儀）的事故所表明的那樣。在2016年發生的第一起重大事故中，特斯拉的自動駕駛儀未能檢測到對面行駛的正在進行轉彎操作的鉸接式卡車，盡管它已經成功測試了2億公里。在明亮的天空下，駕駛員和自動駕駛儀都無法識別側面是白色的卡車。為了應對這起事故，特斯拉宣布推出影子模式，以增強其自動駕駛儀的安全性。有研究展示了高速公路導航的車道變換功能。

這種方法本質上擴展了影子模式的概念，通過解決兩個問題：

（1）自動駕駛功能是否運行正常（定性預言）

（2）自動駕駛功能當前是否在已知環境中運行（定量預言）。

在自動駕駛應用中，環境和自我感知方法的驗證研究工作存在明顯差距。基于人工智能的方法在實現環境感知方面優于傳統方法，因為前者既用于圖像處理，也用于其他原始傳感器數據（如雷達）的信號處理。當前與汽車系統安全相關的標準，例如ISO 26262和ISO 21448，假設存在完整的需求規范。系統開發過程通常使用結構化過程模型（例如V模型）來組織。然而，基于人工智能的感知系統面臨挑戰，因為它們沒有完整的需求規范。相反，開發通常從不完整的工件開始，例如，為整個ADS結構化測試用例制定的系統需求來自其他工件，例如OpenSCENARIO或OpenDRIVE格式。此外，基于AI的系統的開發需要大量的訓練。例如，要開發基于AI的行人檢測系統，需要由各種行人圖像組成的大量訓練數據集。

本文的其余部分結構如下。第2節概述了基于人工智能的系統驗證和確認領域的相關工作，特別關注機器人和汽車應用中的環境感知系統。第3節介紹了在ADS運行期間監控和驗證基于人工智能的環境感知的可靠性籠方法。在第4節中，我們進行了基于場景的定性評估并討論了獲得的結果。第5節總結了本文的貢獻并概述了未來的潛在工作方向。

02.相關工作

環境和自我感知是ADS執行的動態駕駛任務不可或缺的一部分。它主要基于人工智能模型，為ADS的進一步安全關鍵功能（如情況理解和軌跡規劃）提供必要的輸入。通過將各種原始傳感器數據解釋為有關周圍駕駛環境的詳細語義信息，基于人工智能的環境感知子系統使ADS能夠依靠其各自的規劃和決策組件完成決策、運動規劃和控制命令執行。

因此，在運行時監控和評估基于人工智能的環境感知系統的功能行為和性能對于自動駕駛汽車的安全極為重要。最近，各種研究方法都解決了基于人工智能的環境感知的安全問題。Czarnecki確定了一組影響基于人工智能的環境感知的因素：

（1）概念不確定性，

（2）發展情況和場景覆蓋范圍，

（3）情況或場景不確定性，

（4）傳感器屬性，

（5）標簽不確定性，

（6）模型不確定性，以及

（7）運行域不確定性。

識別這些因素被理解為第一步，隨后應系統地分析它們對感知不確定性的影響。此外，還要找到消除或減少它們對感知不確定性的負面影響的方法。隨后，提出了在無法控制負面影響的情況下采取緩解措施的建議。概念圍繞使用這些方法收集必要證據來證實安全檔案中關于環境感知不確定性的主張，這有助于證明整個自動駕駛汽車的安全性。

在之前的研究中，大多數研究對感知系統中不確定性的評估方法、應用和理解做出了重大貢獻。然而，這些研究大多集中在單個物體檢測網絡上。它們沒有解決有關參考傳感器的感知系統輸出的全面驗證或冗余感知系統輸出的比較分析。此外，在運行時檢測環境感知系統的感知故障或不正確行為以確保配備感知系統的安全性方面也存在研究空白。在這項工作中，我們提出了一種在自動駕駛汽車(AV)中運行時驗證環境感知的方法，通過分析和比較兩個冗余感知系統的輸出，分別利用攝像頭和激光雷達傳感器數據。我們在實驗室環境中使用預定義場景和模型車對這種方法進行定性評估。

03.集成可靠性籠式安全架構，用于自動駕駛系統中基于AI的環境感知的運行時驗證

本節介紹了可靠性籠式方法，用于自動駕駛系統中基于人工智能的環境感知的運行時監控和驗證。圖1說明了此可靠性籠式的高級架構，可以理解為可靠性籠式方法的總體概念的實例。后續章節詳細介紹了基于可靠性籠式方法得出的功能監視器的架構。

圖1：基于運行時驗證AI的環境感知系統的可靠性籠的高級架構

A.可靠性籠子方法的總體概念

在最初的立場文件中，引入了可靠性籠子方法來解決自主系統開發中的三個主要挑戰：

（1）保證自主系統在未知和不確定環境中的安全行為，

（2）確保所有安全關鍵系統組件（包括基于機器學習的組件）的安全行為，即使在系統運行期間檢測到其行為出現偏差，以及

（3）保證和提高測試用例的相關性和完整性以驗證被測系統。

為了應對這些挑戰，有研究提出了一個由三個主要階段組成的迭代開發流程。第一階段是系統開發中的可靠性籠子工程和培訓，其中可靠性籠子與自主系統并行設計，并使用模擬測試或在受限和受控的實驗室環境中進行測試。在第二階段，即運行時系統觀察和彈性系統穩定階段，可靠性框架用于監視系統運行過程中的行為，并記錄系統行為與系統開發過程中獲得的測試結果之間的任何偏差以及環境中出現的任何新情況。在第三階段，即監控數據分析和面向目標的系統演進以提高可靠性階段，系統運行期間記錄的觀察結果可用于在后續系統開發周期中改進開發工件。模塊化平臺架構有助于在實際系統運行過程中部署可靠性框架，該架構用于無縫開發和運行系統、監視器和系統環境。這一迭代開發過程的最終目標是不斷提高系統在可靠性要求方面的質量。在本文中，我們細化了該監控框架的重點，并對其進行了調整，以分析ADS的環境感知子系統，而不是整個ADS。監控框架由兩種類型的監視器組成，即功能監視器和情況監視器。此外，它還涉及一個組件，該組件負責根據這兩個運行時監視器的結果定義ADS的故障運行反應，如圖1所示。

情況監視器（在原始立場文件中表示為定量監視器）的職責是評估ADS的環境和自我感知子系統中使用的輸入抽象情況。在系統運行期間，情況監視器會評估ADS遇到的輸入情況是否與環境感知開發階段考慮的情況一致。本文的研究不側重于情況監視器。

另一方面，功能監視器（在原始立場文件中稱為定性監視器）評估ADS運行期間環境和自我感知子系統的行為是否存在嚴重偏差。功能監視器由抽象行為邊界函數和一致性預言組成。抽象行為邊界函數動態計算一組安全邊界，概念化為ADS的興趣區域(ROI)。一致性預言評估環境和自我感知輸出的抽象，以檢查這些輸出在安全邊界內是否彼此一致。一致性的評估基于某些閾值，這些閾值是在環境開發階段和ADS的自我感知過程中通過實證測試確定的。功能監視器的架構在3-B節中進行了詳細解釋。

B. ADS集成安全架構中基于人工智能的環境感知的可靠性籠

基于人工智能的環境感知的可靠性籠集成在為ADS開發的三層安全架構中。從頂部開始，第一層由遠程命令控制中心(CCC)表示，傳感器數據流與下面各層組件提供的結果一起可視化。

本文的研究重點在于集成安全架構的中間層和底層。中間層包含基于人工智能的ADS環境感知的可靠性籠。

可靠性籠由兩個主要組件組成：

(1)功能監視器，負責在ADS運行期間觀察和分析環境感知系統；

(2)故障運行反應組件，根據功能監視器的結果觸發ADS的故障運行反應。

第三層代表可重構模塊化自動駕駛系統，由三個主要子系統組成：

(1)環境和自我感知；

(2)情境理解和行動決策，以及

(3)軌跡規劃和車輛控制。

環境和自我感知子系統由兩個組件組成，即基于AI的攝像頭感知和基于AI的激光雷達感知。這些組件分別使用攝像頭和激光雷達傳感器數據來檢測AV環境中的物體。它們為ADS的運行實現安全關鍵的機器學習功能。每個組件都會生成一個對象列表，表示為基于攝像頭AI (CAI)的對象列表和基于激光雷達AI (LAI)的對象列表。對象列表由ADS架構管道中的其他組件使用。兩個對象列表中為每個對象提供了幾條信息：

（1）對象的類別，

（2）對象的尺寸，高度和寬度，

（3）對象與自我車輛的距離，

（4）感應時間戳，以及

（5）檢測的置信度。圖2概述了集成安全架構，重點關注功能監視器以及環境和自我感知系統。

圖2：基于人工智能的感知系統功能監視器的架構

功能監視器根據指定的安全需求觀察環境和自我感知子系統的行為。安全需求以受控自然語言非正式地表述如下：

安全需求（非正式規范）。環境和自我感知系統必須始終使用至少兩個不同的傳感器數據源一致地檢測位于自動駕駛汽車感興趣區域內的物體。

此安全需求要求兩個方面：

首先，在AV周圍計算ROI，

其次，感知組件在車輛感興趣區域中檢測到的物體彼此一致。

功能監視器由兩個組件組成，可用于在ADS運行期間檢查此安全需求，這兩個組件稱為安全區和AI感知驗證器。

1）安全區：此組件利用AV的各種參數（例如當前速度、轉向角、AV的物理尺寸、加速度和減速度）來動態計算ROI。ROI沿車輛行駛方向圍繞AV擴展，并分為兩個區域：用橙色標記的焦點區域和用綠色標記的自車周圍空白區域。圖5給出了ROI的直觀視圖，在遠程CCC的圖形用戶界面(GUI)上進行了描述。自車周圍的ROI被理解為一個安全關鍵區域，其中兩個感知組件的輸出一致對齊。

2）AI感知驗證器：該組件將安全區組件計算出的ROI以及基于LiDAR和基于攝像頭的感知組件生成的對象列表作為輸入，并計算布爾標志有效，該標志表示兩個感知組件的對象列表是否在特定閾值限制內一致（如圖3中的第1-2行所示）。AI感知驗證器利用計算出的ROI來修剪攝像頭和LiDAR傳感器在各自視野范圍內檢測到的對象集（如圖3中的第3-4行所示）。它優先考慮那些在靠近自車的地方（即車輛的ROI內）檢測到的對象。這種優先級劃分清楚地區分了位于ROI內與AV安全相關的對象和位于ROI外不會造成直接安全隱患的對象。確定兩個對象列表一致性的閾值限制是通過危害分析和風險評估(HARA)確定的。由于攝像頭和LiDAR傳感器的固有配置，它們的運行時間速率不同，因此CAI對象列表和LAI對象列表將以不同的頻率生成。通過在AI感知驗證器中使用超時限制來解決此時間同步問題，該超時限制用于檢測到的對象時間戳。這意味著時間戳早于超時限制的對象將從相應的對象列表中過濾掉（如圖3中的第10-29行所示）。隨后，AI感知驗證器將CAI對象列表中每個對象的屬性與LAI對象列表中每個對象的相應屬性進行比較，例如對象類別、對象與自車的距離、對象的寬度和高度。如果各個屬性之間的差異不超過通過HARA分析確定的各自閾值，則認為兩個對象列表之間匹配，并且AI感知驗證器返回true。這意味著兩個感知組件的輸出彼此一致，并且所有對象都通過了驗證和匹配標準。返回true的另一種情況是CAI對象列表和LAI對象列表都為空。在這種情況下，無需比較兩個對象列表。如果兩個列表中的至少一個對象不符合比較標準，則AI感知驗證器返回false，這意味著兩個感知組件的輸出不一致。AI感知驗證器的結果以及兩個對象列表被轉發到遠程CCC進行可視化（參見第4節）。此外，AI感知驗證器計算的結果用作組件模式控制的輸入。如果兩個對象列表不一致，此組件負責通過優雅地降級ADS功能來觸發AV的故障運行反應。然而，由于本文的主要研究重點是功能監視器，因此相應的故障運行反應的定義、實施和評估將在未來的工作中解決。

圖3：AI感知驗證器算法

04.評估和結果討論

本節介紹了對ADS中基于AI的環境感知運行時驗證的功能監視器的評估。本節的A部分介紹了設置的詳細概述，包括硬件和軟件細節（參見第4-A節）。隨后，在第4-B節中，定義了各種測試場景和幾個工作假設。進行了基于場景的定性評估以評估定義的假設，并討論了獲得的結果。

A.評估設置

1）物理硬件平臺和測試軌道：

為了評估功能監控器概念，選擇了Digitalwerk開發的1:8比例的模型車作為物理硬件平臺。模型車配備了各種傳感器，包括單攝像頭、LiDAR傳感器、車輪速度傳感器、超聲波傳感器、全球定位系統(GPS)傳感器和慣性測量單元(IMU)。

為了增強其環境感知能力以驗證功能監控器，模型車上安裝了更多傳感器，例如英特爾RealSense LiDAR攝像頭(L515)和立體視覺攝像頭(D435f)。LiDAR攝像頭為基于LiDAR AI的感知組件提供傳感器輸入數據。雖然高分辨率3D LiDAR傳感器是理想的選擇，但模型車的電源有限，因此部署功率要求較低的LiDAR攝像頭是一個很好的折衷解決方案，它仍然可以提供足夠的數據輸出。兩個傳感器都已根據車輛的后軸進行了校準，以確保生成的對象列表位于同一坐標系中，特別是在車輛坐標系中。這種對齊對于準確、連貫地比較冗余感知系統至關重要。圖4展示了安裝了LiDAR攝像頭和立體視覺攝像頭的模型車。

圖4：模型車

用于評估的測試跑道是在實驗室環境中使用模塊化武術墊構建的。每個黑色墊子尺寸為1m×1m，并裝飾有街道標記和跑道壁。圖5描繪了放置在測試跑道上的模型車輛以及模擬其他交通參與者的其他物體，例如由木制人體假人代表的行人，以及道路基礎設施的元素，例如交通信號燈。

圖5：模型車：實驗室環境中的鳥瞰圖

2）實施細節：

功能監視器對兩個對象列表（CAI對象列表和LAI對象列表）進行一致性比較。這兩個列表由各自的基于AI的感知組件生成，一個基于攝像頭輸入，另一個基于LiDAR輸入。兩個感知組件都應用了YOLO Nano 2D物體檢測器，該檢測器可生成帶有物體類別名稱及其各自置信度分數的2D邊界框，但缺少自車與相應物體之間的距離信息。通過利用LiDAR攝像頭提供的LiDAR點云，我們計算了模型車輛與物體之間的距離（稱為深度），從而生成了2.5D邊界框。2.5D邊界框與3D邊界框的不同之處在于，后者包括所有三個維度，即邊界框的高度、寬度和長度。

環境和自我感知子系統的輸出以及功能監視器的結果在遠程CCC的GUI中可視化（參見第3節）。圖6描繪了遠程CCC的車輛選擇面板中功能監視器結果的可視化，其中使用了一個名為AI perception Validator的標志。旗幟的顏色表示功能監視器的不同結果：

（1）綠色 - 表示兩個對象列表之間的一致性，

（2）紅色 - 表示不一致，

（3）黑色 - 表示功能監視器中的AI感知驗證器組件未接收到數據。

圖6：實驗室環境中的功能監測評估：木制人體假人位于模型車輛的ROI內

在圖6的中心，兩個面板顯示了LiDAR攝像頭（上面板）和立體視覺攝像頭（下面板）的視圖，其中與每個對象列表相對應的邊界框在各自的傳感器視圖上以綠色突出顯示。此外，傳感器可視化面板描繪了圍繞模型車輛計算的ROI，包括以橙色標記的焦點區域和以綠色標記的清晰區域，如第3-B節所述。每個組件的實現都基于分散的中間件ROS2，通過發布-訂閱模式促進ROS2組件之間的通信。該解決方案提供了諸如運行時自適應和組件重新配置等優勢功能，符合AV的分布式特性，其中組件分布在不同的電子控制單元(ECU)上。此外，ROS2的實時功能使其適合確保ADS的安全性和可靠性。

B.測試場景和研究假設的定義

為了評估功能監控器概念，我們進行了基于場景的定性評估。我們定義了幾個測試場景以及工作假設來指導評估。測試場景從簡單到復雜，從單個靜態對象開始，通過在靜態環境中合并多個靜態對象逐漸增加場景復雜性。每個測試場景都包括對模型車輛及其環境的物理動作的描述。定義了以下三個測試場景來評估功能監控器：

測試場景1 (TS 1)。模型車輛靜止在測試軌道上，行人（由木制假人表示）放置在模型車輛前方，在其ROI之外。行人的位置使得LiDAR攝像頭可以檢測到行人，但立體視覺攝像頭無法檢測到行人。

測試場景2 (TS 2)。模型車輛靜止在測試軌道上，行人（由木制假人表示）放置在模型車輛前方，在其ROI內。行人的位置應使LiDAR攝像頭能夠檢測到行人，但立體視覺攝像頭無法檢測到。

測試場景3 (TS 3)。模型車輛靜止在測試跑道上，紅綠燈放置在模型車輛前方，位于其ROI內。紅綠燈的位置應使LiDAR攝像頭和立體視覺攝像頭都能夠檢測到它。

除了測試場景外，本文還制定了幾個研究假設來評估功能監視器的預期性能。功能監視器已在定義的測試場景中根據以下兩個假設進行了評估：

假設1 (H1)。功能監視器準確地識別出CAI對象列表和LAI對象列表彼此一致。

假設2 (H2)。功能監視器準確地識別出CAI對象列表和LAI對象列表彼此不一致。

C. 結果討論

表1列出了在為評估定義的所有測試場景中，功能監視器對假設H1和H2的評估結果。在TS 1中，木制假人放置在車輛前方且在其ROI之外，LiDAR攝像頭可以檢測到它，但立體視覺攝像頭無法檢測到它。在這種情況下，AI感知驗證器給出的結果一致，因為木制假人位于模型車輛的ROI之外，因此兩個處理后的對象列表均為空。因此，在TS 1中，假設H1為真，假設H2為假。CAI對象列表和LAI對象列表以及AI感知驗證器的標志在圖7中以可視化方式描述，其中AI感知驗證器的標志顯示為綠色狀態，表示“一致的對象列表”。

表1：功能監測器的評估結果

圖7：實驗室環境中的功能監測評估：位于模型車輛ROI之外的木制人體假人

在TS 2中，木制人體假人再次被放置在車輛前方，但這次是在其ROI內。人體假人的放置位置使得LiDAR攝像頭可以檢測到它，但立體視覺攝像頭無法檢測到它。在這種情況下，AI感知驗證器返回不一致，因為CAI對象列表或LAI對象列表中至少有一個不一致的對象，在本例中是人體假人。因此，在TS 2中，假設H1為假，假設H2為真。圖6顯示了CAI對象列表和LAI對象列表以及AI感知驗證器的標志。AI感知驗證器標志顯示紅色狀態，表示“對象列表不一致”，因為對象位于車輛的ROI內但彼此不對齊。在TS 3中，交通信號燈位于模型車輛前方的ROI內，因此LiDAR攝像頭和立體視覺攝像頭都可以檢測到它。在此場景中，AI感知驗證器返回一致，因為對象位于ROI內，并且被兩個傳感器檢測到。因此，在TS 3中，假設H1為真，假設H2為假。CAI對象列表和LAI對象列表以及AI感知驗證器的標志如圖8所示，其中AI感知驗證器標志顯示綠色狀態，表示“一致對象列表”。

在三個測試場景中獲得的結果證實了在定義的測試場景中制定的假設，表明功能監視器按預期運行。

圖8：實驗室環境中的功能監控評估：交通燈位于模型車輛的ROI內

05.結論

本文概述了一種在自動駕駛環境中使用的基于人工智能的環境感知系統的運行時監控和驗證方法。它以最初提出的可靠性籠子方法為基礎，特別關注ADS中的環境和自我感知子系統。環境感知由兩個冗余感知組件組成，負責在自車周圍環境中檢測物體，它們利用多個傳感器數據源，例如激光雷達和攝像頭。環境感知的可靠性籠子包括一個功能監視器和一個故障運行反應組件。功能監視器在運行時檢查兩個感知組件的輸出是否保持一致。同時，故障運行反應組件根據功能監視器的反饋決定ADS的故障安全或故障運行反應。本研究主要關注功能監視器，使用預定義的測試場景和實驗室環境中的模型車對其進行了定性評估。評估結果表明，功能監視器按預期工作。

評估中采用的測試場景集中在相對簡單的駕駛情況，包括靜止物體和靜止模型車。但是，在未來的工作中，我們計劃增強和擴展功能監視器的功能，使其涵蓋更復雜的場景，包括動態和靜態障礙物。此外，我們打算定義一種方法來定義適當的故障運行反應，以響應功能監視器發出的警告信號，優雅地降低ADS的功能。最后，我們計劃將功能監視器與情況監視器的概念相結合。這種集成使ADS能夠意識到在其環境中檢測到的新對象類別，從而增強其處理新環境情況的能力。最終，這種集成將有助于提高自動駕駛系統在多樣化和具有挑戰性的現實場景中的安全性和可靠性。

END