摘要

確保自動駕駛系統中深度學習模型的安全性至關重要。為符合汽車安全標準 ISO 21448，我們提出將不確定性作為一種新的補充評估標準，以確保基于深度學習的系統的預期功能安全性（SOTIF）。為評估和改進自動駕駛系統的軌跡預測功能，考慮到資源和響應時間的限制，我們采用認知不確定性作為評估標準，該不確定性通過單前向傳播模型進行量化。基于 CARLA 模擬器收集的數據進行的實驗結果表明，不確定性標準能夠檢測出未知駕駛場景中具有潛在危害性的功能缺陷，并最終促使模型進行額外學習。

1、引言

在機器學習領域，深度學習在過去十年中取得了多項技術突破，其在各類任務中的性能迅速提升。如今，深度學習被廣泛應用于感知和規劃子系統的實現，推動了高級駕駛自動化的發展。目前，除深度學習的性能外，不確定性問題也正受到嚴肅關注。在自動駕駛領域，不確定性問題同樣值得探討。

安全性是汽車最重要的考量因素。因此，汽車行業遵循 ISO 26262 和 ISO 21448 等汽車安全標準進行汽車研發。ISO 26262 旨在確保系統的功能安全，而 ISO 21448 旨在確保系統的預期功能安全性（SOTIF）。ISO 26262 僅處理深度學習模型軟件層面的故障。ISO 21448 的發布是為了彌補 ISO 26262 覆蓋范圍的不足，它主要針對模型預期功能中的缺陷。ISO 26262 強調，應明確規定深度學習訓練和測試的合格 / 不合格標準。然而，深度學習模型具有非線性特征且缺乏形式化驗證方法，要對其進行全面驗證難度極大，因此需要補充驗證手段。

深度學習存在不確定性問題，ISO 21448 雖簡要提及了機器學習的不確定性，但在自動駕駛系統的設計中，并未積極考慮這一具有潛在危險性的不確定性問題。本文提出，通過量化自動駕駛所用深度學習模型輸出的不確定性，將其用作深度學習模型的合格 / 不合格標準，以及駕駛控制權的備用標準。第 2 節將闡述安全標準、不確定性類型及不確定性量化方法。第 3 節將介紹不確定性量化在自動駕駛軌跡預測功能中的應用方法，并呈現實驗結果。第 4 節將討論未來工作并總結全文。

2、背景與相關工作

2.1 汽車安全標準

ISO 26262

ISO 26262 是一項通過確保功能安全來指導汽車系統開發的國際標準。根據 ISO 26262，安全目標會被分解為功能安全要求，系統的開發需滿足這些規范。為防止故障引發的危險演變為不合理風險，必須實施符合功能安全要求的安全措施。通過驗證和確認這些安全措施滿足要求，可確保汽車系統的功能安全。

如果將高級駕駛輔助系統（ADAS）和自動駕駛系統中的深度學習模型視為一種通過一系列計算操作接收輸入并生成輸出的軟件，那么遵循 ISO 26262 可通過檢查軟件架構或代碼是否存在問題，確保模型的功能安全。但通過深度神經網絡訓練完成的深度學習模型，其范式與現有汽車軟件完全不同。深度學習的預測過程和性能限制并不直觀，難以在規范中進行解釋說明。僅依靠現有的 ISO 26262 標準，無法使基于深度學習的軟件確保汽車的安全性。

ISO 21448

為彌補 ISO 26262 的覆蓋范圍缺陷，針對 SOTIF 的 ISO 21448 標準應運而生。ISO 21448 假設功能安全已得到保障，主要解決無故障系統中可能出現的風險。系統的功能缺陷可能導致危害，進而引發風險。ISO 21448 旨在通過盡可能降低不合理風險，實現預期功能安全性（SOTIF）。在 SOTIF 工作流程中，會定義驗收標準，以證明已識別危險不存在不合理風險。通過在已知和未知場景中進行測試等驗證工作，提供充分可信的證據證明已達到驗收標準，即可確保 SOTIF。有關 SOTIF 活動的詳細信息，可參見附錄 A 中的圖 2 和圖 3。

明確深度學習模型的 SOTIF 保障標準，與通用汽車軟件的情況有所不同。例如，在執行目標檢測或分類任務的深度學習模型中，訓練和測試階段可將誤報率和漏報率用作合格 / 不合格標準。在車輛層面，可將單位行駛距離內的事故率作為判斷感知子系統預期功能是否存在功能缺陷的標準。但要提供 SOTIF 的相關證據，還需要補充標準來驗證可解釋性較低的深度學習模型。在這種情況下，不確定性可作為一個候選標準。

2.2 不確定性類型

分類器模型在做出預測的同時輸出的概率向量，難以作為衡量對分布外輸入數據所生成輸出的置信度的有效指標。要評估深度學習模型在任意分布下的安全性，需要對輸出的不確定性進行量化。

隨機不確定性

隨機不確定性是對由傳感器噪聲和駕駛環境隨機性導致的數據模糊性進行量化的指標。由于噪聲和隨機性是數據固有的屬性，因此增加訓練數據量無法降低隨機不確定性。鑒于其不可約性，隨機不確定性并非本文的主要研究范圍。

認知不確定性

認知不確定性是對模型解釋數據所需知識的缺失程度進行量化的指標。換句話說，它體現了訓練數據分布無法準確逼近真實世界的局限性。通過將之前未見過的數據作為額外訓練數據提供給模型并更新模型，可降低認知不確定性。

2.3 不確定性量化方法

目前主流的不確定性量化方法可分為四類：貝葉斯模型、蒙特卡洛 dropout、深度集成和確定性單前向傳播方法。這些方法的實現方式差異顯著，且各具特點，因此建議根據應用的領域和任務選擇最合適的方法。表 1 總結了這四種方法的特性對比。

表 1、主流不確定性量化方法的特性總結

已有部分研究將不確定性量化應用于自動駕駛領域，其中大部分采用了深度集成架構。但與典型的深度神經網絡相比，深度集成存在一定的權衡 —— 構成集成的多個網絡必須同時進行訓練和推理，這在帶來收益的同時也存在效率低下的問題。由于自動駕駛系統運行在邊緣硬件上，要求以盡可能少的資源和計算能力運行。此外，出于安全考慮，還要求以盡可能短的運行時間提供快速響應。綜合效率因素，我們認為參數數量少、計算負擔低的確定性單前向傳播方法更為合適，因此選擇了當前主流方法之一的深度確定性不確定性（DDU）作為本文的不確定性量化方法。

3、不確定性作為基于深度學習的軌跡預測模型SOTIF的評估標準

我們將不確定性量化應用于自動駕駛決策所需的關鍵功能 —— 軌跡預測中。首先，我們從 CARLA 模擬器收集駕駛數據作為數據集。模型的輸入數據包括車輛的狀態向量和表示車輛周圍環境的鳥瞰圖圖像。我們僅使用單個模型進行訓練和推理。該模型基于 ResNet 架構，殘差塊和譜歸一化通過良好地正則化特征空間并將對輸入的敏感性維持在適當水平，提高了模型的泛化能力。有關數據集和網絡架構的詳細信息，可參見附錄 B。

我們的模型預測每輛車的未來速度和未來偏航角。我們將速度和偏航角的連續值劃分為多個小區間，模型將預測概率最高的那個區間類別作為結果。除獲取預測結果外，通過將驗證數據輸入凍結的模型，我們還可以分別得到兩個表示速度和偏航角特征空間的高斯混合模型（GMM）。有關所獲高斯混合模型（GMM）的詳細信息，可參見附錄 C 中的圖 4。所得到的高斯混合模型（GMM）通過高斯判別分析（GDA）用于量化預測速度和偏航角的認知不確定性。認知不確定性是由高斯混合模型（GMM）等密度模型表示的特征空間的邊際似然。我們對預測的速度和偏航角進行插值，以計算未來軌跡。如果速度的不確定性較高，則可解釋為軌跡的縱向不確定性較高；如果偏航角的不確定性較高，則可解釋為軌跡的橫向不確定性較高。圖 1 描述了在軌跡預測任務中量化不確定性并將其用作 SOTIF 標準的工作流程。

如圖 1 所示、該圖為所提出的將量化不確定性用作深度學習模型軌跡預測任務 SOTIF 評估合格 / 不合格標準的簡化工作流程

如第 2 節所述，深度學習模型的評估應在已知和未知場景中均進行。對于已知場景，可將深度學習模型評估中常用的指標定義為目標要求。而對于未知場景，由于現實世界中存在大量長尾案例，提前設定標準難度較大。例如，無法為自動駕駛車輛可能遇到的所有駕駛場景制定標準。ISO 26262 僅建議通過大量測試來減少未知場景，并將累積測試時長和場景類型作為標準。

我們提出，認知不確定性可作為識別未知場景的標準。將其應用于我們的深度學習模型時，在評估過程中，如果模型在特定場景下提供的預測軌跡的認知不確定性被估計為較高，則可解釋為由于模型知識不足導致預測錯誤，該場景下自動駕駛功能可能會失效。作為模型的合格 / 不合格標準，認知不確定性可作為未知場景中是否需要額外訓練的指標。在我們的實驗中，高速公路環境屬于模型的分布外場景。表 2 顯示，高速公路場景中的不確定性測量值較高，可被判定為未知場景，且經過額外訓練后，不確定性可降低。有關實驗結果示例，可參見附錄 D 中的圖 5 和圖 6。

表 2、兩種不同駕駛場景下的認知不確定性均值對比。我們對不確定性進行歸一化處理，使其值大于 0。認知不確定性均值是場景執行時間內量化不確定性的平均值。該值為相對值，以已知場景中的數值為 1

如果模型被判定為滿足合格 / 不合格標準且確保了 SOTIF，則該模型將被部署為自動駕駛系統并在現實世界中運行。自動駕駛車輛可能會遇到違反 SOTIF 的長尾案例。由于深度學習模型設計為即使在因知識不足而存在不確定性的情況下也能產生輸出，因此可能會做出錯誤預測。在這種情況下，認知不確定性可作為備用機制的啟動信號。當估計的不確定性較高，預計會出現功能缺陷或潛在危害時，為防止事故發生，系統可將控制權移交給人類駕駛員或采取緊急措施。有關不確定性作為 SOTIF 活動中標準的詳細信息，可參見附錄 A 中的圖 3。

4、結論

在軌跡預測任務中，我們通過單前向傳播深度學習模型對不確定性進行量化，并將其用作 SOTIF 評估的標準。如果認知不確定性超過設定標準，則認為該場景可能存在潛在危險，因此我們會收集額外數據并進行額外訓練。實驗結果表明，不確定性有望用作判斷自動駕駛系統在未知場景中功能缺陷的標準。

已有研究利用不確定性對端到端自動駕駛系統進行在線學習。不確定性量化在自動駕駛系統的評估和學習中似乎具有應用潛力。但對于不確定性量化過程中產生的資源和時間消耗問題，仍需進一步研究解決。

附錄

A ISO 21448 中描述的預期功能安全性（SOTIF）活動

預期功能安全性（SOTIF）活動的目標是最大限度增加已知場景的數量，同時最大限度減少危害場景的數量。因此，通過擴大已知場景集合，安全置信度將得到提升；通過減少危害場景集合，殘余風險將有所降低。這些活動最終將確保預期功能安全性（SOTIF）的實現。圖 2 展示了隨著預期功能安全性（SOTIF）活動的推進，場景的演變過程。

圖 2、預期功能安全性（SOTIF）活動帶來的場景演變

圓形代表場景集合的分布情況，圓形周圍的箭頭表示由于預期功能安全性（SOTIF）活動而導致的場景集合增減。場景分為四類：已知安全場景、未知安全場景、已知危害場景和未知危害場景。

我們認為，在 ISO 21448 標準中構成預期功能安全性（SOTIF）活動的兩個階段中，均可利用不確定性。在未知場景評估階段，不確定性可作為深度學習模型的合格 / 不合格判定標準；而在運行階段活動中，不確定性可作為基于深度學習模型的自動駕駛系統的備用判定標準。圖 3 展示了不確定性在預期功能安全性（SOTIF）活動中的適用性。

圖 3、不確定性作為基于深度學習模型的自動駕駛系統的合格 / 不合格標準及備用標準，在預期功能安全性（SOTIF）活動中的適用性

該部分用紅色虛線框標記。

B 數據集與網絡架構詳情

我們的車輛狀態向量數據是在 CARLA 模擬器上以 20Hz 的頻率采集的。表 3 列出了狀態向量的數據構成。訓練數據的采集環境為 Town03 地圖，這是一個城市環境，包含最多 4 車道的道路、多個十字路口和環島；用于在未知場景中評估模型的數據，其采集環境為 Town06 地圖，這是一個高速公路環境，包含最多 12 車道的道路。

鳥瞰圖圖像并非直接從 CARLA 模擬器采集，而是利用收集到的道路和車輛數據抽象繪制而成。該鳥瞰圖圖像通過標注每條車道的虛擬中心線來展示道路結構，同時也會顯示距離某一車輛一定范圍內的周邊車輛。

表 3、從 CARLA 模擬器采集的車輛狀態向量的數據構成

我們使用訓練數據集中未包含的駕駛環境數據，來評估未知場景中認知不確定性是否會升高。盡管本研究使用預處理后的仿真數據作為輸入，但我們的預測模型仍有潛力與處理傳感器原始數據的感知模型集成，從而構建完整的自動駕駛系統。

我們基于 ResNet 的模型深度較淺，由 4 個卷積塊和隨后的 4 個全連接塊組成。每個塊包含 2 層，且塊與塊之間存在殘差連接。每一層都應用了譜歸一化。卷積塊的第一層以鳥瞰圖圖像作為輸入；全連接塊的第一層以一個向量作為輸入，該向量由展平后的卷積特征圖與狀態向量拼接而成。

C 表征預測模型特征空間的高斯混合模型（GMM）

我們利用網絡最后一層（即輸出層）的輸入 —— 特征嵌入，計算了類別層面的均值和協方差，然后將高斯混合模型（GMM）擬合到這些類別上。構成高斯混合模型（GMM）的高斯分布數量與類別數量一致。圖 4 展示了通過主成分分析（PCA）得到的、表征我們預測模型特征空間的高斯混合模型（GMM）的二維和三維可視化結果。

圖 4、表征模型特征空間的高斯混合模型（GMM）的二維與三維可視化

（a）速度高斯混合模型（GMM）的二維投影 （b）偏航角高斯混合模型（GMM）的二維投影（c）速度高斯混合模型（GMM）的三維投影 （d）偏航角高斯混合模型（GMM）的三維投影

D CARLA 仿真中預測軌跡與量化不確定性的示例

圖 5、CARLA 模擬器 Town03 地圖（城市環境）中的預測軌跡與量化不確定性

由于該環境是模型經過訓練的環境，因此不確定性較低，軌跡預測結果正常。

圖 6、CARLA 模擬器 Town06 地圖（高速公路環境）中的預測軌跡與量化不確定性

由于該環境是模型未經過訓練的環境，因此不確定性較高，軌跡預測結果與實際情況存在偏差，屬于預期功能安全性（SOTIF）視角下的未知危害場景。