端到端的三大劃分

有的朋友看到這里可能有些懵，端到端也有不同劃分？是的沒(méi)錯(cuò)，目前端到端主要可以劃分成三類(lèi)（目前存在多種不同劃分，為了便于大家理解，本文只列舉英偉達(dá)GTC大會(huì)的劃分），如圖8所示可以分成顯式端到端、隱式端到端、基于大語(yǔ)言模型的端到端。

顯式端到端

顯式端到端自動(dòng)駕駛將原有的算法模塊以神經(jīng)網(wǎng)絡(luò)進(jìn)行替代，并連接形成端到端算法。該算法包含可見(jiàn)的算法模塊，可以輸出中間結(jié)果，當(dāng)進(jìn)行故障回溯時(shí)可以一定程度上進(jìn)行白盒化調(diào)整。在這個(gè)情況下，便不再需要工程師一行一行去敲代碼來(lái)撰寫(xiě)規(guī)則了，決策規(guī)劃模塊從手寫(xiě)規(guī)則向基于深度學(xué)習(xí)的模式進(jìn)行轉(zhuǎn)變。

看起來(lái)有些抽象難懂，我們用大白話(huà)來(lái)講的話(huà)就是端到端了但又沒(méi)有完全端到端（也叫做模塊化的端到端），而所謂的白盒其實(shí)是相對(duì)于黑盒而言的，在后面隱式端到的部分我會(huì)用新手司機(jī)的例子來(lái)展開(kāi)講，這里看不懂不要緊可以先行跳過(guò)。

獲得2023年CVPR最佳論文的UniAD模型就是采用的顯式端到端，如下圖所示，我們能夠明顯觀察到各個(gè)感知、預(yù)測(cè)規(guī)劃等模塊采用了向量的方式進(jìn)行連接。

注：顯示端到端需要結(jié)合隱式端到端一起理解，不要孤立開(kāi)；顯式端到端還可以劃分為感知端到端、決策規(guī)劃端到端

隱式端到端

隱式的端到端算法構(gòu)建整體化的基礎(chǔ)模型，利用海量的傳感器接收的外部環(huán)境數(shù)據(jù)，忽略中間過(guò)程，直接監(jiān)督最終控制信號(hào)進(jìn)行訓(xùn)練。“技術(shù)原教旨主義者”認(rèn)為如圖9這樣的傳感器信息一頭進(jìn)入另一頭直接輸出控制信號(hào)的端到端才是真正的端到端，中間沒(méi)有任何額外模塊。

前面我們提過(guò)顯式端到端，通過(guò)比較圖8和圖9，能夠看出明顯的區(qū)別就是：隱式一體化的全局端到端中間沒(méi)有各個(gè)模塊，只有神經(jīng)網(wǎng)絡(luò)存在（傳感器就是它觀看世界的方式，中間的端到端系統(tǒng)就是它的完整的大腦，方向盤(pán)、剎車(chē)油門(mén)就是它的四肢）；而顯式端到端不同的地方在于它把中間完整的大腦按照模塊化的方式給分開(kāi)了，雖然它不再需要編寫(xiě)代碼去學(xué)習(xí)各種各樣的規(guī)則，已經(jīng)逐漸可以通過(guò)觀看老司機(jī)視頻的方式學(xué)習(xí)，但是，它依舊是分模塊去做的，所以批評(píng)的聲音會(huì)認(rèn)為其不是真正意義上的端到端。

但這樣做也有它的好處，我們?cè)谇懊嫣岬竭^(guò)顯式端到端在一定程度上是白盒的，這是因?yàn)楫?dāng)我們的車(chē)輛通過(guò)學(xué)習(xí)涌現(xiàn)出一些我們不期望的糟糕行為時(shí)，我們可以回溯究竟是哪個(gè)模塊的端到端出現(xiàn)了問(wèn)題，而作為黑盒模型的隱式端到端則無(wú)從下手，因?yàn)樗峭耆惑w化的，創(chuàng)造它的人也不知道它為什么會(huì)這樣做（這就是大家老在網(wǎng)上聽(tīng)到的黑盒的大概意思）。

生成式AI大模型的端到端

ChatGPT為自動(dòng)駕駛帶來(lái)了極大的啟發(fā)。它運(yùn)用無(wú)需標(biāo)注且成本低廉的海量數(shù)據(jù)進(jìn)行訓(xùn)練，還具備人機(jī)互動(dòng)以及回答問(wèn)題的功能。自動(dòng)駕駛可以效仿這種人機(jī)互動(dòng)的模式，輸入環(huán)境方面的問(wèn)題，它直接輸出駕駛決策，通過(guò)基于大語(yǔ)言模型的端到端來(lái)完成這些任務(wù)的訓(xùn)練運(yùn)算。

AI大模型的主要作用有兩點(diǎn)，一是可以低成本生成海量接近真實(shí)的、包含Corner Case（自動(dòng)駕駛過(guò)程中很少出現(xiàn)但可能導(dǎo)致危險(xiǎn)的異常情況）的多樣化訓(xùn)練視頻數(shù)據(jù)，二是采用強(qiáng)化學(xué)習(xí)的方法來(lái)達(dá)到端到端的效果，從視頻感知到直接輸出駕駛決策。其核心就是模型可以通過(guò)自然數(shù)據(jù)自己推理學(xué)習(xí)因果，不再需要標(biāo)注，模型整體的泛化能力得到大幅度提升，類(lèi)似ChatGPT那樣，以自回歸的方式從上一個(gè)場(chǎng)景預(yù)測(cè)下一個(gè)場(chǎng)景。

讓我們用更簡(jiǎn)單的話(huà)來(lái)講一下大模型對(duì)于端到端的重要性：

目前自動(dòng)駕駛數(shù)據(jù)庫(kù)的價(jià)值極低：通常包括兩種數(shù)據(jù)，一種是正常行駛情況，千篇一律，占公開(kāi)數(shù)據(jù)約 90%，如特斯拉影子模式。馬斯克承認(rèn)這種數(shù)據(jù)價(jià)值較低，有效性可能僅萬(wàn)分之一甚至更低。另一種就是事故數(shù)據(jù)即錯(cuò)誤示范。用其做端到端訓(xùn)練，要么只能適應(yīng)有限工況，要么會(huì)出錯(cuò)。端到端是黑盒子，無(wú)法解釋、只有相關(guān)性，需高質(zhì)量、多樣化的數(shù)據(jù)，訓(xùn)練結(jié)果才可能好點(diǎn)。

端到端需先解決數(shù)據(jù)問(wèn)題，靠外界采集不太可行，因?yàn)槌杀靖?、效率低且缺乏多樣化和交互（自?chē)與其他車(chē)輛、環(huán)境的交互，需昂貴人工標(biāo)注），因此引入生成式AI大模型，它能制造海量多樣化的數(shù)據(jù)，減少人工標(biāo)注，降低成本。

除此之外大語(yǔ)言模型端到端的核心邏輯是預(yù)測(cè)未來(lái)發(fā)展，本質(zhì)是習(xí)得因果關(guān)系。當(dāng)前神經(jīng)網(wǎng)絡(luò)與人類(lèi)有差距，神經(jīng)網(wǎng)絡(luò)是概率輸出，知其然而不知其所以然；人類(lèi)可通過(guò)觀察及無(wú)監(jiān)督交互學(xué)習(xí)物理世界運(yùn)行常識(shí)，能判斷合理與不可能，通過(guò)少量試驗(yàn)學(xué)習(xí)新技能并預(yù)測(cè)自身行為后果。而生成式AI端到端大模型就是希望神經(jīng)網(wǎng)絡(luò)也具備像人類(lèi)這樣舉一反三的能力。

舉個(gè)例子來(lái)說(shuō)：我們?nèi)祟?lèi)司機(jī)肯定會(huì)遇到一些沒(méi)有見(jiàn)過(guò)但可能有危險(xiǎn)的情況，雖然沒(méi)有經(jīng)歷過(guò)，但是通過(guò)往的經(jīng)驗(yàn)我們可以推斷出這個(gè)情況做什么才能保住小命（比如我們可能都沒(méi)有經(jīng)歷過(guò)路上出現(xiàn)一個(gè)霸王龍的現(xiàn)象，但當(dāng)霸王龍真的出現(xiàn)后，我們肯定會(huì)抓緊開(kāi)車(chē)逃跑），通過(guò)過(guò)往經(jīng)驗(yàn)推測(cè)并判斷行為合理與否，這就是我們希望大語(yǔ)言模型端到端做的事情，希望我們的車(chē)輛真正地像人一樣開(kāi)車(chē)。

圖11.華為ads3.0本能安全網(wǎng)絡(luò)

2.1特斯拉FSD V12的前世

特斯拉智能駕駛的發(fā)展史在一定程度上反應(yīng)了自動(dòng)駕駛行業(yè)最重要的一條路線(xiàn)的發(fā)展史，在2014年時(shí)，特斯拉發(fā)布第一代硬件Hardware 1.0，軟硬件均由Mobileye（一家以色列的汽車(chē)科技公司）提供，然而整體合作隨著2016年特斯拉“全球首宗自動(dòng)駕駛致命事故”而結(jié)束（這里的核心原因在于Mobileye提供的是封閉黑盒方案，特斯拉不能修改其中的算法，而且還不能與Mobileye共享車(chē)輛數(shù)據(jù)）。

而且BEV+Transformer可以消除遮擋和重疊，實(shí)現(xiàn)“局部”端到端優(yōu)化，感知和預(yù)測(cè)都在同一個(gè)空間進(jìn)行，輸出“并行”結(jié)果。

（3）Occupancy Network占用網(wǎng)絡(luò)——2022年特斯拉AI DAY公布

Occupancy占用網(wǎng)絡(luò)的加入讓BEV從2D變成了真正意義上的3D（如圖16所示），并且在加入時(shí)間流信息（基于光流法）之后，完成了由3D向4D的過(guò)度。

Occupancy Network占用網(wǎng)絡(luò)引入了高度信息，實(shí)現(xiàn)了真正的3D感知。在之前的版本中，車(chē)輛可以識(shí)別訓(xùn)練數(shù)據(jù)集中出現(xiàn)的物體，但對(duì)于未見(jiàn)過(guò)的物體則無(wú)法識(shí)別，而且即使認(rèn)識(shí)該物體，在BEV中也只能判斷其占據(jù)一定程度的方塊面積，而無(wú)法獲取實(shí)際形狀。Occupancy網(wǎng)絡(luò)通過(guò)將車(chē)輛周?chē)?D空間劃分成許多小方塊（體素），實(shí)現(xiàn)了對(duì)每個(gè)體素是否被占據(jù)的判斷（其核心任務(wù)不在于識(shí)別是什么，而是在于判斷每一個(gè)體素中是否有東西被占據(jù)）。

這就像你在迷霧中開(kāi)車(chē)，雖然看不清楚前面是什么，但你大概知道前面有障礙物，你需要繞過(guò)去。

Occupancy Network也是通過(guò)Transformer來(lái)實(shí)現(xiàn)的，最終輸出Occupancy Volume（物體所占據(jù)的體積）和Occupancy flow（時(shí)間流）。也就是附近的物體占據(jù)了多大的體積，而時(shí)間流則是通過(guò)光流法來(lái)判斷的。