在車端AI計(jì)算平臺(tái)方面，軟件定義汽車意味著計(jì)算平臺(tái)設(shè)計(jì)必須考慮為將來3~5年甚至更長(zhǎng)時(shí)間的軟件功能升級(jí)需求預(yù)留足夠的算力，為滿足未來幾年自動(dòng)駕駛或者艙駕融合產(chǎn)品更高AI算力的需求，NVIDIA將于2024年為量產(chǎn)客戶提供是全球首款單芯片1000 TFLOPS FP8 AI算力 的DRIVE AGX Thor AI車端計(jì)算平臺(tái)。

2023年9月22日，在2023第三屆智能汽車域控制器與中央計(jì)算平臺(tái)創(chuàng)新峰會(huì)上，NVIDIA自動(dòng)駕駛軟件總監(jiān)馮棟棟表示，NVIDIA DRIVE是為軟件定義汽車推出的端到端平臺(tái)，包括DRIVE DRIVE AGX AI計(jì)算平臺(tái), DRIVE OS軟件平臺(tái)、DRIVE Hyperion數(shù)據(jù)采集和開發(fā)套件 、DRIVE Constellation虛擬仿真平臺(tái)和DGX高性能AI訓(xùn)練服務(wù)器。NVIDIA將會(huì)為更安全、高效的自動(dòng)駕駛和艙駕融合產(chǎn)品提供更高性能的AI計(jì)算平臺(tái)。

馮棟棟｜NVIDIA自動(dòng)駕駛軟件總監(jiān)

以下為演講內(nèi)容整理:

AI是汽車行業(yè)新的驅(qū)動(dòng)力

隨著近幾年網(wǎng)絡(luò)模型復(fù)雜性的不斷增加和模型參數(shù)的爆發(fā)式增長(zhǎng)，AI應(yīng)用提出了更高的算力要求，AI計(jì)算平臺(tái)作為基礎(chǔ)設(shè)施對(duì)數(shù)據(jù)中心端和車端艙駕跨域融合產(chǎn)品創(chuàng)新起著十分關(guān)鍵的作用。

NVIDIA在1999年推出了GPU圖形處理器激發(fā)了PC游戲市場(chǎng)的增長(zhǎng)，重新定義了現(xiàn)代計(jì)算機(jī)圖形。近幾年，數(shù)百TB 數(shù)據(jù)的深度推薦系統(tǒng)和包含數(shù)千億參數(shù)的對(duì)話式AI大模型對(duì)數(shù)據(jù)中心端提出了更高的算力需求，我們推出了讓大型模型能夠快速訪問大型內(nèi)存池的 Grace CPU 以及CPU+GPU 緊密結(jié)合的新架構(gòu)。NVIDIAGrace? CPU 提供高性能、高能效的計(jì)算資源，以滿足不同的數(shù)據(jù)中心和高性能計(jì)算機(jī)需求。NVIDIA Grace CPU 超級(jí)芯片采用NVLink - C2C 技術(shù)，可提供144 個(gè)ARM核和1 TB/s 的內(nèi)存帶寬。

NVIDIA Grace Hopper? 超級(jí)芯片將Grace CPU和Hopper 架構(gòu)GPU與NVIDIA NVLink? - C2C 相結(jié)合，為加速AI 和高性能計(jì)算 應(yīng)用提供 CPU + GPU 一致性內(nèi)存模型。NVIDIA BlueField? DPU (數(shù)據(jù)處理器)實(shí)現(xiàn)對(duì)各種高級(jí)網(wǎng)絡(luò)、存儲(chǔ)和安全服務(wù)進(jìn)行加速和隔離。NVIDIASmartNIC產(chǎn)品ConnectX-7提供多達(dá)4 個(gè)連接端口和400Gb/s 的吞吐量，可為AI 企業(yè)提供接近數(shù)據(jù)中心規(guī)模的硬件加速網(wǎng)絡(luò)、存儲(chǔ)、安全和管理服務(wù)。NVIDIA QuantumInfiniBand 交換機(jī)系列是為HPC和數(shù)據(jù)中心提供完整的交換機(jī)系統(tǒng)和網(wǎng)絡(luò)管理產(chǎn)品組合。

此外我們還提供車端AI 計(jì)算SOC 產(chǎn)品， 比如大家都比較熟悉的滿足Automotive 行業(yè)的 DRIVE Orin 和DRIVE Thor SOC 。

圖源:嘉賓演講素材

我們把NVIDIA GPU、CPU、DPU、NIC、Switch 和SOC 產(chǎn)品進(jìn)行組合提供更多的AI 計(jì)算平臺(tái)產(chǎn)品，包括服務(wù)于高性能AI數(shù)據(jù)中心的DGX、提供高性能計(jì)算機(jī)領(lǐng)域的HGX、服務(wù)邊緣端的EGX、提供Omniverse Cloud 服務(wù)的OVX以及支持自動(dòng)駕駛和艙駕融合產(chǎn)品的DRIVE AGX AI計(jì)算平臺(tái)。

在這些硬件平臺(tái)之上，我們持續(xù)迭代開發(fā)了很多軟件棧，比如CUDA并行計(jì)算和編程模型，CUDA-X AI 軟件加速庫集合，TensorRT?AI推理引擎和RTX光追加速?庫。在CUDA、CUDA-X、TensorRT?和RTX?的基礎(chǔ)上，我們推出了NVIDIA AI和NVIDIA Omniverse兩大平臺(tái)，在這些平臺(tái)上我們?yōu)楦餍袠I(yè)提供了豐富的AI框架和應(yīng)用，包括極端天氣預(yù)測(cè)和能源公司的數(shù)字孿生模擬、視頻會(huì)議分析、對(duì)話式AI、虛擬數(shù)字人、汽車自動(dòng)駕駛平臺(tái)和艙駕融合平臺(tái)、機(jī)器人、虛擬數(shù)字工廠、AI視頻分析、醫(yī)療設(shè)備開發(fā)和部署等。

NVIDIA GenerativeAI和Omniverse 平臺(tái)已經(jīng)在多個(gè)行業(yè)中廣泛應(yīng)用，NVIDIA Omniverse是一個(gè)工業(yè)數(shù)字化平臺(tái)。我們的多個(gè)OEM客戶基于GenerativeAI和Omniverse構(gòu)建自己的產(chǎn)品。比如通過我們的Omniverse進(jìn)行汽車概念設(shè)計(jì)、造型設(shè)計(jì)和工程設(shè)計(jì)、軟件和電子設(shè)計(jì)、智慧工廠產(chǎn)線、自動(dòng)駕駛仿真測(cè)試和汽車零售數(shù)字化體驗(yàn)等。汽車行業(yè)之所以積極實(shí)施數(shù)字化是因?yàn)镚enerativeAI和Omniverse可以幫助提高行業(yè)的效率、生產(chǎn)力并節(jié)省了大量的成本。

圖源:嘉賓演講素材

基于GenerativeAI以及Omniverse，我們的OEM客戶可以通過數(shù)字化實(shí)現(xiàn)全球協(xié)作，分布在全球不同區(qū)域的設(shè)計(jì)師和藝術(shù)家可以協(xié)同工作進(jìn)行設(shè)計(jì)方案圖像生成，外觀造型定制化和快速設(shè)計(jì)迭代。

客戶還可以部署自己的數(shù)字工廠進(jìn)行配置，也可以通過Omniverse生成工廠的仿真數(shù)據(jù)來訓(xùn)練工廠機(jī)器人。另外，通過Omniverse可以實(shí)現(xiàn)數(shù)字工廠的流程優(yōu)化和產(chǎn)線部署。

我們的客戶BMW使用Omniverse來規(guī)劃全球近36家工廠的運(yùn)營(yíng)，在2023年3月NVIDIA GTC上宣布了他們的首座數(shù)字工廠開業(yè)，該實(shí)體工廠將于2025年在匈牙利開業(yè)，通過數(shù)字化幫助OEM提前兩年規(guī)劃部署工廠。同時(shí)，BMW在Omniverse中使用NVIDIA Isaac Sim生成一些仿真數(shù)據(jù)對(duì)工廠機(jī)器人和機(jī)械手臂進(jìn)行相應(yīng)的訓(xùn)練和仿真測(cè)試。

梅賽德奔馳基于Omniverse構(gòu)建數(shù)字工廠，優(yōu)化和規(guī)劃未來新車型產(chǎn)線部署。沃爾沃和通用汽車通過Omniverse管理整個(gè)3D資產(chǎn)管道，連接他們的設(shè)計(jì)師、藝術(shù)家以及雕塑家來創(chuàng)建3D組件，并將這些3D組件虛擬地組裝成汽車的數(shù)字孿生體。在工程和仿真中通過Omniverse實(shí)現(xiàn)了可視化的空氣動(dòng)力學(xué)的仿真，從而縮短設(shè)計(jì)時(shí)間。豐田正在使用Omniverse來建立虛擬工廠，以優(yōu)化生產(chǎn)時(shí)間。 Lotus 正在使用Omniverse來搭建虛擬工廠和虛擬設(shè)計(jì)焊接站。Lucid Motors使用Omniverse基于真實(shí)的汽車設(shè)計(jì)數(shù)據(jù)建立數(shù)字商店，提升銷售服務(wù)體驗(yàn)。

圖源:嘉賓演講素材

隨著近幾年自動(dòng)駕駛越來越熱，我們的客戶已經(jīng)將NVIDIAAI計(jì)算平臺(tái)用在乘用車Robotaxis、卡車、低速物流車、無人巴士和農(nóng)用車領(lǐng)域上，我們相信在未來自動(dòng)駕駛技術(shù)將會(huì)應(yīng)用于更多的細(xì)分領(lǐng)域市場(chǎng)和應(yīng)用場(chǎng)景。過去燃油車時(shí)代，發(fā)動(dòng)機(jī)的馬力代表著動(dòng)力；當(dāng)前 AI 時(shí)代，AI計(jì)算平臺(tái)的算力將成為軟件定義汽車新的驅(qū)動(dòng)力。我們認(rèn)為，在未來，汽車不再是單純的交通工具，客戶期望的汽車形態(tài)將是由軟件定義的汽車。

高性能AI計(jì)算平臺(tái)在自動(dòng)駕駛的感知、建圖，規(guī)劃和決策方面都發(fā)揮著重要的作用。尤其是隨著Transformer 和BEV 在解決感知任務(wù)方面日趨成熟，并展現(xiàn)出卓越的性能。 這也是我們?yōu)槭裁匆恢敝铝τ谘邪l(fā)更高性能DRIVE Thor AI 計(jì)算平臺(tái)和DRIVE OS 7 軟件平臺(tái)來滿足未來幾年自動(dòng)駕駛和艙駕融合產(chǎn)品的對(duì)更高AI 算力需求。

在自動(dòng)駕駛的整個(gè)開發(fā)過程中，業(yè)界十分關(guān)注自動(dòng)駕駛Cornercase的場(chǎng)景如何解決。針對(duì)這一點(diǎn)，很多OEM都在部署相應(yīng)的仿真測(cè)試。大家普遍認(rèn)為自動(dòng)駕駛仿真有兩大挑戰(zhàn)。第一是如何生成一個(gè)具有足夠細(xì)節(jié)和真實(shí)的仿真場(chǎng)景，能夠讓自動(dòng)駕駛AI算法將仿真場(chǎng)景感知為真實(shí)的世界。第二是如何生成創(chuàng)建足夠大的數(shù)據(jù)集和場(chǎng)景集合，以覆蓋到自動(dòng)駕駛AI算法所需要的全面訓(xùn)練和測(cè)試的case。

圖源:嘉賓演講素材

為了應(yīng)對(duì)這些挑戰(zhàn)，我們開發(fā)了基于AI的工具集，包括Neural Reconstruction Engine?， Omniverse Replicator? 和DRIVE SIM?.

Neural Reconstruction Engine?，可以將真實(shí)世界的數(shù)據(jù)直接帶入仿真環(huán)境中，大大增加真實(shí)感并加快仿真數(shù)據(jù)的生產(chǎn)速度。也就是說可從采集視頻數(shù)據(jù)自動(dòng)的提取出環(huán)境、3D資源和場(chǎng)景然后轉(zhuǎn)換為交互式 3D 測(cè)試環(huán)境，開發(fā)者可在此環(huán)境中修改場(chǎng)景、添加合成對(duì)象 ，并應(yīng)用隨機(jī)化技術(shù)，使仿真場(chǎng)景更具挑戰(zhàn)性。

NVIDIA Omniverse Replicator?主要用來生成訓(xùn)練數(shù)據(jù)，借助Replicator?，開發(fā)者可以為corner case和復(fù)雜場(chǎng)景創(chuàng)建多樣化的合成數(shù)據(jù)集，包括基于物理傳感器數(shù)據(jù)和像素準(zhǔn)確的真值標(biāo)簽。這些標(biāo)簽包括深度、速度、遮擋和其他難以標(biāo)記的參數(shù)。我們的DRIVE Sim能夠?qū)I的算法進(jìn)行軟件的在環(huán)測(cè)試。

基于生成式AI，我們可以很方便的對(duì)構(gòu)建出來的原始3D資源進(jìn)行多樣化處理和編輯更改。比如針對(duì)交通路牌的2D文字，可以通過Neural Reconstruction Engine?增加涂鴉或者生成鐵銹斑點(diǎn)等等，用這些生成數(shù)據(jù)來訓(xùn)練感知網(wǎng)絡(luò)和測(cè)試驗(yàn)證。

NVIDIA DRIVE AI計(jì)算平臺(tái)

在智能座艙交互體驗(yàn)方面，我們做了許多創(chuàng)新的應(yīng)用。我們基于AI可以實(shí)現(xiàn)個(gè)人的數(shù)字助理以及推薦系統(tǒng)。比如通過AI數(shù)字人助理問答行駛過程中的非常見交通指示牌、AI數(shù)字人助理主動(dòng)提醒日程安排，以及通過DMS 系統(tǒng)探測(cè)到駕駛員疲勞而進(jìn)行咖啡店或者休息區(qū)推薦。

在自動(dòng)駕駛的開發(fā)過程中，通常要求端到端的數(shù)據(jù)閉環(huán)，包括數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)標(biāo)注、AI模型訓(xùn)練，再把訓(xùn)練后的模型部署在車端進(jìn)行相應(yīng)的行車、泊車、主動(dòng)安全，座艙AI的應(yīng)用的測(cè)試驗(yàn)證，以及基于SIL和HIL仿真測(cè)試。

為了賦能我們的客戶更加高效開發(fā)自動(dòng)駕駛以及艙駕融合產(chǎn)品來實(shí)現(xiàn)軟件定義汽車，我們推出靈活可擴(kuò)展的NVIDIA DRIVE 端到端平臺(tái)方案。DRIVE Hyperion 是NVIDIA 自動(dòng)駕駛數(shù)據(jù)采集和開發(fā)套件，該套件包含NVIDIA DRIVE AGX 計(jì)算平臺(tái)、主流傳感器。同時(shí)，集成DRIVE OS軟件平臺(tái) 、Driveworks中間件及數(shù)據(jù)采集相關(guān)的軟件。 我們的客戶、合作伙伴可以基于DRIVE Hyperion 開發(fā)套件快速搭建自動(dòng)駕駛數(shù)據(jù)采集車和測(cè)試車輛，從而進(jìn)行多傳感器數(shù)據(jù)采集和自動(dòng)駕駛算法測(cè)試驗(yàn)證。

DGX 是NVIDIA 為DNN 模型訓(xùn)練提供的高性能AI服務(wù)器。DGX?服務(wù)器，提供超高的計(jì)算密度、計(jì)算性能和靈活性。DGX?集成8 個(gè)NVIDIA 高性能Tensor Core GPU，每個(gè)GPU 配備NVIDIA? NVLink?，GPU 之間的雙向帶寬高達(dá)900GB/s。每臺(tái)DGX集成4個(gè)NVIDIA NvSwitch?；贒GX這些優(yōu)勢(shì)，用多臺(tái)DGX 結(jié)合NVIDIA DGX SupperPOD? 、NVIDIA BlueField?-3DPU及NVIDIA Base Command?可以構(gòu)建超級(jí)計(jì)算機(jī)或者AI 集群。為具有挑戰(zhàn)性的自動(dòng)駕駛海量數(shù)據(jù)進(jìn)行DNN模型訓(xùn)練和建圖提供靈活可擴(kuò)展的AI計(jì)算性能。

DRIVE Constellation? 虛擬仿真平臺(tái)可以幫助客戶在自動(dòng)駕駛汽車上路測(cè)試之前虛擬仿真幾乎所有的天氣環(huán)境、交通場(chǎng)景，道路場(chǎng)景和Corner Case，從而實(shí)現(xiàn)DNN模型和算法的仿真測(cè)試。DRIVE Constellation 系統(tǒng)由Simulator和Computer兩臺(tái)設(shè)備構(gòu)成，提供虛擬仿真功能和數(shù)據(jù)回放功能。

經(jīng)過仿真測(cè)試后的DNN模型和算法，可以部署在 DRIVE AGX Orin 或者DRIVE AGX Thor 車端平臺(tái)進(jìn)行相應(yīng)的自動(dòng)駕駛功能道路測(cè)試和驗(yàn)證。自動(dòng)駕駛車輛功能道路測(cè)試的過程中也可以進(jìn)行傳感器數(shù)據(jù)采集，因此，基于NVIDIA DRIVE 平臺(tái)進(jìn)行數(shù)據(jù)采集、數(shù)據(jù)訓(xùn)練，虛擬仿真，自動(dòng)駕駛道路測(cè)試驗(yàn)證就形成了一個(gè)數(shù)據(jù)閉環(huán)。

圖源:嘉賓演講素材

2018年我們推出了全球首款1 TOPS AI計(jì)算芯片Parker；2020年成功量產(chǎn)30TOPS芯片DRIVE Xavier；2022年成功量產(chǎn)254TOPS 并且符合功能安全的 DRIVE Orin芯片， DRIVE Orin相比DRIVE Xavier AI 推理性能提升8倍多。為了滿足未來幾年OEM和Tier1對(duì)更高算力AI計(jì)算芯片的需求，2024年將量產(chǎn)全球首款單芯片1000 TFLOPS的AI推理能力芯片DRIVE Thor。

圖源:嘉賓演講素材

目前還有很多車型在用分布式的電子電氣架構(gòu)，未來幾年大家將關(guān)注如何實(shí)現(xiàn)集中式架構(gòu)或中央架構(gòu)。為了滿足集中式架構(gòu)和中央架構(gòu)，我們正在研發(fā)DRIVE Thor計(jì)算平臺(tái)。DRIVE Thor是高性能集中式車載計(jì)算芯片，包含770億個(gè)晶體管，單芯片提供1000TFLOPSFP8精度的AI推理能力，并且集成了下一代Transformer引擎，能夠更好的支持Transformer 大模型推理。Transformer 引擎支持FP8 和FP16混合精度，從而減少內(nèi)存占用并提高性能，同時(shí)仍能保持大型模型的準(zhǔn)確性。

圖源:嘉賓演講素材

DRIVE Thor SOC 既支持高階自動(dòng)自動(dòng)駕駛，也支持艙駕融合產(chǎn)品需求。為更好地解決艙駕融合產(chǎn)品功能安全域和非功能安全域的GPU隔離問題，DRIVE Thor 支持MIG 隔離技術(shù)，把不同GPC 隔離開并分配給自動(dòng)駕駛域和座艙域使用。另外，我們把用于數(shù)據(jù)中心產(chǎn)品的NVLink-C2C技術(shù)首次引入到車端AI計(jì)算芯片DRIVE Thor。NVLink-C2C互連技術(shù)可提供統(tǒng)一的，緩存一致性的內(nèi)存地址空間，從而能夠簡(jiǎn)化可編程性。基于NVLink-C2C實(shí)現(xiàn)的DRIVE Thor Supper Chip可提供2000 TOPS FP8 AI 推理能力。

NVIDIA DRIVE OS軟件平臺(tái)

目前，我們?cè)谌蛞呀?jīng)有40多個(gè)客戶基于DRIVE Orin平臺(tái)開發(fā)自動(dòng)駕駛產(chǎn)品，20多個(gè)OEM已經(jīng)成功量產(chǎn)交付。為了讓當(dāng)前DRIVE Orin平臺(tái)上客戶開發(fā)的應(yīng)用軟件和算法能平滑遷移到DRIVE Thor平臺(tái)和DRIVEOS7上，我們提供統(tǒng)一軟件架構(gòu)和API兼容。

對(duì)有功能安全需求的客戶，我們提供的符合功能安全的并且通過第三方權(quán)威機(jī)構(gòu) TUV SUD 認(rèn)證的DREIVE OS QNX 給客戶。我們通過CUDA 生態(tài)系統(tǒng)提供大量的CUDA 算子庫，幫助客戶加速自動(dòng)駕駛軟件的開發(fā)。此外，我們還提供DNN模型訓(xùn)練DGX AI服務(wù)器和數(shù)據(jù)中心產(chǎn)品。

基于艙駕融合產(chǎn)品的需求，我們正在研發(fā)DRIVE OS 7，DRIVE OS 7 將最大化沿用現(xiàn)有DRIVE OS 6的架構(gòu)，在現(xiàn)有虛擬化架構(gòu)上增加對(duì)儀表域和Infotainment域的支持，儀表域支持Linux或QNXOS，Infotainment域支持AndroidAutomotive，智駕域支持Linux或QNXOS?；贒RIVE OS 7靈活可配置的架構(gòu)，可以很方便的配置多種OS配置組合，滿足不同客戶的需求。

DIRVE OS 7最大化兼容DRIVE OS 6 軟件平臺(tái)的NvMedia、Nvstreams、CUDA和TensorRT SDK功能和接口。OEM 、Tier 1 和算法公司基于DRIVE Orin 計(jì)算平臺(tái)開發(fā)的自動(dòng)駕駛和艙駕融合軟件可以高效、快速地遷移到DRIVE Thor計(jì)算平臺(tái)DRIVE OS 7 軟件平臺(tái)。

NvMedia實(shí)現(xiàn)Camera Image Capture、Image 2D process、ISP Processing 、Camera data encode/decode以及camera image pipeline的搭建。

NvStreams 高效地在CPU、GPU、可編程視覺加速器PVA之間共享Image data buffer， 并處理同步控制數(shù)據(jù)流以及在多個(gè)硬件加速引擎之間的數(shù)據(jù)依賴。

TensorRT是NVIDIA高性能深度學(xué)習(xí)推理平臺(tái)，包括AI實(shí)時(shí)推理引擎和優(yōu)化工具。訓(xùn)練好的AI模型可以使用TensorRT Optimizer進(jìn)行網(wǎng)絡(luò)層優(yōu)化和量化，然后生成TensorRT Runtime Engine 并部署到DRIVE Orin或者DRIVE Thor 車端計(jì)算平臺(tái)進(jìn)行實(shí)時(shí)AI Inference。

CUDA是NVIDIA GPU上開發(fā)的用于通用計(jì)算的并行計(jì)算平臺(tái)和編程模型。NVIDIA 2006年發(fā)布CUDA以來，CUDA 已經(jīng)被廣泛部署到高性能計(jì)算機(jī)，數(shù)據(jù)中心，工作站，電腦，IOT 邊緣設(shè)備和自動(dòng)駕駛汽車。2021 年CUDA下載量達(dá)到8百萬次，全球的開發(fā)者超過3百萬人。

NVIDIA DRIVE 是我們?yōu)檐浖x汽車推出的端到端平臺(tái)，包括DRIVE DRIVE AGX AI 計(jì)算平臺(tái)、DRIVE OS 軟件平臺(tái)、DRIVE Hyperion 數(shù)據(jù)采集和開發(fā)套件、DRIVE Constellation虛擬仿真平臺(tái)和DGX高性能AI訓(xùn)練服務(wù)器。另外，NVIDIA Omniverse 平臺(tái)也可以幫助OEM 在汽車概念、造型設(shè)計(jì)、工程設(shè)計(jì)、智慧工廠產(chǎn)線部署和零售體驗(yàn)方面降本增效。

我們已經(jīng)在各個(gè)層面與行業(yè)內(nèi)的乘用車，商用車主機(jī)廠，Tire 1，算法供應(yīng)商，合作伙伴展開深度合作。NVIDIA將繼續(xù)為更安全、更高效的自動(dòng)駕駛和艙駕融合產(chǎn)品提供集中式高性能AI計(jì)算平臺(tái)。

鄭重聲明：此文內(nèi)容為本網(wǎng)站轉(zhuǎn)載企業(yè)宣傳資訊，目的在于傳播更多信息，與本站立場(chǎng)無關(guān)。僅供讀者參考，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。