在車端AI計(jì)算平臺(tái)方面,軟件定義汽車意味著計(jì)算平臺(tái)設(shè)計(jì)必須考慮為將來3~5年甚至更長(zhǎng)時(shí)間的軟件功能升級(jí)需求預(yù)留足夠的算力,為滿足未來幾年自動(dòng)駕駛或者艙駕融合產(chǎn)品更高AI算力的需求,NVIDIA將于2024年為量產(chǎn)客戶提供是全球首款單芯片1000 TFLOPS FP8 AI算力 的DRIVE AGX Thor AI車端計(jì)算平臺(tái)。
2023年9月22日,在2023第三屆智能汽車域控制器與中央計(jì)算平臺(tái)創(chuàng)新峰會(huì)上,NVIDIA自動(dòng)駕駛軟件總監(jiān)馮棟棟表示,NVIDIA DRIVE是為軟件定義汽車推出的端到端平臺(tái),包括DRIVE DRIVE AGX AI計(jì)算平臺(tái), DRIVE OS軟件平臺(tái)、DRIVE Hyperion數(shù)據(jù)采集和開發(fā)套件 、DRIVE Constellation虛擬仿真平臺(tái)和DGX高性能AI訓(xùn)練服務(wù)器。NVIDIA將會(huì)為更安全、高效的自動(dòng)駕駛和艙駕融合產(chǎn)品提供更高性能的AI計(jì)算平臺(tái)。
馮棟棟|NVIDIA自動(dòng)駕駛軟件總監(jiān)
以下為演講內(nèi)容整理:
AI是汽車行業(yè)新的驅(qū)動(dòng)力
隨著近幾年網(wǎng)絡(luò)模型復(fù)雜性的不斷增加和模型參數(shù)的爆發(fā)式增長(zhǎng),AI應(yīng)用提出了更高的算力要求,AI計(jì)算平臺(tái)作為基礎(chǔ)設(shè)施對(duì)數(shù)據(jù)中心端和車端艙駕跨域融合產(chǎn)品創(chuàng)新起著十分關(guān)鍵的作用。
NVIDIA在1999年推出了GPU圖形處理器激發(fā)了PC游戲市場(chǎng)的增長(zhǎng),重新定義了現(xiàn)代計(jì)算機(jī)圖形。近幾年,數(shù)百TB 數(shù)據(jù)的深度推薦系統(tǒng)和包含數(shù)千億參數(shù)的對(duì)話式AI大模型對(duì)數(shù)據(jù)中心端提出了更高的算力需求,我們推出了讓大型模型能夠快速訪問大型內(nèi)存池的 Grace CPU 以及CPU+GPU 緊密結(jié)合的新架構(gòu)。NVIDIAGrace? CPU 提供高性能、高能效的計(jì)算資源,以滿足不同的數(shù)據(jù)中心和高性能計(jì)算機(jī)需求。NVIDIA Grace CPU 超級(jí)芯片采用NVLink - C2C 技術(shù),可提供144 個(gè)ARM核和1 TB/s 的內(nèi)存帶寬。
NVIDIA Grace Hopper? 超級(jí)芯片將Grace CPU和Hopper 架構(gòu)GPU與NVIDIA NVLink? - C2C 相結(jié)合,為加速AI 和高性能計(jì)算 應(yīng)用提供 CPU + GPU 一致性內(nèi)存模型。NVIDIA BlueField? DPU (數(shù)據(jù)處理器)實(shí)現(xiàn)對(duì)各種高級(jí)網(wǎng)絡(luò)、存儲(chǔ)和安全服務(wù)進(jìn)行加速和隔離。NVIDIASmartNIC產(chǎn)品ConnectX-7提供多達(dá)4 個(gè)連接端口和400Gb/s 的吞吐量,可為AI 企業(yè)提供接近數(shù)據(jù)中心規(guī)模的硬件加速網(wǎng)絡(luò)、存儲(chǔ)、安全和管理服務(wù)。NVIDIA QuantumInfiniBand 交換機(jī)系列是為HPC和數(shù)據(jù)中心提供完整的交換機(jī)系統(tǒng)和網(wǎng)絡(luò)管理產(chǎn)品組合。
此外我們還提供車端AI 計(jì)算SOC 產(chǎn)品, 比如大家都比較熟悉的滿足Automotive 行業(yè)的 DRIVE Orin 和DRIVE Thor SOC 。
圖源:嘉賓演講素材
我們把NVIDIA GPU、CPU、DPU、NIC、Switch 和SOC 產(chǎn)品進(jìn)行組合提供更多的AI 計(jì)算平臺(tái)產(chǎn)品,包括服務(wù)于高性能AI數(shù)據(jù)中心的DGX、提供高性能計(jì)算機(jī)領(lǐng)域的HGX、服務(wù)邊緣端的EGX、提供Omniverse Cloud 服務(wù)的OVX以及支持自動(dòng)駕駛和艙駕融合產(chǎn)品的DRIVE AGX AI計(jì)算平臺(tái)。
在這些硬件平臺(tái)之上,我們持續(xù)迭代開發(fā)了很多軟件棧,比如CUDA并行計(jì)算和編程模型,CUDA-X AI 軟件加速庫集合,TensorRT?AI推理引擎和RTX光追加速?庫。在CUDA、CUDA-X、TensorRT?和RTX?的基礎(chǔ)上,我們推出了NVIDIA AI和NVIDIA Omniverse兩大平臺(tái),在這些平臺(tái)上我們?yōu)楦餍袠I(yè)提供了豐富的AI框架和應(yīng)用,包括極端天氣預(yù)測(cè)和能源公司的數(shù)字孿生模擬、視頻會(huì)議分析、對(duì)話式AI、虛擬數(shù)字人、汽車自動(dòng)駕駛平臺(tái)和艙駕融合平臺(tái)、機(jī)器人、虛擬數(shù)字工廠、AI視頻分析、醫(yī)療設(shè)備開發(fā)和部署等。
NVIDIA GenerativeAI和Omniverse 平臺(tái)已經(jīng)在多個(gè)行業(yè)中廣泛應(yīng)用,NVIDIA Omniverse是一個(gè)工業(yè)數(shù)字化平臺(tái)。我們的多個(gè)OEM客戶基于GenerativeAI和Omniverse構(gòu)建自己的產(chǎn)品。比如通過我們的Omniverse進(jìn)行汽車概念設(shè)計(jì)、造型設(shè)計(jì)和工程設(shè)計(jì)、軟件和電子設(shè)計(jì)、智慧工廠產(chǎn)線、自動(dòng)駕駛仿真測(cè)試和汽車零售數(shù)字化體驗(yàn)等。汽車行業(yè)之所以積極實(shí)施數(shù)字化是因?yàn)镚enerativeAI和Omniverse可以幫助提高行業(yè)的效率、生產(chǎn)力并節(jié)省了大量的成本。
圖源:嘉賓演講素材
基于GenerativeAI以及Omniverse,我們的OEM客戶可以通過數(shù)字化實(shí)現(xiàn)全球協(xié)作,分布在全球不同區(qū)域的設(shè)計(jì)師和藝術(shù)家可以協(xié)同工作進(jìn)行設(shè)計(jì)方案圖像生成,外觀造型定制化和快速設(shè)計(jì)迭代。
客戶還可以部署自己的數(shù)字工廠進(jìn)行配置,也可以通過Omniverse生成工廠的仿真數(shù)據(jù)來訓(xùn)練工廠機(jī)器人。另外,通過Omniverse可以實(shí)現(xiàn)數(shù)字工廠的流程優(yōu)化和產(chǎn)線部署。
我們的客戶BMW使用Omniverse來規(guī)劃全球近36家工廠的運(yùn)營(yíng),在2023年3月NVIDIA GTC上宣布了他們的首座數(shù)字工廠開業(yè),該實(shí)體工廠將于2025年在匈牙利開業(yè),通過數(shù)字化幫助OEM提前兩年規(guī)劃部署工廠。同時(shí),BMW在Omniverse中使用NVIDIA Isaac Sim生成一些仿真數(shù)據(jù)對(duì)工廠機(jī)器人和機(jī)械手臂進(jìn)行相應(yīng)的訓(xùn)練和仿真測(cè)試。
梅賽德奔馳基于Omniverse構(gòu)建數(shù)字工廠,優(yōu)化和規(guī)劃未來新車型產(chǎn)線部署。沃爾沃和通用汽車通過Omniverse管理整個(gè)3D資產(chǎn)管道,連接他們的設(shè)計(jì)師、藝術(shù)家以及雕塑家來創(chuàng)建3D組件,并將這些3D組件虛擬地組裝成汽車的數(shù)字孿生體。在工程和仿真中通過Omniverse實(shí)現(xiàn)了可視化的空氣動(dòng)力學(xué)的仿真,從而縮短設(shè)計(jì)時(shí)間。豐田正在使用Omniverse來建立虛擬工廠,以優(yōu)化生產(chǎn)時(shí)間。 Lotus 正在使用Omniverse來搭建虛擬工廠和虛擬設(shè)計(jì)焊接站。Lucid Motors使用Omniverse基于真實(shí)的汽車設(shè)計(jì)數(shù)據(jù)建立數(shù)字商店,提升銷售服務(wù)體驗(yàn)。
圖源:嘉賓演講素材
隨著近幾年自動(dòng)駕駛越來越熱,我們的客戶已經(jīng)將NVIDIAAI計(jì)算平臺(tái)用在乘用車Robotaxis、卡車、低速物流車、無人巴士和農(nóng)用車領(lǐng)域上,我們相信在未來自動(dòng)駕駛技術(shù)將會(huì)應(yīng)用于更多的細(xì)分領(lǐng)域市場(chǎng)和應(yīng)用場(chǎng)景。過去燃油車時(shí)代,發(fā)動(dòng)機(jī)的馬力代表著動(dòng)力;當(dāng)前 AI 時(shí)代,AI計(jì)算平臺(tái)的算力將成為軟件定義汽車新的驅(qū)動(dòng)力。我們認(rèn)為,在未來,汽車不再是單純的交通工具,客戶期望的汽車形態(tài)將是由軟件定義的汽車。
高性能AI計(jì)算平臺(tái)在自動(dòng)駕駛的感知、建圖,規(guī)劃和決策方面都發(fā)揮著重要的作用。尤其是隨著Transformer 和BEV 在解決感知任務(wù)方面日趨成熟,并展現(xiàn)出卓越的性能。 這也是我們?yōu)槭裁匆恢敝铝τ谘邪l(fā)更高性能DRIVE Thor AI 計(jì)算平臺(tái)和DRIVE OS 7 軟件平臺(tái)來滿足未來幾年自動(dòng)駕駛和艙駕融合產(chǎn)品的對(duì)更高AI 算力需求。
在自動(dòng)駕駛的整個(gè)開發(fā)過程中,業(yè)界十分關(guān)注自動(dòng)駕駛Cornercase的場(chǎng)景如何解決。針對(duì)這一點(diǎn),很多OEM都在部署相應(yīng)的仿真測(cè)試。大家普遍認(rèn)為自動(dòng)駕駛仿真有兩大挑戰(zhàn)。第一是如何生成一個(gè)具有足夠細(xì)節(jié)和真實(shí)的仿真場(chǎng)景,能夠讓自動(dòng)駕駛AI算法將仿真場(chǎng)景感知為真實(shí)的世界。第二是如何生成創(chuàng)建足夠大的數(shù)據(jù)集和場(chǎng)景集合,以覆蓋到自動(dòng)駕駛AI算法所需要的全面訓(xùn)練和測(cè)試的case。
圖源:嘉賓演講素材
為了應(yīng)對(duì)這些挑戰(zhàn),我們開發(fā)了基于AI的工具集,包括Neural Reconstruction Engine?, Omniverse Replicator? 和DRIVE SIM?.
Neural Reconstruction Engine?,可以將真實(shí)世界的數(shù)據(jù)直接帶入仿真環(huán)境中,大大增加真實(shí)感并加快仿真數(shù)據(jù)的生產(chǎn)速度。也就是說可從采集視頻數(shù)據(jù)自動(dòng)的提取出環(huán)境、3D資源和場(chǎng)景然后轉(zhuǎn)換為交互式 3D 測(cè)試環(huán)境,開發(fā)者可在此環(huán)境中修改場(chǎng)景、添加合成對(duì)象 ,并應(yīng)用隨機(jī)化技術(shù),使仿真場(chǎng)景更具挑戰(zhàn)性。
NVIDIA Omniverse Replicator?主要用來生成訓(xùn)練數(shù)據(jù),借助Replicator?,開發(fā)者可以為corner case和復(fù)雜場(chǎng)景創(chuàng)建多樣化的合成數(shù)據(jù)集,包括基于物理傳感器數(shù)據(jù)和像素準(zhǔn)確的真值標(biāo)簽。這些標(biāo)簽包括深度、速度、遮擋和其他難以標(biāo)記的參數(shù)。我們的DRIVE Sim能夠?qū)I的算法進(jìn)行軟件的在環(huán)測(cè)試。
基于生成式AI,我們可以很方便的對(duì)構(gòu)建出來的原始3D資源進(jìn)行多樣化處理和編輯更改。比如針對(duì)交通路牌的2D文字,可以通過Neural Reconstruction Engine?增加涂鴉或者生成鐵銹斑點(diǎn)等等,用這些生成數(shù)據(jù)來訓(xùn)練感知網(wǎng)絡(luò)和測(cè)試驗(yàn)證。
NVIDIA DRIVE AI計(jì)算平臺(tái)
在智能座艙交互體驗(yàn)方面,我們做了許多創(chuàng)新的應(yīng)用。我們基于AI可以實(shí)現(xiàn)個(gè)人的數(shù)字助理以及推薦系統(tǒng)。比如通過AI數(shù)字人助理問答行駛過程中的非常見交通指示牌、AI數(shù)字人助理主動(dòng)提醒日程安排,以及通過DMS 系統(tǒng)探測(cè)到駕駛員疲勞而進(jìn)行咖啡店或者休息區(qū)推薦。
在自動(dòng)駕駛的開發(fā)過程中,通常要求端到端的數(shù)據(jù)閉環(huán),包括數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)標(biāo)注、AI模型訓(xùn)練,再把訓(xùn)練后的模型部署在車端進(jìn)行相應(yīng)的行車、泊車、主動(dòng)安全,座艙AI的應(yīng)用的測(cè)試驗(yàn)證,以及基于SIL和HIL仿真測(cè)試。
為了賦能我們的客戶更加高效開發(fā)自動(dòng)駕駛以及艙駕融合產(chǎn)品來實(shí)現(xiàn)軟件定義汽車,我們推出靈活可擴(kuò)展的NVIDIA DRIVE 端到端平臺(tái)方案。DRIVE Hyperion 是NVIDIA 自動(dòng)駕駛數(shù)據(jù)采集和開發(fā)套件,該套件包含NVIDIA DRIVE AGX 計(jì)算平臺(tái)、主流傳感器。同時(shí),集成DRIVE OS軟件平臺(tái) 、Driveworks中間件及數(shù)據(jù)采集相關(guān)的軟件。 我們的客戶、合作伙伴可以基于DRIVE Hyperion 開發(fā)套件快速搭建自動(dòng)駕駛數(shù)據(jù)采集車和測(cè)試車輛,從而進(jìn)行多傳感器數(shù)據(jù)采集和自動(dòng)駕駛算法測(cè)試驗(yàn)證。
DGX 是NVIDIA 為DNN 模型訓(xùn)練提供的高性能AI服務(wù)器。DGX?服務(wù)器,提供超高的計(jì)算密度、計(jì)算性能和靈活性。DGX?集成8 個(gè)NVIDIA 高性能Tensor Core GPU,每個(gè)GPU 配備NVIDIA? NVLink?,GPU 之間的雙向帶寬高達(dá)900GB/s。每臺(tái)DGX集成4個(gè)NVIDIA NvSwitch?;贒GX這些優(yōu)勢(shì),用多臺(tái)DGX 結(jié)合NVIDIA DGX SupperPOD? 、NVIDIA BlueField?-3DPU及NVIDIA Base Command?可以構(gòu)建超級(jí)計(jì)算機(jī)或者AI 集群。為具有挑戰(zhàn)性的自動(dòng)駕駛海量數(shù)據(jù)進(jìn)行DNN模型訓(xùn)練和建圖提供靈活可擴(kuò)展的AI計(jì)算性能。
DRIVE Constellation? 虛擬仿真平臺(tái)可以幫助客戶在自動(dòng)駕駛汽車上路測(cè)試之前虛擬仿真幾乎所有的天氣環(huán)境、交通場(chǎng)景,道路場(chǎng)景和Corner Case,從而實(shí)現(xiàn)DNN模型和算法的仿真測(cè)試。DRIVE Constellation 系統(tǒng)由Simulator和Computer兩臺(tái)設(shè)備構(gòu)成,提供虛擬仿真功能和數(shù)據(jù)回放功能。
經(jīng)過仿真測(cè)試后的DNN模型和算法,可以部署在 DRIVE AGX Orin 或者DRIVE AGX Thor 車端平臺(tái)進(jìn)行相應(yīng)的自動(dòng)駕駛功能道路測(cè)試和驗(yàn)證。自動(dòng)駕駛車輛功能道路測(cè)試的過程中也可以進(jìn)行傳感器數(shù)據(jù)采集,因此,基于NVIDIA DRIVE 平臺(tái)進(jìn)行數(shù)據(jù)采集、數(shù)據(jù)訓(xùn)練,虛擬仿真,自動(dòng)駕駛道路測(cè)試驗(yàn)證就形成了一個(gè)數(shù)據(jù)閉環(huán)。
圖源:嘉賓演講素材
2018年我們推出了全球首款1 TOPS AI計(jì)算芯片Parker;2020年成功量產(chǎn)30TOPS芯片DRIVE Xavier;2022年成功量產(chǎn)254TOPS 并且符合功能安全的 DRIVE Orin芯片, DRIVE Orin相比DRIVE Xavier AI 推理性能提升8倍多。為了滿足未來幾年OEM和Tier1對(duì)更高算力AI計(jì)算芯片的需求,2024年將量產(chǎn)全球首款單芯片1000 TFLOPS的AI推理能力芯片DRIVE Thor。
圖源:嘉賓演講素材
目前還有很多車型在用分布式的電子電氣架構(gòu),未來幾年大家將關(guān)注如何實(shí)現(xiàn)集中式架構(gòu)或中央架構(gòu)。為了滿足集中式架構(gòu)和中央架構(gòu),我們正在研發(fā)DRIVE Thor計(jì)算平臺(tái)。DRIVE Thor是高性能集中式車載計(jì)算芯片,包含770億個(gè)晶體管,單芯片提供1000TFLOPSFP8精度的AI推理能力,并且集成了下一代Transformer引擎,能夠更好的支持Transformer 大模型推理。Transformer 引擎支持FP8 和FP16混合精度,從而減少內(nèi)存占用并提高性能,同時(shí)仍能保持大型模型的準(zhǔn)確性。
圖源:嘉賓演講素材
DRIVE Thor SOC 既支持高階自動(dòng)自動(dòng)駕駛,也支持艙駕融合產(chǎn)品需求。為更好地解決艙駕融合產(chǎn)品功能安全域和非功能安全域的GPU隔離問題,DRIVE Thor 支持MIG 隔離技術(shù),把不同GPC 隔離開并分配給自動(dòng)駕駛域和座艙域使用。另外,我們把用于數(shù)據(jù)中心產(chǎn)品的NVLink-C2C技術(shù)首次引入到車端AI計(jì)算芯片DRIVE Thor。NVLink-C2C互連技術(shù)可提供統(tǒng)一的,緩存一致性的內(nèi)存地址空間,從而能夠簡(jiǎn)化可編程性。基于NVLink-C2C實(shí)現(xiàn)的DRIVE Thor Supper Chip可提供2000 TOPS FP8 AI 推理能力。
NVIDIA DRIVE OS軟件平臺(tái)
目前,我們?cè)谌蛞呀?jīng)有40多個(gè)客戶基于DRIVE Orin平臺(tái)開發(fā)自動(dòng)駕駛產(chǎn)品,20多個(gè)OEM已經(jīng)成功量產(chǎn)交付。為了讓當(dāng)前DRIVE Orin平臺(tái)上客戶開發(fā)的應(yīng)用軟件和算法能平滑遷移到DRIVE Thor平臺(tái)和DRIVEOS7上,我們提供統(tǒng)一軟件架構(gòu)和API兼容。
對(duì)有功能安全需求的客戶,我們提供的符合功能安全的并且通過第三方權(quán)威機(jī)構(gòu) TUV SUD 認(rèn)證的DREIVE OS QNX 給客戶。我們通過CUDA 生態(tài)系統(tǒng)提供大量的CUDA 算子庫,幫助客戶加速自動(dòng)駕駛軟件的開發(fā)。此外,我們還提供DNN模型訓(xùn)練DGX AI服務(wù)器和數(shù)據(jù)中心產(chǎn)品。
基于艙駕融合產(chǎn)品的需求,我們正在研發(fā)DRIVE OS 7,DRIVE OS 7 將最大化沿用現(xiàn)有DRIVE OS 6的架構(gòu),在現(xiàn)有虛擬化架構(gòu)上增加對(duì)儀表域和Infotainment域的支持,儀表域支持Linux或QNXOS,Infotainment域支持AndroidAutomotive,智駕域支持Linux或QNXOS?;贒RIVE OS 7靈活可配置的架構(gòu),可以很方便的配置多種OS配置組合,滿足不同客戶的需求。
DIRVE OS 7最大化兼容DRIVE OS 6 軟件平臺(tái)的NvMedia、Nvstreams、CUDA和TensorRT SDK功能和接口。OEM 、Tier 1 和算法公司基于DRIVE Orin 計(jì)算平臺(tái)開發(fā)的自動(dòng)駕駛和艙駕融合軟件可以高效、快速地遷移到DRIVE Thor計(jì)算平臺(tái)DRIVE OS 7 軟件平臺(tái)。
NvMedia實(shí)現(xiàn)Camera Image Capture、Image 2D process、ISP Processing 、Camera data encode/decode以及camera image pipeline的搭建。
NvStreams 高效地在CPU、GPU、可編程視覺加速器PVA之間共享Image data buffer, 并處理同步控制數(shù)據(jù)流以及在多個(gè)硬件加速引擎之間的數(shù)據(jù)依賴。
TensorRT是NVIDIA高性能深度學(xué)習(xí)推理平臺(tái),包括AI實(shí)時(shí)推理引擎和優(yōu)化工具。訓(xùn)練好的AI模型可以使用TensorRT Optimizer進(jìn)行網(wǎng)絡(luò)層優(yōu)化和量化,然后生成TensorRT Runtime Engine 并部署到DRIVE Orin或者DRIVE Thor 車端計(jì)算平臺(tái)進(jìn)行實(shí)時(shí)AI Inference。
CUDA是NVIDIA GPU上開發(fā)的用于通用計(jì)算的并行計(jì)算平臺(tái)和編程模型。NVIDIA 2006年發(fā)布CUDA以來,CUDA 已經(jīng)被廣泛部署到高性能計(jì)算機(jī),數(shù)據(jù)中心,工作站,電腦,IOT 邊緣設(shè)備和自動(dòng)駕駛汽車。2021 年CUDA下載量達(dá)到8百萬次,全球的開發(fā)者超過3百萬人。
NVIDIA DRIVE 是我們?yōu)檐浖x汽車推出的端到端平臺(tái),包括DRIVE DRIVE AGX AI 計(jì)算平臺(tái)、DRIVE OS 軟件平臺(tái)、DRIVE Hyperion 數(shù)據(jù)采集和開發(fā)套件、DRIVE Constellation虛擬仿真平臺(tái)和DGX高性能AI訓(xùn)練服務(wù)器。另外,NVIDIA Omniverse 平臺(tái)也可以幫助OEM 在汽車概念、造型設(shè)計(jì)、工程設(shè)計(jì)、智慧工廠產(chǎn)線部署和零售體驗(yàn)方面降本增效。
我們已經(jīng)在各個(gè)層面與行業(yè)內(nèi)的乘用車,商用車主機(jī)廠,Tire 1,算法供應(yīng)商,合作伙伴展開深度合作。NVIDIA將繼續(xù)為更安全、更高效的自動(dòng)駕駛和艙駕融合產(chǎn)品提供集中式高性能AI計(jì)算平臺(tái)。
鄭重聲明:此文內(nèi)容為本網(wǎng)站轉(zhuǎn)載企業(yè)宣傳資訊,目的在于傳播更多信息,與本站立場(chǎng)無關(guān)。僅供讀者參考,并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。