【自动驾驶技术】自动驾驶汽车AI芯片汇总——NVIDIA篇_人工智能

0. 前言

随着人工智能技术的飞速发展，自动驾驶技术已成为汽车工业和科技领域的热点（甚至可以说是最热的点）。在这场技术革命中，ai芯片作为自动驾驶汽车的大脑，扮演着至关重要的角色。

主流（或者应该说是全部）ai芯片都是以soc（system on chip，片上系统）的形式存在的，我计划写一个系列文章，将以不同供应商为分类，介绍不同厂家提供的自动驾驶中的soc解决方案。

本系列的首篇，必须先介绍下nvidia，respect！本文的说明将基于nvidia官网及nvidia developer zone的公开资料。

nvidia drive™ agx 是一个可扩展式开放平台，可充当自动驾驶汽车的ai大脑。该平台可实现行业领先的性能和低能耗计算，为开发及生产搭载 ai 且能安全行驶的汽车、卡车、无人驾驶出租车和班车提供助力。首先我们先看下nvidia的自动驾驶soc产品序列：

这些产品中parker和xavier已经算是比较老的、算力也跟不上了（没错，这个行业的更新速度就是这么快！），而thor现在又未正式推出，因此本文将针对目前的主流产品——orin进行说明。

orin芯片是在2019年首次公布（2022年正式推出），并在后续几年内逐步成为市场关注的焦点。orin是nvidia在自动驾驶领域继xavier之后的又一力作，专为实现更高级别的自动驾驶（l2至l5）以及智能座舱体验而设计。

1. 技术规格

orin的整体技术规格如下：

制程技术：orin采用先进的7纳米生产工艺，这一制造工艺能在较小的芯片面积内集成更多晶体管，单个orin芯片集成了170亿个晶体管。
运算性能：orin芯片的运算能力达到了惊人的254tops（在2019年发布时，公布的是200tops，还是保守了，也不能说是保守了，因为orin-y确实是200tops），相较于上一代xavier芯片，性能提升了8倍，这种强大的算力对于处理自动驾驶所需的复杂算法和实时数据处理至关重要。
cpu架构：搭载了基于arm cortex-a78ae架构的cpu，设计上兼顾了高性能和功能安全性。
gpu技术：集成nvidia ampere架构的gpu，包含两个图形处理簇gpc，为深度学习、图像处理和并行计算提供了强大的支持。
ai推理能力：orin芯片特别强化了ai推理性能，能够执行复杂的神经网络模型，提升自动驾驶汽车的感知、决策和规划能力。
功能安全与冗余设计：orin在设计上符合iso 26262 asil-d级别的功能安全标准，意味着它能够满足最严格的安全要求，为自动驾驶系统提供安全保障。
灵活性与可配置性：支持多种运算模式，可以根据不同应用场景的需求进行灵活配置，从而实现更高的能效比和更低的功耗。

2. 丰富的汽车接口

以orin-x为例，soc在自动驾驶汽车中的通讯原理图如下：

orin-x的关联接口有以下：

在顶部，有多个以太网接口（2×10gbee, 4xgmsl等），这些接口都是为了确保车辆的感知系统、决策系统和执行系统之间能够快速、可靠地交换数据，支持自动驾驶汽车所需的复杂计算和数据处理任务；
在左边有一个pciex8连接器，增加了系统灵活性和可扩展性，允许用户根据需求添加提高系统性能或增加新功能的硬件组件；
orin-x右侧的smcu（system management control unit）是维持整个soc高效、可靠运行的核心组件，负责管理和协调soc内部的各种资源和服务（例如电源管理、热管理、系统初始化等）；
在底部，可以看到一些音频相关的组件，如audio codec和a2b asic；
在右上角，有两个enet switch（以太网交换机），它们用于将数据路由到不同的设备或子系统。

orin也可以在自动驾驶车辆中2个同时使用（即双orin，一般也会分为主从orin）：

3. soc架构

如上“技术规格所述”，orin的soc整体架构如下，接下来对各个模块逐个讲解。

3.1 gpu

orin模块集成了ampere架构的gpu，该gpu由2个图形处理集群（gpc, graphic processing cluster）、最多8个纹理处理集群（tpc, texture processing cluster）、最多16个流式多处理器（sm, streaming multiprocessors）组成。

每个sm配备有192kb的l1缓存以及总共4mb的l2缓存，每个sm则配备了128个cuda核心，并且每个sm还集成了四个第三代张量核心。（jetson agx orin 64gb版本拥有2048个cuda核心和64个张量核心，能够实现最高170万亿次int8稀疏张量运算的性能，以及最高5.3万亿次fp32精度的cuda运算性能。）

借助ampere gpu，orin引入了对稀疏性的支持。稀疏性是一种细粒度的计算结构，能够使吞吐量翻倍同时减少内存使用，极大地提升了效率和实用性。

ampere架构带来了第三代张量核心的支持，这使得其能支持16x hmma（半精度混合矩阵乘法累加）、32x imma（整数矩阵乘法累积），以及一项新的稀疏性特性。

利用这项稀疏性特性，用户可以充分利用深度学习网络中的细粒度结构化稀疏性，使得张量核心操作的吞吐量翻倍。此稀疏性设定要求每4个权重中至多有2个是非零值。它使得张量核心能够跳过零值计算，从而实现吞吐量的加倍，并显著减少内存存储需求。网络训练起初可以在密集权重上进行，随后通过剪枝技术进行优化，最后再对稀疏权重进行微调。

3.2 dla

deep learning accelerator（dla）是一种针对深度学习操作优化的固定功能加速器。它旨在通过全硬件加速的方式执行卷积神经网络的推理任务。

客户可以像在gpu上一样，使用tensorrt来加速他们在dla上的模型。nvidia dla旨在将深度学习推理任务从gpu卸载，从而使gpu能够运行更复杂的网络和动态任务。通过这种方式，dla和gpu协同工作，提高了整体系统的效率和性能，特别是在涉及大量并行推理操作的应用场景中。

3.3 cpu

orin处理器复合体包含多达12个cpu核心。每个核心配备有64kb指令l1缓存和64kb数据l1缓存，以及256kb的l2缓存。与jetson agx xavier类似，每个cpu簇还共享有2mb的l3缓存。cpu的最大支持频率为2.2 ghz。

3.4 内存

jetson agx orin模块相比jetson agx xavier，在内存带宽上提高了1.4倍，存储容量上翻了一番，支持32gb或64gb的256位lpddr5内存以及64gb的emmc存储。dram支持的最大时钟速度为3200 mhz，每针脚的数据传输速率达到6400 gbps，从而实现了204.8gb/s的内存带宽。下图详细说明了各个不同组件如何与内存控制器架构及dram相互作用。