2022汽车半导体生态峰会演讲实录|超威半导体花盛：AMD在高性能传感器融合中的实践/FPGA in High Performa
以“智链未来 本立而道生”为主题的“2022张江汽车半导体生态峰会暨全球汽车电子博览会”由《中国汽车报》社主办，张江高科、爱集微、浦东新区投资促进二中心承办，11月7日-8日在上海张江科学会堂隆重举行。
本届峰会邀请了以半导体为核心的全球智能网联汽车生态链企业高管、知名分析师与投资机构、中外行业大咖参加，瞄准新智能汽车与能源汽车技术前沿，就科创+产业+金融进行深度交流，为汽车半导体产业发展贡献智慧和力量。同时，通过趋势分享、前沿技术碰撞、投资逻辑解读以及全球汽车电子博览会，共同探讨全球巨变下的汽车半导体产业链发展，为业界充分展示汽车电子最新发展成果与趋势，打造国际化一流汽车半导体领域展示平台。
其中，在11月7日举办的“感知专场”，超威半导体产品（中国）有限公司大中华区汽车业务拓展高级经理花盛做了题为《AMD在高性能传感器融合中的实践/FPGA in High Performance Sensor Fusion》的精彩演讲，以下内容为现场演讲实录：
花盛：大家上午好，我是花盛，来自超威。我今天讨论的主要主题是两大部分，一个是AMD在高性能传感器融合中的特点，然后是传感器融合项目实践的介绍。
超威半导体产品（中国）有限公司 大中华区汽车业务拓展高级经理 花盛
首先介绍一下我们部门的主要板块，第一部分是FPGA部分，第二部分是SoC部分，第三部分ACAP平台，这个是以业界最领先的7纳米技术集成的。在这三个大的业务模块基础之上，我们一直在思考一个问题，在整个汽车行业，哪些是我们的特点，以及我们可以提供哪些跟其他的竞争对手、行业伙伴不一样的地方。我们思考下来主要分四个大的部分，首先第一个，高性能AI加速模块，可以提供超低延时，可以带来更高的精确性，这两个特点能够加速到这个部分的落地和实现。第二个部分，我们非常具有特色的一个可扩展性和灵活性，这个扩展性和灵活性可能大家觉得比较抽象，如果落实到具体地方，会发现在今天汽车行业里面是非常具有实现意义的。第三个部分，动态可配置的功能模块，它是一个硬件可升级的过程，我们通常理解它在汽车上，其实是对于功能的修改或者对于BUG的改进，硬件可升级的意思，我可以做毫秒级别之间把功能模块进行重构，我可以在不进行硬件大的变更的情况下，重构出具有新的功能、新的模块的一个功能，这对于整车厂来讲是非常又意义的，比如说未来在AD领域，无论是减少成本还是增加功能，包括提升性能，都需要对硬件进行一个非常重要的变更。第四个部分，功能安全和可靠性，在这个部分从我们第一天开始就跟国际一线的大厂、一线的OEM厂商进行合作。这四大业务特性是我们部门能够给到汽车行业带来的革新和我们不同的地方。
回到今天的主题，在传感器融合领域到底是什么样的情况，首先定义大家比较清楚，我不过多赘述了。左边这张图，除了激光雷达、毫米波雷达，包括摄像头、传感器的接入之外，每一种传感器都有自己不同的特点特性，以及它所照顾的空间，尤其是各种物理特性、各种不同路况所决定的。但是不能保证任何一个传感器可以照顾所有的内容，整个业界的方向是朝多传感器融合以及多传感器接入的方式进行演进。定义上是这样，它的优势在于，第一可以增加整个传感器的安全性、精确性，以及带来更具体的点云密度，带来数据的可靠性、稳健性。同时它对于整个传感器所能看到的视野带来非常大的提升。
综上来讲，多传感器融合是AD这个领域的典型方向，也是每个厂商和同业者都在努力的一个领域。同时我们也要看到，虽然传感器融合是一个方向，但是同时带来了非常多的挑战，主要存在于三个方面，第一是安全性，包括数据安全和整个系统的稳健性。安全来讲主要是两大方面，第一是低延时，你需要提供足够快的处理、更精确的时间，才能给后台做更多融合性的工作，同时给后台算法预留反应时间。还有它的冗余性，怎么样保证数据融合、数据冗余以及数据断路保护。第二个大的挑战，对行业来讲是多样性。目前为止，整个行业并没有一个准确的答案，大家都在进行多方的尝试和探讨。在多样性的同时，每个传感器都有自己的处理器，不同的处理器怎么样进行任务调度，互联互通的问题，怎么实现数据互融。还有效率问题，效率不仅仅包括带宽、融合，最终怎么样实现整个系统的高效可靠的运行，这是对多传感器融合的挑战和我们所需要解决的问题。
我们把挑战讲完了，我们AMD平台怎么样基于它的特性给整个传感器融合领域提供哪些有帮助的地方。首先第一大部分，自适应性和可扩展性，自适应是我们面对新的需求、挑战、功能要求的时候，同时我们能快速不需要进行大规模变更的基础上，用我们当前的平台能够适应新功能，这是我们独特的地方。同时不同的传感器之间接口不同，带宽不一样，传感器的特性不一样，数据模式、数据格式都不一样，怎么样用我们的自适应特点对它进行融合，这是我们提供的优势。包括不同的接口、标准、协议的需求，这是自适应和可扩展性在整个传感器融合领域带来非常大的挑战。
第二个是异构计算，尤其是在汽车行业里面，异构计算我们可以在这个里面带来的，一个是高精度的时钟，高可靠性、超低延时的计算方式，对于整个传感器融合，尤其是大数据量接入、高带宽领域的话，它有非常显著的优势。
第三部分是并发机制，我们都知道它是并发性的，不需要频繁垂直的读取，不需要通过固定的计算模式进行，所有的计算模式取决于当前落地的逻辑，在底层芯片里面来实现。我们进行的每一种计算都可以进行重构，可以进行重新的设计，为当前的应用重新定制化一款计算芯片或者一个计算类型，这个是FPGA可以做到的，而且是FPGA特性的地方。
最后一个部分是AI加速领域，FPGA可以做更多的AI加速部分，而且AI不仅仅是后面需要动辄上百兆算力的地方，你会发现很多数据相关的算法需要AI的加速，来对结果模型优化，把这个数据或者说这些算力更多的卸载，来减轻后面AI算力的一些负担。这是我们整套平台能够带来的非常显著的优势。
我们来看一下功能模块，这是从L2到L4演进大的模块基础，最左边是各种各样的传感器，无论是数量多少还是品种多少，基本上可以通过物理方式换芯片，接入到我们多传感器模块里面。进行融合之后，再跟后面的AI加速模块或者高性能的处理器模块进行结果模型预算等等。今天咱们讨论的主题，使用AMD这套平台或者我们这个算力的特性，其实是非常有效的可以解决大带宽、数据的并行流水以及低延时的特性。在这个地方更多的是传感器融合，包括不同数据格式的规划，都是我们可以做的。这样一个功能模块，更多关注的是左上角红色的部分。
这是一线大厂考虑的功能模块，以及传感器的数量、类型，具体的数量不一一赘述的。第一数量非常庞大，而且数量非常多，前向最少2颗，后向使用激光雷达、毫米波雷达。使用这么多传感器的同时，我们整套架构怎么去做？我们会把它划分成以下的几个方向，首先是我们左边的边缘侧传感器部分，包括各种各样CBS镜头，包括激光雷达和毫米波雷达，包括各种定位模块，这种都是传感器。传感器第一层把它放到数据捕捉，里面包括传统的数据接入、硬件通道怎么打通，包括下面是ISP的处理，下面还有通常的激光雷达或者毫米波雷达怎么进行连接，包括千兆级别或者万兆级别以太网，都是在第一级完成。
第二个，做数据融合，包括3D模型构建，这些功能模块可以分别在第二大部分来完成。完成这个部分之后，另外有两个小模块，本地我们可以进行处理的视频流，或者需要做一些，比如说图像增强或者本地的一些图像优化，或者是我可以做一些裁剪，直接可以做到后面需要实时显示的地方。有了电子后视镜，很多情况下我并不需要后台AI单元深度参与，我可以后面去做实时的显示。
还有下面一个，FPGA本身这个部分或者我们大的计算平台本身，里面可以完成部分的深度运算，都是非常具有特点和能够充分发挥计算类型和计算特点、计算效率的一些优势，这些部分都可以由它完成。如果全部丢到后面的AI加速单元里面去，第一是算力有限，第二是计算能力、计算类型并不适合某一类场景，这个更适合放在IPA这个部分。我们目前在做的，或者我们这个部门能够做的，四个框的地方，这个框问题的话，你会发现这里面除了刚才说的几个功能模块之外，任何一个功能模块如果需要我这边处理，我可以进行本土化处理、本土化运算，如果不需要处理的话可以放到AI加速单元里面去。
还有冗余安全和可靠性，这里放了一些证书，我们整个完成证书、完成结果，包括流程认证、工具认证、芯片认证，最终都是结果。实际上我们怎么样服务客户，服务客户达到安全体系，这是核心的能力和需求。我们在国内完成培养这套团队，对于整个汽车产品流程没有特别清楚的认识，我们一样接过一两年的服务，让他们通过功能安全认证，我想整个平台是非常具有意义的。
讲完了融合部分的特性，再讲这个平台上AMD做了哪些尝试，以7纳米Versal器件为例，左上角是ARM处理器的部分，中间红色部分是传统的逻辑器件，刚才我们说的一系列的动作，双位运算、实时接入、低延时的特性，都是在红色的逻辑模块里面完成。右边绿色部分是我们的AI加速单元，它可以进行一些我们所需要的，无论是IT相关的，还是结果相关的，包括需要本地点云识别相关的AI运算都可以在这里面完成。同时可以完成从低到几十兆、高到两百兆算力都可以在AI加速单元里面完成。下面是外设。
基于这样一个平台，我们做了哪些构件？首先我们做的这个，我们以四颗200万、两颗800万像素，基于这套硬件我们把结果融合之后，放到后面Host PC里面去，我们更多的是聚焦在传感器融合这个部分，这个是硬件架构。我们看一下软件部分做了哪些东西，先从下面开始说，接入了激光雷达，同时把毫米波雷达接入进来，这是我们的接入部分，同时会产生时钟同步信号。经过同步之后，我们跟后面四个200万和两个800万的传感器给它做同步曝光，把数据进行写入和访问。我们本地除了完成接入之外，我们还有图像解析的部分。我们下面还做了数据的规划管理，这个传感器数据，包括毫米波雷达数据进来之后，需要算法相关的，我们构建一套数据，对它进行数据化规划。这是第一代的项目，来做一个尝试。
其实我们这边没有把AI加速单元包含进来，这是我们准备放在第二步做的。下一步我们会把内部的AI加速器模块充分利用起来，把这个加入进来，去做一些运算、点云，都可以在里面构建和实时访问。这是第二步。因为今天的关系，欢迎整个行业和伙伴跟我们讨论，我们希望在这个平台上大家一起共同前进，把传感器融合的领域往前更深一步，这是我们有待尝试去做的一些地方。
这个是我们UI大概做的，是我们实验室的图，上面划红圈的地方是每一帧图像的帧号。这是UI，左边是两个800万，因为800万像素我们选择广角和长焦，中间放了四个200万像素，右上角和右下角分别放毫米波雷达和激光雷达。本身数据数量和类型是非常庞大的，整个平台的优质我们还没有完全发挥出来。
这是一个演示的视频，因为这个时钟同步的关系，你会发现每个时钟没有完成一样，你把它截图或者暂停以后，发现时钟是相同的。
总结下来，今天讨论的主题，第一传感器融合是我们整个行业的路径和趋势，但同时也面临着非常多的挑战，这个挑战我们这个平台，计算的特点决定了它非常有优势，欢迎大家跟我们一起讨论，希望在这个平台上做更多的尝试。
最后用一段视频来结束我今天的部分，谢谢大家。
（注：以上速记内容未经本人确认）
