1 of 26

1

答辩人：卞耀亮

专业：微电子

导师：李鹏教授 ,

Ameer Abdelhadi教授

答辩日期：2024年10月23日

深度强化学习的定制硬件

境外科研实践项目答辩

2 of 26

研究背景
研究路线
研究内容

基于专用硬件的加速器
高级计算范式
强化学习中的加速技术

总结与展望

2

3 of 26

研究背景
研究路线
研究内容

基于专用硬件的加速器
高级计算范式
强化学习中的加速技术

总结与展望

3

4 of 26

强化学习（RL）发展概况

4

机器人

自动驾驶

智慧医疗

游戏AI

5 of 26

持续增长的算力需求

5

6 of 26

通用计算架构VS领域专用架构（DSA）

6

领域专用架构的优势

通用计算架构的挑战

通用硬件，为通用计算设计，面临着几个限制，无法有效处理RL任务：

1.资源利用不足：RL算法通常涉及稀疏和不规则的数据访问模式，通用处理器并未针对这些模式进行优化，未能有效利用计算资源和内存带宽，导致性能瓶颈，特别是在实时应用中。

2.可扩展性挑战：通用硬件的刚性架构设计限制了RL模型随着不断增长的需求高效扩展的能力，而专用硬件架构（DSA）可以专门配置以处理RL工作负载特有的并行性和数据移动模式。

3.小型设备限制：虽然深度强化学习模型在强大的基于GPU的机器上表现良好，但它们通常不适合较小的设备，如嵌入式电子设备，极大地显著限制了RL在现实世界中的应用，这些应用需要紧凑且能效高的设备。所以硬件架构需要能够有效平衡性能与尺寸和功耗的限制。

领域专用架构在强化学习中的优势：

• 优化了计算效率：DSA旨在加速RL中频繁使用的操作，如矩阵乘法和随机梯度下降。比如张量处理单元（TPU）和FPGA等硬件通过优化这些任务，显著提高了计算效率和吞吐量，这在基准测试研究中表现为推理时间的减少。

• 提高能效和面积效率：定制硬件解决方案，如专用集成电路（ASIC），通过最小化不必要的数据移动和计算，可以显著降低功耗。这种能耗降低对能源受限环境中的应用尤为有利，如可穿戴设备和嵌入式系统。此外，DSA可以通过去除不需要的冗余功能，设计得更小的硅面积，使其非常适合紧凑型设备。

• 增强了实时性能和可扩展性：DSA可以优先处理关键的RL计算，降低延迟，并确保实时应用中的及时响应。此外，DSA在模型复杂性和数据规模上具备可扩展性，比通用硬件更有优势。

7 of 26

选题背景
研究路线
研究内容

基于专用硬件的加速器
高级计算范式
强化学习中的加速技术

总结与展望

7

8 of 26

研究路线

8

深度强化学习的定制硬件

基于专用硬件的加速器

环境加速技术
策略训练加速

高级计算范式

高维计算
脉冲神经网络

计算挑战

计算范式

计算速度

强化学习的加速技术

量化

9 of 26

选题背景
研究路线
研究内容

基于专用硬件的加速器
高级计算范式
强化学习中的加速技术

总结与展望

9

10 of 26

研究内容一：基于专用硬件的加速器

10

CPU-GPU架构，通过利用并行处理能力，提供了一种可扩展且具有成本效益的RL加速解决方案。

环境加速技术

基于GPU的环境模拟可以克服基于CPU的仿真器的局限性。

CuLE（CUDA学习环境）	基于CPU的仿真器
41K~155K帧每秒（FPS）	12.5K~19.8K 帧每秒
可扩展性，四个GPU的吞吐量可达到187K FPS	扩展性差

WarpDrive	传统的基于CPU的实现
每秒290万个环境步骤	每秒几万个环境步骤

GPU加速的机器人模拟框架	传统基于CPU的方法
单个GPU训练人形跑步任务可以在20分钟内完成	20000分钟

基于GPU的环境模拟可以克服基于CPU的仿真器的局限性。CuLE（CUDA学习环境）是Atari学习环境（ALE）的CUDA版本，是一个典型的GPU加速RL库，通过GPU并行化技术提高了环境模拟的效率。CuLE能够在单个GPU上同时运行数千个Atari 2600游戏环境，达到41K到155K帧每秒（FPS）的生成率。这一性能相比之下，基于CPU的仿真器通常在相同数量的环境下的最大帧率约为12.5K到19.8K FPS。此外，CuLE能够有效扩展至多个GPU，四个GPU的吞吐量可达到187K FPS。这些能力使得CuLE能够显著减少DRL算法如A2C+V-trace的实际训练时间，得益于GPU加速所带来的高吞吐量和快速数据生成。

WarpDrive通过在单个GPU上独占执行整个RL管道，包括模拟和训练，扩展了这一方法。这种集成消除了CPU-GPU通信相关的开销，并最大化了GPU的利用率。在多代理标签仿真中，WarpDrive能够达到每秒290万个环境步骤，比传统的基于CPU的实现提高了100倍。这样的性能通过利用GPU的并行性，使数千个agent同时运行，从而显著加速数据生成过程，并实现更快的策略更新。

基于GPU的技术展示了利用通用硬件进行RL环境模拟的有效性。通过充分利用GPU的并行处理能力，这些方法显著提高了吞吐量、可扩展性和训练效率，从而减少了RL训练所需的时间和计算资源。

11 of 26

策略训练加速

11

通过利用GPU固有的并行性和优化数据处理工作流来提升训练过程。

1.多GPU设置

通过在多个GPU之间分配计算工作负载来加速策略训练。一个统一的框架支持在多个GPU上同步和异步优化技术，来并行化策略梯度和Q值学习方法。通过采用同步采样和多GPU优化，这个框架将训练时间从几个小时缩短到几分钟。例如，策略梯度方法可以在8个GPU服务器上在10分钟内实现成功策略，展示了这种方法的可扩展性和效率。

GUNREAL	传统的基于CPU的RL框架	快3.8到9.5倍
GUNREAL	GA3C	训练效率提高了73%

2.将GPU优化架构与辅助学习任务相结合

12 of 26

策略训练加速

12

3.优化CPU和GPU资源之间的平衡

相对于 GPU 资源，增加基于 CPU 的仿真角色数量可以显著加速策略训练。最佳的 CPU/GPU 比例可以确保资源的高效利用，减少瓶颈并提高整体系统性能。建议的 CPU/GPU 比例至少为 1:1（每个 GPU 流多处理器对应一个 CPU 线程），以最大化性能和能效。

13 of 26

选题背景
研究路线
研究内容

基于专用硬件的加速器
高级计算范式
信道跳频机制

总结与展望

13

14 of 26

研究内容二：高级计算范式

14

1.高维计算

HDPG：基于超维策略的强化学习

15 of 26

研究内容二：高级计算范式

15

与基于 DNN 的传统 RL 方法相比，HDPG在 FPGA 平台上实现了 4.7 倍的性能提升和 5.3 倍的能效提高

16 of 26

高维计算的可扩展性问题

16

可重构硬件解决方案

CPU-FPGA平台上的HDQL加速

17 of 26

基于高维计算（HDC）的分布式Q-Learning平台

17

多个agent的分布式异构 CPU-FPGA 平台

这张图展示了多个agent的分布式异构 CPU-FPGA 平台的顶层架构。

(a) 每个agent都有自己的高带宽内存（HBM）通道和两个伪通道（PS）。主机CPU将训练批次或推理状态复制到HBM PS0，每个agent从PC0读取这些元组。在推理过程中，每个agent将动作索引传回主机CPU。(b) 重放缓冲区，显示状态、动作、奖励和下一个状态的存储。(c) 每个agent的详细内部架构，包括编码(Encoding)、回归和更新层。每个agent都有自己的更新缓存（分片,shard）用于存储当前动作超向量的更新。AllReduce操作确保在训练阶段后目标模型Q’在各agent之间的同步。尽管该方法强调硬件灵活性，但仍需要在现实场景中进行严格测试，以验证其在不同应用中的有效性。

18 of 26

脉冲神经网络（Spiking Neural Networks, SNNs）

18

硬件架构模拟神经过程，以优化学习算法的效率。�利用神经尖峰的时序进行计算，显著减少了功耗，与传统方法相比，能效提高了两个数量级

19 of 26

选题背景
研究路线
研究内容

基于专用硬件的加速器
高级计算范式
强化学习中的加速技术

总结与展望

19

20 of 26

量化

20

量化在强化学习（RL）训练和推理过程中降低了数据的精度，从而减少了计算复杂度和功耗。各种研究提出了量化技术，以优化不同硬件平台上的性能。

Krishnan等人通过引入一种新颖的RL训练范式，利用8位量化Actor来加速数据收集，而不影响学习收敛性，从而解决了RL的高计算和能量需求。这种方法在Actor策略推理和策略广播中集成了量化，保持了学习者的全精度，以确保学习准确性。与全精度训练相比，它在训练中实现了1.5倍到5.41倍的加速，并减少了1.9倍到3.76倍的碳排放。相比之下，Yang等人采用定点数据类型和算术单元进行训练和推理，在一定训练周期后将定点数据的精度减少一半，同时不失去准确性。该方法在FPGA加速器上实现，展示了25293.3次推理每秒的训练吞吐量，比CPU-GPU平台高2.7倍，能效为2638.0 IPS/W，比GPU高出15.4倍。Manjunath等人解决了卷积自编码器（AEs）在RL代理中引入的高计算和内存复杂性。通过以全精度训练自编码器，然后利用二元神经网络（BNNs）和三元神经网络（TNNs）降低模型复杂性，该方法实现了显著的模型尺寸缩减。在Artix-7 FPGA上实现的TNN自编码器满足30 FPS的吞吐量要求，能耗为250μJ，效率超过1 TOP/J。在ASIC实现中，功耗降至3.9μJ，最大吞吐量为1250 FPS。与此同时，Leal等人提出在推理阶段使用FPGA硬件加速器为RL代理服务，通过机器人操作系统2（ROS2）与机器人系统集成。在三个OpenAI Gym环境中评估后，FPGA加速器提供了高达3.69倍的加速和高达52.7倍的每瓦性能提升。fp16全量化设计提供了最高的每瓦性能提升。

尽管他们的ActorQ系统显著降低了计算和通信成本，但RL环境和算法的复杂性可能会影响量化收益的普遍性，硬件依赖性也可能限制实际应用。Yang等人强调，尽管他们的定点方法效率高，但在降低精度的早期训练阶段可能面临保持准确性的挑战。Manjunath等人观察到，尽管他们使用TNN的方法实现了显著的模型尺寸缩减，但在更复杂的RL任务中，准确性存在权衡。此外，Leal等人指出，通过ROS2将FPGA加速器与机器人系统集成需要专业知识，可能在实施和可扩展性方面面临挑战。

这些研究所示，量化技术在通过降低数据精度方面显著提高了训练速度和能效。然而，要充分利用其优势，未来的研究应集中于确保在多样化RL环境中的鲁棒性和准确性，并开发更通用和可扩展的解决方案.

21 of 26

选题背景
研究路线
研究内容

基于专用硬件的加速器
高级计算范式
强化学习中的加速技术

总结与展望

21

22 of 26

未来研究方向

22

神经处理单元（NPU）

神经处理单元 (NPU) 是专门为增强神经网络计算效率而设计的硬件加速器，特别是乘加运算 (MAC)。虽然 NPU 主要用于深度学习，但其架构也适用于涉及深度神经网络 (DNN) 的 RL 任务。NPU 可以显著提高能效并减少功耗，这对于在功率受限环境中部署 RL 应用至关重要。例如，RENO 芯片设计利用了 RRAM 和 PCM 等非易失性存储器，实现了高达 53.17 TOPS/W 的能效。�NPU 具备多个 MAC 单元，能够高效执行 DNN 计算。此能力可在 RL 任务中加速神经网络的训练和推理，从而减少延迟并提高吞吐量。此外，NPU 内的近似计算技术可以在保持可接受精度的同时提高计算速度，这种权衡对于需要快速决策的动态 RL 环境尤为有利。

23 of 26

未来研究方向

23

RL 的高级架构方法

RL 中的矢量处理器：并行性和内存处理

矢量处理器传统上优化用于数据并行操作，已展示了在加速机器学习和科学计算中的显著潜力。它们能够同时在多个数据点上执行相同的指令，这使其非常适合 RL 中可并行化的部分，例如神经网络更新和状态与动作的批处理。例如，神经网络的前向传播或多个状态的 Q 值计算可以由矢量处理器高效处理。�

24 of 26

未来研究方向

24

堆叠存储立方体 (SMCs) 在 RL 中的应用

SMCs 结合了内存级并行性 (MLP)，并利用内部的片上网络 (NoC) 以实现多个存储库和存储块之间的高速数据传输。通过利用 MLP，SMCs 能够处理 RL 任务中常见的不规则内存访问模式，这些任务中状态、动作和奖励值会在训练的不同阶段频繁更新。根据 Hadidi 等人的研究，HMC 的峰值带宽可达 60 GB/s，相较于传统的基于 DDR 的内存系统有显著提升，后者往往受限于带宽。�

堆叠存储立方体 (SMCs)，如混合存储立方体 (HMC)，提供了一种创新的内存解决方案，将逻辑和存储集成到三维堆栈中，大幅提升带宽并减少访问延迟。这种架构对强化学习 (RL) 应用尤为有利，因其通常需要高内存带宽和高效的数据访问来实时处理大量训练数据并更新权重。使用 SMCs 能有效解决 RL 工作负载中的关键瓶颈，特别是在大规模分布式环境中。

此外，HMC 内部的 NoC 支持跨多个存储块的分布式访问，这对于涉及并行环境模拟或多智能体学习的 RL 工作负载来说尤为重要。随着 RL 工作负载变得更加复杂，对高维状态空间进行实时访问的需求增加，使得 SMCs 的低延迟特性尤其具有吸引力。Hadidi 等人的研究表明，HMC 在特定访问模式下可以实现最低 2 微秒的访问延迟，但延迟可能会因存储争用和存储库间的分布而有所不同。

25 of 26

已取得成果

25

Hazem Taha, Yaoliang Bian, Ameer Abdelhadi, “Custom Hardware for Deep Reinforcement Learning: Where We’re Heading”, 在投

校外导师答应在PhD申请时提供推荐信

26 of 26

26

请各位老师批评指正

答辩人：卞耀亮