1. 项目概述突破保守自动驾驶的协同控制新范式最近和几个做自动驾驶规控算法的朋友聊天大家普遍有个痛点在高速、匝道汇入、无保护左转这类复杂的多车交互场景里现有的控制策略要么太“怂”像个新手司机一样犹豫不决错失通行机会导致效率低下要么又太“莽”基于规则的策略在陌生场景下鲁棒性差容易引发危险。这背后其实是一个经典的“探索-利用”困境如何在保证绝对安全的前提下让车辆能够更智能、更主动地与其他交通参与者协同从而提升整体通行效率这个标题“Beyond Conservative Automated Driving in Multi-Agent Scenarios via Coupled Model Predictive Control and Deep Reinforcement Learning”精准地戳中了这个痛点。它提出的核心思路是将模型预测控制和深度强化学习这两种看似不同路线的技术“耦合”起来。简单来说MPC像一个经验丰富、极度谨慎的老司机它基于精确的车辆动力学模型在极短的时间窗口内反复推演未来几步“如果我怎么开会发生什么”并从中选出最安全、最平滑的那条路径。而DRL则像一个通过海量“驾驶游戏”训练出来的天才少年它不依赖精确模型而是从与环境的交互中学习一套高级的“博弈策略”比如什么时候该“示弱”让行什么时候可以“强势”切入。但两者单独使用都有局限。纯MPC在模型失配或预测 horizon 内无法找到安全解时会趋于保守甚至“卡死”。纯DRL的策略在部署时其安全性难以形式化地证明一个没见过的状态可能导致灾难性输出。这个项目的巧妙之处在于“Coupled”——不是简单拼接而是深度耦合。它试图让MPC的“短期谨慎”与DRL的“长期策略”进行对话让车辆在每一个决策时刻既能基于精确模型保证瞬时的安全与舒适又能运用学到的智能策略来引导长期行为从而“超越保守”。这不仅仅是学术上的精妙构思。随着城市NOA功能的普及车辆需要处理的已不再是简单的跟车巡航而是与无数人类驾驶员、外卖骑手、行人构成的动态、非合作甚至部分合作的多智能体系统。传统基于规则的博弈论方法穷举状态空间太大而端到端的神经网络黑箱又让人不敢放心。因此这种融合了可解释的优化框架与数据驱动的学习范式正成为业界探索高阶智能驾驶的一条务实且有潜力的技术路径。接下来我将结合自己的仿真与实车调试经验拆解这套方案的设计思路、核心实现细节以及那些在论文里不会写的“坑”。2. 核心架构设计MPC与DRL如何深度耦合理解这个项目的关键首先在于破除一个误区这里的“耦合”并非指用一个DRL网络直接输出MPC的权重或者用MPC的结果来给DRL做奖励 shaping 那么简单。那是一种松耦合效果有限。这里探讨的是一种更深层次的、在决策层面进行交互的架构。经过我们的实践和业内讨论目前主流的深度耦合范式可以归纳为两类分层式和嵌入式。2.1 分层式耦合DRL作为高层策略生成器这是相对直观且易于工程落地的一种架构。在这个框架下DRL和MPC扮演着不同层级的角色。DRL高层-策略层它的任务是在一个较高的决策频率比如1-2Hz上为当前的交通场景生成一个“战略意图”或“行为轮廓”。这个输出不是具体的方向盘转角或油门开度而是一组MPC的参考轨迹或目标状态。例如在匝道汇入场景DRL网络需要判断的是“在接下来的5秒内我是应该加速切入左侧车道还是减速等待后方车辆通过” 如果选择加速切入那么它会生成一条期望的纵向速度剖面和侧向位移剖面。这条轨迹可能不够平滑也不严格满足车辆动力学但它指明了战略方向。MPC低层-执行层它以更高的频率比如10-20Hz运行。MPC的优化问题中其目标函数的核心部分就是跟踪DRL层下发的这条参考轨迹。同时MPC严格地将车辆动力学模型、轮胎摩擦圆、加速度/加加速度极限等物理约束作为硬约束或软约束加入优化问题。因此MPC的职责是在绝对满足车辆物理极限和安全边界的前提下尽最大可能去跟踪DRL的“战略意图”并输出平滑、可执行的控制指令油门、刹车、转向。耦合点与优势 这种方式的耦合点在于参考轨迹的传递。它的优势是模块化清晰安全性由MPC兜底。即使DRL输出了一个非常激进的参考轨迹比如急加速变道MPC也会在优化过程中因为无法在满足制动距离约束的前提下实现该轨迹而自动将其“柔化”最终输出一个安全可行的解。这相当于给DRL的决策套上了一个“物理安全带”。实操心得一参考轨迹的参数化是关键。直接让DRL输出一串离散的未来轨迹点会导致学习不稳定且维度太高。我们通常采用参数化形式例如用五次多项式表示纵向位移s(t)和横向位移d(t)s(t) a0 a1*t a2*t^2 a3*t^3 a4*t^4 a5*t^5。DRL只需要输出多项式系数[a0...a5]和[b0...b5]维度固定且包含了对轨迹形状位置、速度、加速度的完整描述非常利于MPC构建二次型目标函数进行跟踪。2.2 嵌入式耦合MPC作为DRL的策略表达与安全滤波器这是一种更紧密的耦合方式近年来在学术界备受关注。在这种架构下MPC不再是一个独立的控制器而是内嵌于DRL的策略网络之中成为其生成动作的最后一个可微层。具体工作原理DRL特征提取DRL的Actor网络或策略网络的前几层仍然感知环境周围车辆状态、地图信息等并提取高级特征。MPC作为最后一层这些高级特征不再直接映射为控制动作而是作为MPC优化问题中的目标函数权重或约束边界参数。例如特征向量可能用于调整MPC目标函数中“跟踪期望速度”与“保持与前车距离”的权重比或者动态调整安全距离约束的裕量。可微优化求解这里需要一个关键组件——可微分的MPC求解器。传统的MPC求解器如IPOPT、qpOASES的求解过程是不可微的无法反向传播梯度。因此需要采用诸如交替方向乘子法ADMM的可微实现或基于凸优化层的CVXPY Layers等技术构建一个可以计算梯度∂动作/∂网络参数的MPC层。端到端训练这样从感知特征到最终控制动作的整个链条都是可微的。DRL可以通过环境反馈的奖励信号反向传播梯度来调整网络参数从而间接地“学习”如何设置MPC的权重和约束使得MPC求解出的动作能获得更高的长期累积奖励。耦合点与优势 这种方式的耦合是分子级别的MPC的优化过程本身就是策略的一部分。其最大优势在于将安全约束直接编码在了策略生成机制中。无论DRL网络参数如何变化最终输出的动作都必然经过MPC的“过滤”满足预设的硬性物理和安全约束。这从根本上解决了纯DRL策略的安全性验证难题。实操心得二可微MPC的实现挑战。使用CVXPY Layers或自研可微QP求解器是可行的但会显著增加计算负担影响实时性。在实车部署时我们采用了一种折中方案在训练阶段使用可微MPC进行端到端学习在部署阶段固定训练好的DRL网络它仅输出MPC的参数然后由一个高度优化的、不可微的传统MPC求解器在线求解控制指令。这样兼顾了训练的有效性和部署的效率。2.3 两种架构的对比与选型为了更清晰地展示我将两种核心耦合方式的区别整理如下特性分层式耦合嵌入式耦合核心思想DRL制定“战略”MPC负责“战术”执行与安全兜底。MPC是DRL策略的“安全外壳”和可微执行器。耦合程度松耦合通过接口参考轨迹交互。紧耦合MPC作为神经网络的一层。安全性保障由MPC的约束保证DRL可输出不安全意图。由MPC的约束内置保证DRL无法输出不安全动作。可解释性较好。可以分别分析DRL的决策意图和MPC的优化结果。较差。DRL学习的权重参数与最终动作的关系间接。训练复杂度较低。可以分别训练DRL和调优MPC。极高。需要可微优化层训练不稳定计算开销大。实时性高。模块独立易于并行和优化。较低。可微求解器通常比传统求解器慢。工程落地目前主流选择易于集成和调试。前沿研究方向多用于仿真验证实车落地少。对于大多数希望快速验证和落地的团队我强烈建议从分层式耦合入手。它结构清晰能快速看到MPC带来的安全性提升和DRL带来的策略智能性。在积累足够的数据和对耦合机理的深入理解后再尝试探索嵌入式耦合等更前沿的架构。3. 多智能体场景建模与交互机制要让车辆“超越保守”就必须让它能理解并预测其他智能体车、人的行为。在多智能体强化学习中这是核心挑战。我们不能假设其他车辆会像机器人一样严格按照交通规则或一个已知模型行驶它们的行为是充满不确定性的。我们的耦合框架必须包含对这种不确定性的显式建模和处理。3.1 基于交互图的场景表征首先我们需要将复杂的交通场景转化为DRL和MPC都能处理的数学形式。一个有效的方法是构建动态交互图。节点场景中的每一个交通参与者自车、周围车辆、行人等。每个节点的特征可以包括其状态位置、速度、加速度、航向角、类型轿车、卡车、行人、意图转向灯状态等。边表示参与者之间的交互关系。例如自车与前方车辆存在“跟驰”关系与侧后方车辆存在“切入-让行”的博弈关系。边的权重或特征可以表示交互的强度比如基于距离、相对速度、时间到碰撞等指标计算。这个交互图可以作为图神经网络GNN的输入。GNN能够通过消息传递机制聚合邻居节点的信息从而让自车节点获得一个包含全局交互上下文的特征表示。这个富含交互信息的特征向量就是后续DRL策略网络或MPC参数预测网络的核心输入。3.2 不确定性处理从预测到交互对待其他智能体的行为有两种基本思路预测-反应和交互-博弈。预测-反应Predict-and-React 这是传统方法也常用于MPC中。我们为其他车辆假设一个行为模型如智能驾驶员模型IDM并预测它们未来的轨迹。然后MPC在优化时将这些预测轨迹作为时变的障碍物约束。问题在于预测模型不准且忽略了自车行为对他车的影响即“反应”部分。这容易导致保守因为MPC会为预测误差留出过大裕量。交互-博弈Interactive Game 这是DRL的天然优势领域。在DRL框架下我们可以采用多智能体强化学习的一些思想。一种实用方法是自我博弈Self-play或课程学习。在仿真中让多个由相同或不同策略控制的智能体相互训练。自车的策略网络在训练过程中会不断遇到其他具有挑战性的策略从而学会更复杂的博弈技巧如“虚晃一枪”假装切入迫使对方减速或“合作式并道”。在我们的耦合框架中可以将这种学到的博弈知识注入系统在分层式耦合中DRL输出的参考轨迹本质上是一个考虑了交互的博弈解。例如它输出的可能不是一条“最短路径”而是一条能诱导后方车辆减速、从而创造安全间隙的轨迹。在嵌入式耦合中DRL网络可以通过调整MPC目标函数中关于“与他车距离”的权重来隐式地实现不同的博弈风格。高权重意味着保守跟车低权重则可能在安全约束内允许更近的切入。3.3 耦合框架中的协同预测最先进的思路是将两者结合即基于学习的交互式预测。我们可以训练一个预测网络其输入是历史轨迹和交互图输出不是固定的轨迹而是一个条件概率分布P(他车未来轨迹 | 自车未来若干候选轨迹)。然后将这个预测网络与MPC耦合MPC在滚动优化时不仅优化自车轨迹还会考虑自车不同轨迹选择下他车可能的不同反应概率。MPC的目标函数变为在期望意义下的最优最小化期望成本。这相当于让MPC具备了“如果我这么开别人可能会如何反应”的推理能力从而做出更智能、更不保守的决策。实现上这需要将预测网络也做成可微的并嵌入到MPC的优化循环中技术复杂度非常高但这是实现真正类人驾驶决策的关键方向。注意事项仿真到实车的鸿沟。多智能体交互策略严重依赖于仿真环境中的对手模型。如果仿真中的车辆行为过于简单或模式化训练出的策略在真实世界会遇到严重分布外问题。必须使用高质量、高保真的交通流仿真器如SUMO、CARLA的交通流并注入足够的人类驾驶行为不确定性如反应时间随机、决策随机。一个技巧是在训练后期引入一部分由传统规则控制器控制的“保守型”车辆和一部分由激进策略控制的“攻击型”车辆以提升策略的鲁棒性。4. MPC模块的定制化设计与实现要点在耦合框架中MPC模块是安全性的基石。它的设计不能再用传统的、跟踪固定路径的MPC而需要为“协同驾驶”进行深度定制。这里我以一个典型的分层式耦合中的MPC设计为例拆解其关键环节。4.1 车辆动力学模型选择平衡精度与速度MPC的核心是一个用于预测未来的模型。对于乘用车常用的有运动学自行车模型状态量[x, y, φ, v]控制量[a, δ]加速度、前轮转角。模型简单计算快在低速5m/s和曲率不大的情况下足够精确。这是城市道路场景的常见选择。动力学自行车模型增加了轮胎侧偏特性状态量可能包含侧偏角、横摆角速度等。更精确但计算复杂参数如轮胎刚度不易获取。更适合高速、大侧向加速度场景。在实车项目中我们通常采用运动学模型但对其进行两项关键改进以适应MPC离散化与线性化在每一个工作点当前状态对非线性模型进行一阶泰勒展开线性化并采用前向欧拉法离散化。这样可以将非线性优化问题转化为二次规划问题求解速度极快。增加滞后与带宽模型在控制量a, δ前加入一阶惯性环节以模拟执行器发动机、EPS的动态响应避免MPC求解出物理上无法实现的瞬时变化。# 伪代码示例运动学自行车模型的离散化与线性化 def linearize_kinematic_model(x0, u0, dt): x0: 当前状态 [x, y, phi, v] u0: 当前控制 [acc, delta] dt: 采样时间 L 2.8 # 轴距 x, y, phi, v x0 acc, delta u0 # 连续时间状态空间方程: dx/dt f(x, u) # f1 v * cos(phi) # f2 v * sin(phi) # f3 v * tan(delta) / L # f4 acc # 计算雅可比矩阵 A df/dx, B df/du A np.array([ [0, 0, -v*np.sin(phi), np.cos(phi)], [0, 0, v*np.cos(phi), np.sin(phi)], [0, 0, 0, np.tan(delta)/L], [0, 0, 0, 0] ]) B np.array([ [0, 0], [0, 0], [0, v/(L*(np.cos(delta)**2))], [1, 0] ]) # 离散化: x_{k1} Ad * x_k Bd * u_k # 使用前向欧拉近似: Ad ≈ I A*dt, Bd ≈ B*dt Ad np.eye(4) A * dt Bd B * dt return Ad, Bd4.2 优化问题构建成本函数与约束设计MPC求解的是一个带约束的有限时域优化问题。其数学形式通常为minimize J Σ [ (x_k - x_ref_k)^T Q (x_k - x_ref_k) (u_k - u_ref_k)^T R (u_k - u_ref_k) ] (x_N - x_ref_N)^T P (x_N - x_ref_N) subject to: x_{k1} f(x_k, u_k) # 动力学约束 x_min x_k x_max # 状态约束 (如速度限制) u_min u_k u_max # 控制量约束 (如加速度、转向角速度极限) g(x_k, u_k) 0 # 其他不等式约束 (如安全距离、摩擦圆)在这个耦合框架中各部分需要特别设计参考轨迹 (x_ref): 这来自DRL层的输出。MPC需要紧密跟踪它但不是绝对跟踪。权重矩阵Q决定了跟踪的紧密程度。例如横向位置的权重可以设高以确保车辆沿车道行驶纵向速度的权重可以相对灵活为满足安全约束留出调整空间。控制量成本 (R): 用于惩罚控制动作的剧烈变化保证舒适性。R矩阵的调优对乘坐体验影响巨大。终端成本 (P): 保证优化窗口结束时车辆状态能稳定在参考轨迹附近。通常通过求解离散代数Riccati方程得到有助于提升稳定性。安全约束 (g(x,u)): 这是MPC安全兜底的核心。必须包含碰撞约束通常用每个时刻自车轮廓与其他预测障碍物轮廓之间的欧几里得距离来表示要求大于安全阈值。为了提高求解效率常将车辆简化为圆形或多个圆形包络将碰撞约束转化为圆心距约束。动力学约束加速度、加加速度、前轮转角速度的上下限。道路边界约束车辆轮廓必须在车道线内。4.3 实时求解与数值稳定性MPC需要在线、实时求解通常要求100ms。我们通常将非线性问题转化为二次规划问题并使用有效集法或内点法求解。这里有几个工程上的坑热启动Warm Start当前时刻求解出的最优控制序列除第一个值用于执行外其后的序列可以作为下一时刻MPC优化问题的初始猜测。这能极大提升求解速度通常可加速30%-50%。约束软化严格的碰撞约束可能导致优化问题在复杂场景下无解Infeasible。此时MPC会崩溃。必须引入松弛变量将部分硬约束尤其是碰撞约束转化为带有严厉惩罚的软约束。这样当无法完全避免时MPC会选择“以最小代价违反约束”比如轻微蹭到虚拟边界同时输出一个高等级的警告信号给上层系统。求解器选择学术界常用ACADO、CasADi等工具生成高度优化的C代码。工业界则更青睐成熟稳定的库如OSQP用于凸QP问题或HPIPM用于更一般的凸优化。我们需要针对嵌入式平台如车规级芯片进行编译和性能优化。实操心得三MPC的调试是“艺术”。成本函数权重Q, R, P的调参没有银弹。我们的经验是先从仿真开始用大量的边缘场景cut-in, 紧急制动等进行自动化测试记录各项性能指标跟踪误差、舒适度、安全性。然后采用贝叶斯优化等自动调参工具寻找一组在大多数场景下表现均衡的权重。最后一定要进行实车路测由专业测试员主观评价舒适性再进行微调。记住乘客的“感觉”往往是最终标准。5. DRL模块的训练策略与技巧DRL部分是这个系统的“智能大脑”其训练质量直接决定了策略是否足够聪明以“超越保守”。在多智能体、连续控制、安全约束三大挑战下训练策略需要精心设计。5.1 状态、动作与奖励函数设计状态空间必须包含足够的信息供智能体决策。自车状态位置、速度、加速度、航向角、转向角等。环境状态车道线信息、交通灯状态、限速等。他车状态周围车辆的位置、速度、加速度、航向角。通常选取距离自车最近的N辆车如前1后2左1右1。关键点状态输入应采用相对坐标以自车为原点并归一化到合理范围如[-1,1]以加速训练收敛。交互特征可以包含由GNN提取的交互图嵌入向量作为状态的补充。动作空间在分层式耦合中动作空间就是传递给MPC的参考轨迹参数。如前所述我们使用五次多项式系数。需要合理设定每个系数的取值范围避免输出物理上无意义的轨迹如曲率突变。奖励函数这是DRL训练的指挥棒设计最为关键。一个好的奖励函数应该是稀疏奖励和稠密奖励的结合并严格对齐最终目标。核心奖励生存与效率R_progress k1 * (当前步纵向前进距离)鼓励前进。R_speed -k2 * (速度 - 期望速度)^2鼓励保持合理速度。R_center -k3 * (横向偏离车道中心距离)^2鼓励居中行驶。安全惩罚重中之重P_collision -1000 (如果发生碰撞)巨大的负奖励让智能体极度避免碰撞。P_off_road -500 (如果驶出道路)同样是大惩罚。P_near -k4 * exp(-安全距离)提供一个基于距离的连续惩罚在接近危险时急剧增大引导智能体提前规避。舒适与规则惩罚P_jerk -k5 * (加加速度)^2惩罚急加速急减速提升舒适性。P_steer_rate -k6 * (转向角速度)^2惩罚急打方向。P_signal -k7 (如果违反交通灯)鼓励遵守规则。稀疏成功奖励R_success 10000 (如果成功到达目的地)提供一个终极目标。注意事项奖励塑形Reward Shaping的陷阱。过于复杂的奖励函数会导致智能体“钻空子”学习到一些意想不到的、违反直觉的策略。例如如果对“急刹车”惩罚过重智能体可能在即将追尾时选择轻微转向而不是大力制动这更危险。我们的经验是奖励函数要尽可能简单核心是生存避免碰撞和任务完成到达终点其他项作为辅助引导。可以先从一个极简的奖励开始只有碰撞惩罚和进度奖励观察智能体学到的初级策略再逐步加入其他项来修正其不良行为。5.2 训练算法与框架选择对于连续动作空间的问题软演员-评论家SAC和近端策略优化PPO是两大主流算法。SAC基于最大熵原理在探索和利用之间取得更好平衡通常样本效率更高能学到更鲁棒的策略。它自带一个可调节的温度参数来控制探索程度非常适合自动驾驶这种需要谨慎探索的任务。推荐作为首选。PPO更易于调参训练更稳定但探索能力相对较弱。可以通过调整裁剪范围和KL散度系数来平衡。在框架上Ray RLlib和Stable-Baselines3是工业界常用的选择。它们提供了高度模块化的实现支持分布式训练便于集成自定义的环境和模型。5.3 课程学习与模仿学习加速直接从零开始在复杂多车场景中训练DRL效率极低且容易学坏。必须使用技巧加速课程学习阶段一空场景在无车的道路上训练基本的车道保持和速度跟踪。阶段二简单交互引入一辆前车训练跟车和启停。阶段三复杂交互引入多车道、cut-in、无保护左转等场景并逐步增加交通密度。阶段四对抗训练引入一些由规则控制的、具有攻击性或随机性的“对抗车辆”提升策略的鲁棒性。模仿学习IL 使用人类驾驶数据或由传统规划算法如A*Lattice生成的“专家轨迹”对DRL策略进行预训练。这可以为策略提供一个高质量的初始点避免早期完全随机的探索。可以采用行为克隆BC直接监督学习或者更高级的逆强化学习IRL来反推奖励函数。在我们的项目中先用BC预训练策略网络的输出参考轨迹参数能显著减少后续RL训练达到可接受性能所需的时间。实操心得四并行仿真与数据管理。DRL需要海量数据。必须搭建一个支持大规模并行仿真的环境。我们使用CARLARay RLlib的架构可以同时运行上百个仿真实例。另一个关键是经验回放缓存的管理。不能简单混合所有阶段的经验。我们为不同难度的场景维护了不同的回放缓存并按照一定比例从中采样确保策略不会遗忘早期学到的简单技能即“灾难性遗忘”。同时要定期评估策略将成功的轨迹加入一个“精英缓存”并以更高概率重放加速学习。6. 系统集成、部署与实车测试挑战将训练好的DRL策略与MPC控制器集成到实车系统是最后也是最艰难的一步。这里充满了软件工程和实际物理世界的挑战。6.1 软件架构与通信典型的自动驾驶软件架构如ROS 2中我们的耦合控制器会作为一个独立的规划与控制节点存在。感知节点 (Perception) -- 世界模型 (World Model) -- **耦合决策节点 (Coupled Planner)** -- 控制节点 (Controller) -- 线控底盘 ^ | | | 预测模块 (Prediction) 状态反馈 (Localization)输入世界模型提供的结构化场景信息自车状态、障碍物列表、车道线等。内部流程场景理解与特征提取将世界模型信息转换为DRL模块所需的状态向量包括GNN处理。DRL推理运行策略网络输出参考轨迹参数或MPC参数。这里必须严格控制推理耗时通常要求50ms。MPC问题构建基于DRL的输出和当前状态构建当前时刻的QP问题包括目标函数和约束。MPC求解调用求解器如OSQP求解QP得到最优控制序列。输出将控制序列的第一个元素即当前时刻的最优控制量发送给底层控制节点。关键接口与预测模块的接口至关重要。如果采用交互式预测预测模块需要根据自车的候选轨迹提供条件预测。6.2 实车部署的工程化问题计算资源DRL网络推理和MPC求解都是计算密集型任务。需要选择性能足够的车规级计算平台如NVIDIA Orin, Qualcomm Ride。需要对网络模型进行剪枝、量化并利用TensorRT等工具进行加速。MPC求解器也需要针对目标平台进行编译优化。时序与延迟整个感知-规划-控制链路存在固有延迟。MPC必须使用经过延迟补偿的状态进行预测。例如如果总延迟为100msMPC应该基于100ms前的状态进行预测但优化的初始状态要补偿到这100ms后的预测状态。这是一个容易忽略但会导致控制性能严重下降的细节。不确定性处理实车传感器有噪声定位有误差。MPC中的约束必须包含鲁棒性裕量。例如安全距离不仅要考虑他车预测误差还要加上自车定位误差的方差。这通常通过将约束条件“收紧”来实现例如把3米的安全距离在实际约束中设置为3.5米。Fallback机制任何基于学习的系统都必须有可靠的降级策略。当DRL模块输出异常如NaN、或MPC求解失败时系统应立即切换至一个基于规则的保守控制器如纯跟踪PID或一个紧急制动策略并上报错误。6.3 测试与验证方法论验证这样一个复杂系统不能只靠路测。大规模仿真测试构建包含成千上万个 corner case 的场景库如NHTSA标准场景、中国典型事故场景进行回归测试。使用代码覆盖率工具确保逻辑分支都被测试到。硬件在环测试将控制器代码运行在真实的计算平台上与车辆动力学仿真软件如CarSim, dSPACE ASM连接进行高保真、高实时的测试。可以安全地注入各种极端故障。影子模式在实车上并行运行新旧两套规划器。新策略耦合控制器只进行计算和决策但不实际执行控制指令。将它的决策与人类驾驶员或旧系统的决策进行对比分析记录“接管”事件即新策略做出了与当前执行策略不同的决策用于评估和迭代改进策略。逐步开放路测从封闭场地开始到简单开放道路如夜间车流少的园区再到复杂城市道路。每一步扩大测试范围前都需要在仿真和HIL中达到极高的安全指标。最后的体会安全是底线智能是目标。这个项目最大的魅力在于它试图用数据驱动的方法去逼近人类驾驶员那种微妙的、情境化的决策能力——该果断时果断该谨慎时谨慎。但整个开发过程中我们必须时刻牢记MPC提供的硬约束是我们的安全护栏。DRL可以学习如何更优雅、更高效地在护栏内驾驶但绝不能试图拆除护栏。每一次策略的更新每一次参数的调整都要经过严格的仿真和测试。这是一条充满挑战但回报巨大的道路它让我们离真正智能、流畅且安全的自动驾驶更近了一步。在实际部署中我们还会加入一个“策略信心度”评估模块当DRL对当前场景的决策置信度低时会自动调高MPC中安全约束的权重让系统行为回归保守这又是一个提升安全冗余的实用技巧。