摘要
我们提出了一种基于机器学习(ML)的自动驾驶汽车(AVs)新型失效运行方法。失效运行方法对于确保自动驾驶汽车在系统发生失效(例如转向角传感器失效)时能够持续运行至关重要。根据 SAE J3016 标准,对于 3 级、4 级或 5 级自动化水平的自动驾驶汽车,这将是一项必需的安全功能。这是面向 2030 年后软件定义汽车(SDV)的区域式电子电气架构的新软件方法。随着软件定义汽车的发展,大多数车辆功能将通过软件进行控制和优化,包括备用解析冗余技术,例如在主要硬件传感器发生失效的情况下。我们的研究是首批提供基于机器学习的新型解析冗余技术作为失效运行方法的研究之一。我们展示了用于解析冗余的最佳调优机器学习模型的结果。我们用解析冗余替代硬件传感器的方法与软件定义汽车的理念相符。我们的结果表明,根据预期功能安全(SOTIF)ISO 21448 标准,在新制定的 “产品安全” 或 “系统安全” 评估标准化背景下,新应用的方法是有效的。我们使用实验车辆进行了三组真实驾驶场景实验。我们生成了包含实际方向盘角度和 13 个相关变量的原始数据集,这些变量是根据车辆动力学模型理论选择的。我们对三组机器学习模型进行了建模,结果表明,机器学习可为转向角估计提供高精度的解析冗余,作为一种失效运行方法。
1. 引言
自动驾驶汽车(AVs)的 2 级和 3 级自动化依赖于特定的电子控制单元(ECUs)和域控制器(DCUs),它们使用车辆各处传感器的数据来做出驾驶决策和修正。在这些传感器中,参与转向控制的传感器在保持车辆沿预定路径行驶方面起着尤为关键的作用。按照 “感知 - 规划 - 执行” 范式,我们必须区分用于 “感知” 的传感器和用于 “执行 / 控制” 的传感器。在定义自动驾驶模式下车辆的轨迹时,感知传感器以及高清地图、全球定位系统和车与万物互联(V2X)将是最相关的。还有补充车辆方向信息的传感器。其中一项重要信息是关于方向盘位置的反馈,它决定了车轮的位置角度和行驶方向。方向盘角度传感器是执行控制的一部分,确保车辆按照 “规划” 部分的要求行驶。对于自动化水平较高的车辆,从功能安全或失效运行事件的角度来看,有必要为方向盘位置角度集成硬件冗余。当前架构中的汽车系统采用这种硬件冗余,这需要硬件部件的复制。例如,布置冗余传感器、冗余执行器、冗余电机转换器、冗余主微控制单元等。这些都是成本高昂的解决方案。然而,冗余硬件模块也可能发生失效。在本文中,我们提出了一种具有成本效益的转向角估计解决方案,该方案使用机器学习技术提供解析冗余,无需额外传感器即可提高自动驾驶汽车的性能和安全性。
虽然硬件冗余是确保系统安全的可行选择,但随着机器学习的出现,解析冗余方法已成为一种便捷的选择。解析冗余涉及使用来自其他可行系统(如传感器或电子控制单元)的数据来估计目标系统,现在这可以通过机器学习或深度学习(DL)算法来实现。尽管这些算法很复杂,但可以通过调优来实现更好的估计。在转向角传感器失效检测的情况下,中央控制单元可以使用转向角模型的角度估计来进行必要的失效应急演练。
解释变量(来自车辆的其他传感器信号)与转向角之间存在强烈的非线性和复杂关系,这对精确估计提出了重大挑战。基于所有解释变量直接计算转向角是不可行的。然而,数据驱动的机器学习 / 深度学习模型可以从大量真实数据中学习复杂关系。机器学习/深度学习模型通过最小化为相应任务设计的特定损失函数来学习其参数。它们在各个学科中都取得了显著成功,例如图像分类、负荷预测和自动驾驶。
受机器学习 / 深度学习算法成功的启发,本文研究了长短期记忆网络(LSTM)在转向角估计中的适用性。长短期记忆网络是一种为分层特征提取而设计的循环神经网络。本研究包含各种解释变量的时间序列以及相应的转向角。长短期记忆网络的输入是特定时间窗口内的观测值。值得注意的是,为了消除转向角传感器偶尔发生失效的可能性,我们将历史转向角从输入中排除。通过我们的实证评估,长短期记忆网络模型被证明适合且成功地准确估计转向角。
本文的其余部分组织如下:第 2 节描述了转向角估计问题和相关文献。第 3 节讨论了系统架构和方法,第 4 节介绍了实验数据收集。第 5 节和第 5.4 节分别分析了用于转向角估计的机器学习模型及其效率。第 6 节总结了本研究,强调了解析冗余方法对自动驾驶的故障安全和失效运行安全的重要性。
2. 背景、问题、现状及相关性
2.1. 功能安全与预期功能安全
自动驾驶汽车的实际运行要求系统必须通过对潜在硬件(HW)失效的评估和对可能的软件(SW)错误的评估,按照特定要求和流程开发,以达到经认证的功能安全状态。现在有必要考虑系统按设计工作但其功能可能受到周围条件负面影响的情况,例如气候条件、光照条件、意外障碍物 / 物体的影响以及负面人为因素。目前,很明显,集成了高级驾驶辅助系统(ADAS)或能够实现更高自动化水平运行的车辆的电气和电子系统的开发质量控制开始按照所谓的预期功能安全(ISO 21448,SOTIF)流程进行。这与当前的做法形成对比,对于低自动化水平的车辆,只需按照功能安全标准(即 ISO 26262)进行即可。实际上,ISO 21448 是对 ISO 26262 的补充;它解决了并非由故障(功能安全)引起,而是由所谓的功能不足(技术限制或规范不足)引起的系统危害行为。ISO 26262 已经涉及处理单元在 CPU 负载或内存消耗方面的限制。此外,用于轨迹规划的算法可能对所使用的电子控制单元提出更多要求,例如额外的计算能力或硬件加速器的使用。必须评估和确认所使用的电子控制单元的适当性。
预期功能安全被定义为 “不存在由于预期功能的功能不足或人员可合理预见的误用导致的危害所带来的不合理风险”。预期功能安全为汽车工程团队提供了关于设计、验证和确认措施的指导。与专注于减轻因系统失效而产生的风险的功能安全不同,预期功能安全检查预期功能(例如高速公路驾驶辅助)在定义的运行设计域内是否能在没有危害行为的情况下得到保证。这包括汽车部件(如传感器、执行器和处理单元)的性能限制,以及道路环境的意外变化等方面。为了符合预期功能安全标准,汽车制造商必须进行大量模拟,并使用机器学习和人工智能处理海量数据,以帮助预测车辆在复杂的真实世界场景中的反应。有趣的是,ISO 21448:2021 最初打算作为 ISO 26262 的第 14 部分。然而,由于确保自动驾驶汽车在未知情况下(无系统失效)的安全性极其复杂,它成为了一个完全独立的标准。简而言之,ISO 26262 为汽车制造商提供了在发生系统失效时如何确保功能安全的指导。系统失效的一些例子包括微控制器电源过压、微控制器时钟丢失、错误的程序序列以及通信总线上与安全相关的数据冻结。然而,在车辆层面,即使没有系统失效,也可能发生一些危害,例如自动紧急制动的误报。预期功能安全建立在 ISO 26262 的基础上,作为补充标准。它规定了如何最好地预防、控制和 / 或减轻在没有系统失效的情况下可能发生的安全危害。预期功能安全适用于像高级驾驶辅助系统这样的系统,这些系统即使自身没有发生失效也可能面临安全危害。
2.2. 失效运行的相关性
尽管按照 ISO 26262 实施并满足了功能安全开发流程,该流程确保了限制系统失效的安全功能(实施流程必须被视为输出记录的一部分;系统地实施开发以及实施验证和确认测试,包括实施功能安全程序),但对于具有更高水平自动控制的车辆,有必要解决所谓的故障安全和失效运行硬件和软件设计 / 模式 / 流程。故障安全包括在发生失效时可用于安全终止车辆驾驶的所有手段。它可以从设计用于在现场安全终止任务的系统(降低横向和纵向控制能力、安全停靠在车道旁或指定物体旁等)到系统能够依靠自身手段到达终点的架构(降级运行)。通过系统中适当的冗余,可以确保失效运行架构,使车辆能够以完整功能和适当的安全水平继续执行任务。在所有这些场景中,系统必须有适当的方法来检测失效,以便系统操作员能够意识到并采取必要的行动。
表 1 总结了在动态驾驶任务(DDT)、动态驾驶任务后备(DDT Fallback)和运行设计域(ODD)框架内各个驾驶自动化级别的相应责任。动态驾驶任务后备是 3 级或更高级别驾驶自动化系统的重要组成部分,它负责在遇到自动驾驶系统(ADS)失效或系统离开运行设计域后执行动态驾驶任务或达到最小风险状态。然而,为了使用故障安全或失效运行软硬件解决方案实施动态驾驶任务后备场景,必须满足车辆基于方向盘角度传感器信号确定方向的假设。在 3 级或更高级别的驾驶自动化系统中,该传感器的完全失效将是致命的,在这种情况下,车辆必须切换到使用冗余方向盘角度传感器。通过分解由额外转向传感器监控的方向盘旋转角度信息,可以限制这种危害。作为电动助力转向(EPS)系统设计的一部分,在当前使用高级驾驶辅助系统横向转向(例如车道保持辅助、车道变换辅助、驾驶辅助)的车辆上,可以放置冗余硬件转向角传感器。软件系统进一步确保其运行作用,包括实施适当的安全任务。
表 1:源自 ISO 21448:2022—— 驾驶自动化级别
本文提出了一种在失效运行环境中评估方向盘角度的冗余解决方案的新方法。它使用通过真实驾驶数据训练的机器学习模型来估计方向盘角度信号。收集的数据来自车辆中的各种其他传感器。因此,这种冗余不依赖于方向盘角度传感器本身的复制。
图 1 显示了开展这项研究的动机和原因。重点是允许在主传感器失效的情况下驾驶车辆的控制方法以及方向盘角度估计。重要的是要注意,我们的目标不是预测转向角,而是估计汽车当前的转向位置。
图 1:我们在故障运行驾驶背景下的研究。蓝色框表示我们研究背景的范围。服务导向架构表示面向服务的架构
确定方向驾驶参数从两个角度来看是有意义的:
· 预测自动驾驶车辆在行驶时应指向的角度。
· 在主方向盘角度传感器发生失效 / 损坏的情况下估计用于方向盘角度估计的角度。
角度预测视图是关于正常自动驾驶的预测,并确定未来几秒 / 几分钟的适当角度。而我们的工作涵盖角度估计,其中至少有两种方案可用于解决方向盘角度传感功能的冗余要求。从失效运行状态的角度来看,这两种解决方案都是可取的:1)第一种方案是冗余 / 额外的电子传感器。这种方法相当不利,因为它既需要额外的物理传感器,又需要软件解决方案。2)第二种方案是通过估计替换传感器信号。这是有利的,因为不需要额外的传感器,只需要软件解决方案作为解析冗余。我们的工作专门针对第二种方法。
在我们的工作中,使用了 13 个解释变量(来自车辆各种传感器的信号)。这些信号是从车辆的控制器局域网(CAN)通信总线上获取的。我们使用斯柯达速派 iV 量产混合动力汽车进行实验。为了实验目的,车辆配备了用于数据记录的数据记录器,即来自所有通信 CAN 总线的选定变量。车辆配备了额外的测量和控制技术以及 “线控驱动汽车接口” 系统,这是一个硬件 / 软件通信开发 / 可编程网关,用于在无人驾驶或远程车辆引导的自动化驾驶框架内调解数据命令。
对于大多数没有自动化功能的车辆,或者自动化级别高达 2 级的车辆,机器学习、人工智能(AI)方法不常用于动力传动系统、电动助力转向(EPS)或电子稳定程序(ESP),即干扰驾驶动力学的系统。这是由于计算能力和内存容量相当有限。控制系统仅使用所谓的常数域(基于瞬时系统状态确定控制和调节过程常数的数据表;系统的运行环境由集成到电子电气架构中的大量传感器监控)。机器学习方法和人工智能与自动驾驶汽车相关,如表 2 所示。具体而言,可以注意到,在评估系统属性时,其硬件和软件的鲁棒性以及对自动化系统车辆运行风险条件的抵抗力在 ISO 21448 危害事件标准下被评估为 “基于人工智能的算法的功能不足”。
表 2:源自 ISO 21448:2022—— 不同标准涉及的安全相关主题概述
2.3. 当前和未来的电子电气架构
新的解析冗余方法未来的实际应用需要中央计算机的高计算性能。文献详细且全面地阐述了对汽车电子系统功能日益增长的需求,以及未来汽车中央计算机在汽车架构中使用的明确未来方向。这与对具有高计算能力的电子电气架构和集中式计算系统的要求相关,这些是未来解析估计冗余系统集成的基本前提。我们的研究带来了使用机器学习算法的新型解析冗余,这需要车辆的新电子电气架构越来越依赖的更高计算能力(例如,域计算、区域控制器、实时车辆功能中央计算机、云计算、外部高性能计算的应用)。图 2 显示了过去和当前几十年电子电气架构的演变。电子电气架构的研究和预开发总是比批量部署至少提前几年。因此,目前很明显,自动驾驶汽车需要称为域控制器(DCUs)或区域控制器(ZCUs)的硬件控制器以及集中式计算,不仅要集成多传感器融合、定位、路径规划、决策和控制、车与万物互联(V2X)和高速通信等通用功能,还要有摄像头(单目 / 立体)、雷达、激光雷达、惯性测量单元(IMU)和其他传感器及系统的接口。2030 年后,车辆架构将逐渐转向所谓的软件定义车辆架构。
图2:乘用车E/E架构的时间演变(SN传感器、A执行器、ECU电子控制单元、DCU域控制单元、GW网关、ZCU区域ECU、HPC高性能计算机)
总的来说,使用中央计算机的统一平台的研究和开发是当前的趋势。正在开发新的软件工具来开发应用程序,尊重软件定义汽车架构。因此,创建需要高计算能力和强大中央计算机的概念验证解决方案是恰当的。远程云系统以及与之的安全通信也是研究人员目前正在研究的必要领域。到 2030 年左右,汽车模型将使用具有低通信延迟的远程云计算机,允许实时影响系统功能的行为。然而,具有永久访问车辆数据网络外部云系统的通信接口的车辆是高风险的技术实现。这种车辆及其系统需要网络安全解决方案,尽管目前它仍然是一种电子电气架构,其中纵向和横向的控制过程分别从电子控制单元 / 域控制器的内部结构控制,或者使用中央计算机。因此,可以假设机器学习模型和人工智能方法将相对较快地集成到车辆系统和中央计算机中。
2.4. 相关工作
在自动驾驶领域,转向角的估计和 / 或预测是多年来的研究课题。先前的研究探索了使用摄像头和激光雷达系统提供数据来估计转向角。然而,我们的研究采用了不同的方法,即开发使用车辆中其他现有传感器的机器学习模型。通过利用这些关键传感器系统,我们的方法为精确的转向角估计提供了一种更简单且更具成本效益的解决方案。因此,这种方法在推进自动驾驶技术安全方面具有重要潜力。
在用于失效运行任务的系统及其部件的冗余领域,迄今为止已经发表了几项依赖具有类似功能的额外硬件系统的研究。到目前为止,还没有研究过这样一种解决方案:读取其他传感器和系统的数据,然后进行解析冗余。因此,我们的方法是新颖的,并在具有实验性电子电气架构的实验车辆上进行了实际验证。
3. 系统架构和方法
图 3 显示了我们安装在实验车辆中的实验性电动助力转向系统(EPS),该系统包括所有必要的电气和电子组件,用于监控和控制转向系统。与依赖机械转向角传感器的传统系统相比,实验性转向系统集成了转向角估计器软件模块。这一转变至关重要,因为机械传感器容易发生失效,特别是当关键部件损坏时。这可能潜在地导致动力转向问题、横向控制辅助功能失效和 / 或 2 级及更高级别自动驾驶功能失效。机械转向角传感器值的解析冗余将提供更高的可靠性。
图 3:实验车辆的连接串行系统概念(使用调整后的 2020 年电子电气架构)和用于失效运行模式解析冗余的估计器
一般来说,动力转向系统的失效可能发生在各个部件,包括传感器、执行器、微控制器和结构部件。为了应对此类失效,作为安全机制实施了故障检测与隔离(FDI)程序。这些安全功能可以通过硬件冗余和解析冗余来实现。本文重点在于建立基于机器学习的解析冗余,作为硬件冗余的替代方案。这种方法的优点和局限性已在第 2 节中讨论过。
3.1. 电动助力转向系统
传统的电动助力转向系统采用传感器(转向角传感器、扭矩传感器、轮速传感器)、执行器(作为动力转向执行器的电动马达)和电动助力转向电子控制单元(EPS ECU),用于快速精确的转向扭矩干预,在驾驶员反应时间最短的情况下(当驾驶员必须以最小的力量改变方向盘角度时)提高安全性。此外,目前一些车辆使用电动助力转向(例如自动泊车辅助、车道保持辅助和驾驶辅助)进行自动横向控制。此外,汽车制造商已经开始应用所谓的线控转向系统(SbW)。它用电子控制系统取代了方向盘和车轮之间的机械连接,提供了舒适性和操作便利性。为了确保可靠的转向,故障检测和隔离系统至关重要。此外,通过线控转向系统,在传感器发生故障时,特定的控制单元(在电动助力转向所在的域中)切换到故障检测与隔离接口,激活故障安全和 / 或失效运行任务,并维持系统安全。
3.2. 传感器失效
当驾驶员或横向高级驾驶辅助系统的执行器(对于自动驾驶车辆而言)转动方向盘时,转向角传感器向电子控制单元提供关于位置和旋转速度的信息(扭矩也会被评估)。然后,电子控制单元将该数据与其他转向轴 / 方向盘角度传感器的数据进行比较,以确保适当的转向性能。然而,如果转向角传感器发生失效,电子控制单元将收到不准确的信息,导致电动助力转向(包括线控电动助力转向)做出不正确的调整,这可能导致行驶不稳定或横向控制功能及自动控制能力出现问题。转向角传感器失效的一些常见原因包括由磨损引起的接线失效、方向盘支架缺陷以及由于发动机过热(由车辆维护不良或散热器或通风系统问题引起)导致的传感器失效。
3.3. 硬件冗余
尽管采用机械备用系统应对转向传感器失效的提议旨在提高可靠性,但考虑添加次级硬件相关的缺点也很重要。次级转向硬件在发生失效时启动,确保电动助力转向系统(包括线控电动助力转向)内转向性能的连续性。这种故障检测和诊断机制通过投票过程运作,停用主硬件转向通道,仅依靠由电子控制单元控制的次级通道。为了进一步提高可靠性和安全性,建议使用双电子控制单元来控制双转向电机。如果一个转向电机回路发生失效,相应的电子控制单元将被停用,允许次级转向电机及其专用电子控制单元负责电动助力转向系统。
3.4. 解析冗余
本文提出的解析冗余是为了在发生故障时消除对备用机械转向角传感器的使用。本文使用数据驱动方法作为故障检测与隔离技术。数据驱动方法使用软件程序,根据车辆测试时先前收集的数据来估计系统(在这种情况下为传感器)的值。人工神经网络、模糊系统、机器学习和通用程序都是数据驱动方法,在某些情况下,粒子群优化技术被用作故障检测与隔离,例如在线控转向系统中。
故障检测、隔离与重配置(FDIR)系统与主转向角传感器单元并行安装,因此在无故障环境中,故障检测、隔离与重配置机器学习模型和转向角传感器都会产生相同的结果;图 3 展示了这一概念。在转向角传感器发生故障的情况下,来自转向角传感器的数据将与转向角机器学习模型估计的数据产生偏差,在这种情况下,故障检测、隔离与重配置系统检测到失效,并将数据通道从转向角传感器重新配置为转向角机器学习模型,以获取转向角数据。这种机器学习模型是计算机系统中的软件程序,实际上是高效的,而不是为车辆电子电气架构的每个关键安全硬件元素(在我们的案例中是转向角传感器)配备备用件。
在我们的工作中,机器学习模型是使用第 4 节讨论的数据收集过程中收集的数据进行训练的。总之,车辆在测试场地行驶,实时数据从控制器局域网总线上存储在数据记录器中。对与车辆动态影响相关的控制器局域网数据进行了过滤,例如来自电动助力转向系统和电子稳定程序系统的数据。然后,使用这些数据在各种算法上训练机器学习模型,并根据预测性能和准确性,选择性能最佳(转向角估计误差最小)的算法作为用于解析冗余的最终转向角估计模型。
3.5. 故障检测、隔离与重配置机器学习算法要求
各种传感器的探索变量与转向角传感器之间存在强烈的非线性和复杂关系,这对转向角的精确估计提出了挑战。因此,采用数据驱动方法来自动智能地学习这种复杂系统是一种潜在的解决方案。深度学习方法可以以端到端的方式从大量真实数据中提取分层特征。本文采用长短期记忆网络来解决这种学习序列信息的挑战性问题。递归架构提供了处理序列数据的强大能力,因为关于历史的有价值信息存储在隐藏状态中。由于长短期记忆网络的递归结构,它适合处理时间序列数据。
4. 数据收集实验设计
车辆和数据记录系统之间通过控制器局域网总线建立实时通信,所有与驾驶情况相关的所需数据,如转向角、横摆率、轮速等都被记录下来。本节详细描述了实验如下。
转向位置。为了有效地训练机器学习模型,数据记录至关重要,并且必须每 20 毫秒记录一次所有转向角值,因为这是在控制器局域网总线(即车辆通信总线)上传输的消息频率。
车辆速度。车辆速度保持在 30 公里 / 小时以下。我们设定速度限制,考虑到我们研究的主题 —— 失效运行模式应限制在 30 公里 / 小时的速度。这是为了在记录训练数据集和在我们的实验场地进行测试时的安全原因。在公共道路环境中进行测试时,该限制在遵守街道批准文件中的安全义务方面也很重要。实验使用了三种类型的测试场地:
场地 1(P1)。在第一种类型的测试中,选择了一条没有坑洼的平坦表面轨道 1,车辆以低于 30 公里 / 小时的速度行驶。记录汽车在以圆形模式(如无限循环或 8 字形循环)进行左右转弯时所有转向角旋转的行为。这种类型的实验旨在从车辆传感器收集输入数据,以开发用于自动驾驶汽车转向角估计的机器学习模型。
场地 2(P2)。在第二次测试中,车辆在轨道 2 上行驶,该轨道表面粗糙且有坑洼。然而,由于轨道的扁平椭圆形形状,左右转向没有太大的显著变化。为了收集数据,汽车在场地 2 上以顺时针和逆时针方向完整行驶一圈。值得注意的是,车辆在测试过程中会遇到几个坑洼,这可能导致转向系统偏转。因此,仔细监控和记录转向角,以评估这些变量对转向角估计性能的影响。
场地 3(P3)。在第三轮测试中,实验车辆在轨道 1 和轨道 2 上连续行驶。该测试的目的是从各种地形收集数据,这些数据可用于训练机器学习模型以提高准确性。进行该测试是为了应对在前两轮测试中,在数据上拟合机器学习模型时获得的较高平均绝对误差(MAE)值(将在第 5 节中讨论)。通过结合来自轨道 1 和轨道 2 的数据,我们旨在提高机器学习模型的性能。
高效的数据记录。在开发用于自动驾驶汽车的机器学习模型时,高效的数据记录至关重要。确保准确可靠地捕获所有相关传感器数据是必不可少的。没有适当的数据记录,机器学习模型将没有足够的信息来学习和做出准确的预测。此外,必须谨慎进行数据记录,以避免可能导致模型预测不正确的数据冗余或噪声。因此,对记录的数据进行过滤和预处理对于在用于训练机器学习模型之前提高数据质量是必要的。过滤是指从超过 10000 个通信总线信号中选择 13 个感兴趣的信号。预处理包括选择数据集的一个部分,其中车辆在开始和结束时处于相同的运行模式。此外,不希望用于训练的数据集包含实验车辆在零速度下转动方向盘的时刻。在这些情况下,所有三个轴上的加速度都不会影响车辆,并且这种输入数据会在最终结果中导致更高的估计误差。这在实验中得到了证实。
5. 基于机器学习的转向角估计
我们使用来自控制器局域网通信总线上可用的特定汽车传感器的 13 个变量(信号)收集长短期记忆网络模型的输入特征。这些信号是来自方向盘扭矩传感器、方向盘角度传感器、所有四个轮速传感器(每个车轮速度信息 4 个;每个车轮脉冲 4 个,这对于低速传感 / 识别更好)、横摆率传感器以及 X 轴和 Y 轴加速度传感器的数据。
目标是使用这些输入特征来估计实际转向角。我们从三个不同的轨道收集数据,并为每个轨道创建单独的模型,如表 3 所述,使我们能够评估它们在不同驾驶条件和地形类型下的性能。
表 3:车辆驾驶场地摘要
测试数据集涵盖了各种驾驶情况和路面特性,包括急转弯、坑洼、直线行驶、倾斜道路以及方向盘角度的变化。为了评估每个模型的性能,我们将数据采集系统记录的实际转向角与长短期记忆网络模型输出的估计转向角进行了比较。通过计算平均绝对误差,我们确定了每个模型的准确性,并找出了需要改进的地方。图 4 显示了使用长短期记忆网络模型的标准训练方法。
图 4:使用长短期记忆网络模型的标准训练
这种全面的评估方法使我们能够评估长短期记忆网络模型在转向角估计方面的适用性和有效性。通过考虑各种场景和数据集,我们深入了解了机器学习模型的能力和局限性。这为我们进一步改进自动驾驶技术提供了基础。
最终模型(如图 5 所示)是使用具有两层的长短期记忆网络模型创建的,随后是两层密集神经元层,最后是一个用于计算角度的神经元。每个长短期记忆网络层包含 128 个神经元,每个密集层包含 256 个神经元。网络的正则化是通过在密集层之间以及长短期记忆网络层和密集层之间使用 dropout 层来实现的。架构中使用的激活函数对于长短期记忆网络是双曲正切函数,对于密集层是 ReLU 函数,对于输出层是 sigmoid 函数。
图 5:基于长短期记忆网络的神经网络模型结构
神经网络架构是在训练阶段基于所取得的结果通过多次尝试创建的。单个长短期记忆网络层不足以适应训练数据;添加正则化到密集回归层后,两个长短期记忆网络层成为最优选择。使用 ADAM 优化器和 32 个样本的批量大小,在所有三个数据集上都取得了最佳结果。
5.1. 机器学习模型 1 在测试数据集上的评估
在训练时,机器学习模型 1 在多次迭代中的平均平均绝对误差得分为 5.81,这是最差的(见表 4)。这证实了一个假设,即如果模型是在场地 1(平坦)的数据上训练的,也就是说,在记录训练数据集时车辆仅在没有路面缺陷(没有坑洼)的表面上行驶,那么该模型在测试期间对 Z 轴振荡状态的鲁棒性不足。然而,测试数据集包含了大量的坑洼,这意味着由于包含许多坑洼的路面,有意产生了 Z 轴振荡。在这些情况下,方向盘的常见振荡使得转向角估计变得困难。尽管记录的训练数据集包含了方向盘角度频繁变化和左右大角度旋转的各种情况,但缺少坑洼是一个显著的缺点,使得机器学习模型 1 无法在非实验性的真实驾驶情况下具有鲁棒性。
5.2. 机器学习模型 2 在测试数据集上的评估
在训练时,机器学习模型 2 的平均平均绝对误差得分为 5.54,是第二好的(见表 4)。这证实了一个假设,即如果模型是在场地 2(有坑洼)的数据上训练的,也就是说,车辆在有路面缺陷(坑洼)但角度变化小且没有大角度值的表面上行驶,那么该模型对频繁的角度变化状态的鲁棒性不足。使用了相同的测试数据集,这意味着测试数据集包含了大量的坑洼,以及方向盘角度频繁变化和左右大角度旋转的情况。模型 2 评估后的结果误差(平均绝对误差)值仍然很高。因此,这种机器学习模型在非实验性的真实驾驶情况下的能力仍然有限。
5.3. 机器学习模型 3 在测试数据集上的评估
在训练时,机器学习模型 3 的平均平均绝对误差得分为 4.58,是三个机器学习训练情况中最好的分数(见表 4)。这证实了一个假设,即如果模型是在场地 3(平坦和有坑洼)的数据上训练的,也就是说,车辆在有路面缺陷(坑洼)的表面上行驶,同时有大量的大角度变化和大角度值,那么该模型对大量驾驶情况、不同的角度变化状态和路面状态具有足够的鲁棒性。使用了相同的测试数据集,这意味着测试数据集包含了大量的坑洼,以及方向盘角度频繁变化和左右大角度旋转的情况。在测试机器学习模型 3 后,得到的平均绝对误差值是最好的,即使仍有调优的空间。这种机器学习模型是最好的,并且展示了一个概念验证结果,即用于转向角估计的机器学习模型可以可靠地在非实验性驾驶情况下用作解析冗余。
表 4:机器学习模型的结果(平均绝对误差)摘要 * 注:用于测试的新平坦和有坑洼数据的组合
图 6a、6b 和 6c 中的图表显示了估计角度和真实值。值得注意的是,大转向角处的显著偏差与数据限制相关。此外,方框区域突出显示了真实值与估计角度的最大偏差点,表明由于持续的偏差,需要更多的训练数据。有趣的是,在三个图表中,从场地 1 和场地 2 模型到场地 3 模型的过渡揭示了多个最大偏差区域的减少。这些模型在不同模型版本中显示出改进,并且对转向角的鲁棒性越来越强。这些趋势共同构成了我们对模型在各种模型配置下的性能和增强的理解。通过这种方法实现的估计精度在 5 度左右波动。这样的结果将具有解析冗余的车辆运行速度范围限制在每小时几十公里以内。为了减少平均绝对误差,有必要使用另一种方法,参见下面的机器学习训练的多步映射方法。
图 6:所有三个转向角模型的实际和估计图表
5.4. 机器学习训练的多步映射方法
在第一组方法中(在第 5 节中讨论),我们根据预期的汽车行为训练了一个机器学习模型。输入数据样本与输出样本来自相同的时间戳。
在这种方法中,如图 7 所示,我们在相同的数据集(即与第 4 节开头提到的实验相同的数据集)上使用不同的训练技术来训练机器学习模型。为了在模型训练过程中更好地考虑汽车动态行为的物理特性,我们将 13 个输入变量的连续几个延迟样本分配给输出样本(即实际方向盘转向角)。这是由于物理原理,即某些变量(例如加速度)的变化在驾驶员转动方向盘的时刻之后会有延迟地反映出来。
这意味着 13 个传感器值(输入)的过去三个样本被标记为一个当前方向盘角度(输出;来自机械方向盘传感器)。
训练期间记录的数据量比这种方法可能需要的要少。然而,下面的结果表明,更多的数据可能允许这样的预测。更大的数据集中考虑了更多的路面缺陷。
本研究中的多步模型通过考虑多个时间步长(即时间窗口中的样本处理),能够记录转向角变化后的后期动态行为值。本研究中的模型增强包括纳入后期数据样本,以提高模型对汽车延迟动态反应的覆盖范围。这种方法产生的结果明显更准确,三步延迟技术是最有效的,如表 5 所示。通过历史数据获取三个时间步后实际车轮角度的信息,对于维持平稳的汽车控制不会造成重大问题。
表 5:模型的平均绝对误差比较 * 注:用于测试的新平坦和有坑洼数据的组合
这种模型提供了更准确的预测,并且可以有效地用作故障传感器的替代方案。本研究中使用的神经网络模型与原始数据一致,能够对结果进行比较分析。
同样,图 8 中的图表显示了估计角度和真实值,如图 7a、8b 和 8c 所示,这些图表是使用多步长短期记忆网络模型生成的。在这里,最大峰值偏差问题仍然存在。然而,最大偏差显著减小,特别是在比较图 6c 和图 8c 时。
图 7:长短期记忆网络模型训练的多步映射
图 8:多步映射模型的实际和估计图表
5.5. 局限性和潜在的未来工作
我们现阶段的研究显示了继续研究工作和取得更好结果的储备和可能性。一方面,在接下来的步骤中,建议进行实验以记录在逐渐增加的运行速度范围内的数据集。随后,针对不同的速度范围训练和测试机器学习模型。此外,建议专注于获取更长的数据集,并为这些长数据集训练和测试机器学习模型。另一个重要的关注点是创建所谓的坑洼检测器,以及创建一种在车辆驶过路面坑洼时过滤方向盘转向角峰值变化的方法。为了检测坑洼,可以使用各个车轮在 Z 轴上的悬架位移加速度信号 —— 当然,是横向转向轴上的车轮。
6. 结论
我们的研究旨在使用其他直接影响转向变化的传感器来估计车辆的转向角。我们发现,最佳的测试场地(驾驶轨道)和选择正确的长短期记忆网络模型是实现准确估计的关键因素。我们通过在三个不同的场地驾驶汽车收集数据,数据集包含 13 个变量和 1 个转向角,每 20 毫秒收集一次。
我们使用长短期记忆网络来估计转向角,特别是采用多步映射技术来考虑转向输入与车辆内其他传感器数据相应变化之间的延迟。我们的结果表明,与单步映射相比,多步映射产生了更低的平均绝对误差,表明其作为未来研究的一种有前景的方法的潜力。
我们的目标是估计转向角,这项研究成功地证明了这一点。这种估计在确保自动驾驶汽车的安全性方面起着至关重要的作用。如果估计的转向角与预期角度有显著偏差,失效运行系统可以触发紧急协议。这些协议可能包括降低车辆速度、调整轨迹,甚至将车辆安全地完全停下。