前言
温故而知新，可以为师矣
端到端：
只要网络里每个计算步骤都能写成一个数学上连续可导的函数，就能从最终loss往回推梯度。
比如卷积、矩阵乘法、加减、ReLU（除了0点）、sigmoid、softmax 等都是可微的。
而手写规则、if-else分支、阈值化、NMS 这类后处理“硬判断”不可微。
1、LSS
论文题目：Lift, Splat, Shoot：Encoding Images from Arbitrary Camera Rigs by Implicitly Unprojecting to 3D
Lift（抬升）：从多视图像素点–>3维视锥点（图像空间 Backbone）
Splat（投影）：将3维视锥点投影到BEV平面，并通过pointpillars的方法进行BEV表示，最后鸟瞰CNN处理鸟瞰表示，以进行边界元法语义分割或规划。（BEV 空间 Backbone）
Shoot（投射）：将预定义的轨迹模板（1K条）射入BEV cost map，给定专家模板，通过专家模板轨迹分类让模型学会“哪个规划轨迹成本最低”。
核心创新点：只用 camera 图像（无雷达）完成稠密 BEV 表示；
- Lift-Splat 完成深度推测 + 相机融合；
- Shoot 模板轨迹，优化规划头输出的轨迹代价，实现可解释、可训练的规划模块；
- 全流程端对端：从图像到规划输出，可反向传播优化 BEV 表征。
2、UniAD
论文题目：Planning-oriented Autonomous Driving
解决痛点：
前文LLS主要采用multi-task learning (MTL) paradigm 多任务学习范式 ，通过共享一个 backbone 网络，多个任务通过各自的 task head 进行处理。虽然每个任务有独立的输出层，但它们共享了 backbone 的特征提取能力；而UniAD并不是让各个任务独立地优化，而是强调感知、预测和规划之间的层次化组织与全局优化，让任务之间在同一个优化目标下协同工作。
一句话：LLS 是标准的 Multi-Task Learning，根据轨迹优化 backbone，每个任务各管各的 loss；UniAD 是 Unified Optimization，所有子模块都围绕规划进行训练。
训练流程：
对感知模块（例如跟踪、地图构建）进行独立训练，6个epoch。确保感知任务正常。
对感知、预测、规划模块进行 联合端到端训练，训练20个epoch。优化规划模块，确保感知和预测模块协同工作，共同实现最优的路径规划。
每个模块（感知、预测、规划）都有独立的损失函数，但所有模块输入输出紧耦合，共享一个最终的优化目标，端到端优化。
3、ST-P3
ST-P3: End-to-end Vision-based Autonomous Driving via Spatial-Temporal Feature Learning
空间-时间特征学习 和 端到端的感知-预测-规划一体化训练。它解决了 动态环境下的路径规划问题，而且避免了对 预定义轨迹模板 的依赖，使得模型在复杂场景下更加灵活。
- 将特征表示从透视图转化到鸟瞰图空间。LSS method 从多视图中提取透视特征，通过深度估计到3D并融合到BEV空间中。但LSS孤立的逐帧投影特征，我们是在3D空间中对齐积累所有的特征。
- 在BEV空间中Equipped with代表性特征（物体位置、速度），我们将预测任务 formulate as 对未来时刻的每个物体实例进行分割，像FIERY [26] 一样。但提高未来预测的准确性，需要考虑过去的运动变化 [24]，这在FIERY[26]中缺失了。
- 规划模块在感知预测输出的候选轨迹（采样生成） 和 语义信息的基础上生成 自车的最优行驶轨迹（通过 学习based 或 规则based 的方法，计算每个候选轨迹的可信度），同时去除HDmap并 向网络提供高级命令，这是抄的MP5 [5] 。但是MP5视觉识别模块是现成的、预训练的，没有进行特别定制或优化。所以我们将视觉信息集成到同一网络中的轻量级 GRU 单元中（GRU：递归神经网络模型，用于处理 时序数据 和 连续性信息，它可以帮助系统 更好地理解动态变化的环境）
4、MP3
MP3: A Unified Model to Map, Perceive, Predict and Plan
5、VAD
VAD: Vectorized Scene Representation for Efficient Autonomous Driving