理想汽车昨天晚上提到的Street Gaussain 是什么？

为什么看上去一个非核心算法会拿出来专门讲解？

在理解这个之前我们先要知道，自动驾驶的开发并不是只有算法能力，也需要合适的工程配套。

其实一个非常重要的能力就是数据闭环， 这个并不是一个新词，但是之前大家考虑的都是，数据闭环可以用来训练，但是关于数据闭环用来测试这部分却着墨极少。

为什么？

因为实际上数据闭环测试需要极强的工程能力。

对于实车采集到的数据，假设是一个红绿灯路口，因为周围拥挤，车辆选择车道错误的bug。

我们都知道这种数据可能会被收集，然后回传云端，里面包含了所有的传感器信息和车辆状态信息。

为了解决这个问题，工程师可能做了一些优化。

现在需要考虑这个问题是否被解决。

那么之前的这些数据进入数据回灌系统， 一般车企称之为Logsim，还原当时的场景，测试到当时选择车道错误的前面几秒，然后看具体的时刻是否同样的问题被解决。

好的，如果这个问题不再出现，那么问题到此就结束了吗？

答案可能不是那么确定。

因为，这一时刻的车道选择问题被解决了之后，下一时刻会发生什么，数据里已经没有了。

也不再有新的数据了，因为此时的状态与道路上不一样了。

怎么办？

我们需要还原道路上的真实场景，也就是需要重建出当时道路上的状态。

怎么做？

Tesla 之前使用NeRF（体素渲染）， 基于视觉的体素重建工作，而理想这次选择了更加前沿的Gaussain Splattting（高斯泼溅，通过在三维空间中分布一系列高斯函数来表示场景，并使用点云渲染以实现高效的图像生成，后文称为GS），它解决了NeRF 难以实时渲染的问题，也就能做到实时测试。

而Street Guassian 就是GS 在自动驾驶领域的最佳范本，该成果将前景和背景分成相互独立的神经点云（neural point clouds），这样在应用的时候就可以实现场景的分解、组合以及编辑。

这样有了一个静态场景，在虚拟环境中，车辆的视角可以随时变化，就不再受限于当时的传感器数据，也就有了更好的测试自由度。

而且因为这种重建是基于车端数据的，可以将海量的的车端数据进行重建，进一步提高泛化性。

这种自动驾驶场景的重建与测试工程化，是非常需要魄力的。

因为GS 实际上表达有很多缺陷，例如对动目标不够稳定，车辆运动模糊带来的数据质量有问题，都需要工程上好好解决。

但是看上去理想汽车已经有了不错的结果。

在端到端自动驾驶工具链的探索，这对在端到端这条路上的玩家来说，非常有意义。

#理想汽车2024 智能驾驶夏季发布会#