理想暴雨测智驾，端到端+VLM上车，车主：求更新！

一凡 来源： 量子位

“领先无图一个时代”？

「自动驾驶」的上限有多高？

李想用一段视频回答了这个问题。

在宣布三年高考…啊不是，在宣布“三年L4，明年L3”后，李想再度发声谈自动驾驶，分享了团队的最新进展，还特别强调了背后的技术范式：

端到端+VLM (视觉语言模型)。

暴雨测智驾，效果挺意外

刚刚，李想发布了一段理想测试智驾系统的视频。

可以看到，即使在暴雨中，显示的车道线仍然非常清晰，系统还对场景情况进行了简述。

驾驶决策也很果断，嫌前车太慢，直接就是一个变道：

右转过路口比较顺畅，过弯就避让：

车主一整个期待住了，求快更新：

在视频中，测试者还特别强调，“真的没有用到图”。

因此视频所展示的，很可能就是还在内测阶段的 理想无图NOA ，目前测试范围扩大至一万人，预计将于今年三季度正式推送。

对此，有理想智驾团队成员转发微博称，理想端到端+VLM技术 “超越无图一个时代” 。

很多网友也是对此表示震撼，点赞理想的智驾进展：

实际落地，是否有网友们说的这么夸张，目前还不得而知。

但从公开成果来看，理想近期确实在智能驾驶方面，取得了一些不错的进展。

来，咱们一起扒一扒。

理想汽车近期的重要工作

理想汽车近期在智能驾驶方面有三项重要进展，先来看感知层：

理想联合中山大学，提出了一个名为的3D多对象跟踪框架。

该框架主要是针对自动驾驶感知中的 不确定性问题 进行了优化，比如目标对象尺寸过小，或是被遮挡，造成跟踪不准确。

框架主要包括三个关键组件：

这三个模块组成了一个 端到端 的系统，从输入图像直接生成跟踪结果。最终整体还会平衡损失函数，实现整体性能的最优化。

UA-Track在nuScenes(多模态3D自动驾驶数据集)基准测试中取得了最先进的性能，测试集上的AMOTA（平均多目标跟踪精度）达到了， 比之前最好的端到端解决方案提高了8.9%。

这是理想在感知层取得的最新成果，此外，理想还联合清华大学等单位，进行了工作，提出了一种 对象级的稠密图文对数据的生成方案 。

可以对 3D场景下的每个对象，生成详细的自然语言描述 。同时还开源了一个室内外数据集。

相比这两项工作，可能另一项工作大家更熟悉些，也是理想和清华的合作成果。

李想近日在出席重庆论坛时提到过，将 人类快慢思考引入到AI算法中 ，整个自动驾驶系统一分为二：

传统的感知、预测、规划，这种模块化的范式对应 第一类系统 ，是智能体基于人为手动写好的规则，就像人根据直觉和应急变化，做出快速反应。

不需要复杂的过程，应对常见场景没问题，响应迅速，需求算力也不高。

但是，很显然解决不了无穷无尽的Corner Case，怎么办？

这就需要借助 第二类系统 VLM，具备一定的通识能力，通过端到端的场景理解，识别物体和预测，进行决策和轨迹规划。

算力消耗大，需要更长的推理时间，好处是能够处理复杂场景，以及从未见过的长尾场景。

这些重要工作，为理想实现智能驾驶突破，提供了技术底层支撑。

通过测试视频，看起来理想下一阶段的智驾能力很不错。

当全面推送后，考虑到理想汽车的保有量，想必能力也会较快速的迭代，更上一层楼。

当然，具体能力会达到什么水平，还是要「上路见真章」。

什么时候，全国推送？

参考链接：

理想暴雨测智驾：

清华MARS Lab解析DriveVLM：

论文传送门：

UA-Track: Uncertainty-Aware End-to-End 3D Multi-Object Tracking

TOD 3Cap: Towards 3D Dense Captioning in Outdoor Scenes

DRIVEVLM: The Convergence of Autonomous Driving and Large Vision-Language Models

版权所有，未经授权不得以任何形式转载及使用，违者必究。