论文解读：Dense reinforcement learning for safety validation of autonomous vehicles
提高自动驾驶汽车安全性能的关键瓶颈在于：安全验证极其低效。主要是用软件模拟、封闭试验跑道和道路试验相结合的方式在无损检测（NDE）中对无人驾驶汽车进行试验。然而，在 NDE 上的测试通常需要测试数亿英里。为了提高效率，还有许多基于场景的方法，但主要适用于短场景路段。验证无人驾驶技术的安全性能本质上是一个高维空间中罕见事件的估计问题，主要的挑战在于“维度灾难”（驾驶的时空环境复杂）和“稀有灾难”（影响安全的关键事件发生的概率低）的复合。
为解决这一挑战，最新发表在 Nature 的这篇文章开发了一种密集深度强化学习（dense deep-reinforcement-learning，D2RL）方法。基本思想是识别和删除非安全关键数据，并利用安全关键数据训练神经网络。他们开发了环境的智能测试，训练基于人工智能的后台主体，来验证自动驾驶汽车在加速模式下的安全性能，而不会失去无偏性（unbiasedness）；基于自然驾驶数据，后台智能主体通过 D2RL 方法来学习执行什么样的应对策略。他们还在结合多模拟背景和现实环境测试了高度自动化的车辆，发现 D2RL 训练的主体可以加速测试过程达多个数量级（103到105倍）。此外，D2RL还能加速其他安全关键型自主系统的测试和训练。
刚阅读了一部分，详细的解读等我全部读完后更新。
论文的附件及相关说明Dense reinforcement learning for safety validation of autonomous vehicles，相关源码在sumo_carla_simulator。