Driving in Dense Traffic with Model-Free Reinforcement Learning

当道路交通拥挤时，因为在时空中无障碍的区域太小，传统的规控方法可能无法为自动驾驶车辆找到可行的路线。但是，这不意味着可行路线不存在，因为人类驾驶者能够达成合作，创造空当，把车开过密集的车流。而传统方法没能考虑到自车的行动会影响到道路上的其他车辆的表现。本文的工作中，我们利用深度强化学习对这种交互进行了隐式建模，并学会了一种控制自动驾驶车辆的策略，这种策略在动作空间中是连续的。实现过程中，我们的车辆会和他车进行协商，并在道路中开辟空隙，从而进行并道或者时变道。我们的策略包括反复的探入目标车道，从而找到一个可以安全切入的点。我们在仿真测试中与另外两种model-predictive control-based算法进行了比较，证明了我们的策略更优。作为工作的一部分，我们提出了一种新的基准，供社区在测试密集车流中的驾驶模型时用于比较。