一种基于环视相机的自动泊车方法 ｜ 厚势汽车

厚势按：针对泊车摄像头视场有限的问题，提出了一种基于环视相机的自动泊车方法。采用 4 个鱼眼摄像头，构建了一种环绕车身 360° 的实时视觉泊车辅助系统，用于停车位的实时检测和识别： 首先，运用多项式鱼眼校正模型校正失真图像，用 Levenberg Marquardt 算法求得最优的缝隙拼接方向并合成环视图； 其次，采用 Radon 变换提取停车位特征识别停车位； 最后，使用基于双圆弧的路径规划算法和基于预瞄点的改进 PID 路径跟踪算法，实现自动泊车。 实验表明，该方法具有较高的检测精度和鲁棒性。 本文来自 2013 年 07 月 28 日出版的《 上海交通大学学报 》，作者是上海交通大学机器人所的王旭东和王春香副教授，以及上海交通大学系统控制与信息处理教育部重点实验室的杨明教授和王冰高工。 随着经济和社会的不断发展，汽车作为现代交通工具已日益普及。但现代都市的「停车难」，越来越狭窄的停车空间已成为人们普遍关注的问题。因此，泊车辅助驾驶研究已成为智能交通领域的一个热点。另外，据有关新技术调查研究 [1] 显示：超过 66％ 的用户都愿意购买泊车辅助系统。 目前，泊车辅助系统主要基于传感器检测停车位，如基于激光雷达传感器 [2]，基于超声传感器 [3] 和基于视觉传感器 [4] 等，摄像头作为主流传感器已将其应用在泊车辅助上。但由于大多处于起步阶段或仅适用于部分环境，有些只是单一的使用一个摄像头，在泊车时难免有一些盲区，要达到理想的泊车入位仍有很大难度。本文基于 4 个摄像头设计了低成本的环视相机消除盲区，提高了泊车效率。 另外，大多数视觉的停车位检测方法都是基于 Hough 变换实现的 [3-４]，然而： 一方面，实际泊车环境往往存在较大的噪声或振动或光线变化，用 Hough 变换检测平行线或平行四边形时，它的鲁棒性和准确性往往很差 [5]； 另一方面，Hough 变换在同时检测多个停车位时往往漏检率很高 [6]。 因此，本文提出运用 Radon 变换的新方法进行停车位检测，提高了检测的鲁棒性和精确度，并基于设计的环视泊车辅助系统，通过双圆弧的路径规划和基于预瞄点的路径跟踪方法，实现了自动泊车。 1. 环视泊车辅助系统 环视泊车辅助系统由 4 个安装在车身周围的带 180° 广角镜头的鱼眼摄像头构成，如图 1 所示。 图 1 环视泊车辅助系统 环视泊车辅助系统主要包括图像校正与图像拼接处理 2 部分： 图像校正是对摄像头进行标定后，运用多项式的鱼眼摄像头校正模型 [7] 对各个摄像头的图像进行去畸变校正，并运用逆透视变换方法 [8] 将各个校正图像变换到世界坐标系同一平面上，方便后续拼接。 图像拼接是为了消除泊车时的盲区，利用相邻两帧图像间的公共叠加部分，运用 Levenberg Marquardt 非线性优化算法确定最优的拼接方向，并沿缝隙将各个摄像头的图像拼接成围绕车身的环视图像即环视图，如图 1 (b) 所示。 由于环视图包含车身周边丰富的信息，从而能更好地引导驾驶者完成泊车动作。 2. 停车位检测与自动泊车 Radon 与 Hough 变换的原理基本相同，都是将图像空间变换到 (θ,ρ) 的参数空间。不同的是 Radon 变换的 R(θ,ρ) 是沿某一方向直线的线积分即沿某一方向的投影，其积分值与图像像素点的灰度值有关，具体计算公式如下： 通常停车标志线颜色都较亮，由于 Radon 变换是基于像素点灰度值的线积分，因此，亮色目标会被放得很大，一些因光照变化或地面缺陷等噪声带来暗特征的线积分会相对减小，这些更利于检测的准确性和鲁棒性。 这也是 Radon 变换比 Hough 变换的优势所在。沿参数空间的 θ ∈ [ 0°,180°) 对边缘检测后的图像进行 Radon 变换，运用角度直方图沿 θ 方向投影求得停车线的主方向。 2.1 特征提取 停车位标志线通常都是固定宽度的黄线或白线，它在 Radon 空间里的特征是对应一对具有固定像素宽的亮点对，如图 2 所示： 图 2 停车线特征 停车位的每条线对应着 Radon 空间中具有相同 θ 和固定像素宽度的一对亮点。因此，如果检测到亮点对的中心，各个停车线也就确定了。本文设计了一种检测亮点对中心的算法，其结构如图 3 所示。图中，PD 为 2 个亮点之间的像素距离。 图 3 亮点对中心检测 为了检测亮点对中心，需做如下计算： 实际环境下停车线的宽度并不是严格固定的，总存在一些误差，为了减少误差带来的影响，这里的 RHBS，RLBS 取各自 Radon 空间里亮点附近的局部最大值。对式 (2) 进行变换，将 V(θ,ρ) 归一到 [ 0,1 ]，有： 图 4 亮点对中心检测结果 设定阀值，遍历整个 Radon 变换空间，便得到符合停车线的亮点对中心点的集合 SC。检测结果如图 4(a) 所示。然而，在泊车时，难免会有光线变化、地面缺陷、邻车干扰等噪声影响，往往会给检测带来一些干扰，如图 4(b) 所示有邻车干扰环境。为了消除这些噪声带来的干扰，需要做进一步处理。 2.2 聚类和滤波 为了消除噪声等其他因素的干扰，需要对 θ 和 ρ 分别进行滤波处理。实际的停车线之间并不是严格平行、垂直的关系，误差的存在难免会影响停车线检测的准确性。因此，沿 Radon 空间里的 θ 方向将不满足局部最大值的候选点进行过滤。 ρ 方面：为消除噪声等带来的干扰，需要对沿 θ 方向过滤后的候选点进行聚类： 一方面，停车线的宽度有限，聚类距离不能过大； 另一方面，停车位的空间尺寸也是有限的。 图 5 停车位检测结果 因此，结合基于密度聚类算法可以过滤掉那些不满足停车位空间尺寸的干扰点，从而得到准确的点集，聚类滤波结果如图 5(a) 所示。不同场景下的检测结果如图 5(b) 所示。从图中可以看出，本文方法具有良好的准确性和鲁棒性。 2.3 空停车位提取 图 6 识别空停车位的兴趣窗口 泊车关心的对象大多是空的停车位，因此需要提取空停车。首先，利用主方向对图像进行旋转矫正，提取每个停车位作为研究对象，然后，通过图 6 所示的兴趣移动窗口，计算窗口中车体轮廓所占图像面积的比例来判断当前停车位的状态，即被占用车位，还是空停车位。图中，D 为停车位深度。 2.4 自动泊车路径规划 图 7 基于双圆弧的路径规划 根据检测的空停车位，可以确定停车位位置。一般平行泊车的空间很大，泊车比较容易而且目前的方法都已成熟。然而，垂直泊车由于其狭窄泊车空间的特点，实现起来很困难。本文主要针对垂直泊车，提出了使用基于双圆弧的路径规划策略。如图 7 所示，在世界坐标系 xOy 下：P1、P2 是停车位的入口点。基于双圆弧的路径有 A、B、C 3 个转换点。 图 8 路径规划几何图 在 A 转换点之前，车做直线前行运动；在 AB 弧段，车沿一定转向角做前行圆周运动；在 BC 弧段，车沿一定转向角做倒车圆周运动；在转换点 C 后，车继续做直线倒车运动。为了提高泊车过程的连续性和减小整个泊车空间，要减小圆周运动的半径。然而，过小的半径可能会碰撞到相邻车位的车子，因此，选择合适的半径是关键，如图 8 所示。 2.5 自动泊车路径跟随控制 图 9 路径跟踪的控制方法 预先设计出泊车路径后，就可以运用基于预瞄点的 PID 控制策略进行路径跟随 [2]。这种方法简单、有效，其控制原理如图 9 (a) 所示。选择距离车辆正前方一定距离的点作为预瞄点，将该预瞄点与路径间的最短距离作为 PID 控制器的输入。 然而，在转弯时路径的曲率较大，传统预瞄的 PID 很难精确控制，因此，本文运用一种改进的基于前反馈的 PD 控制方法（见图 9(b)）。e1 是所选预瞄点A距离路径的最短距离，e2 是预瞄点 A 经 DR（Dead Reckoning）融合后得到的与路径的最短距离。前反馈的参数是转向角 φ，最终的控制转向角为： 3. 实验及结果 图 10 CyberC3 实验平台 实验平台如图 10 所示。包括安装在车身 4 周的 4 个鱼眼摄像头、测方向盘转向的旋转编码器、测车速的速度编码器、车的控制系统和里程计编码器。 3.1 停车位检测实验 图 11 Radon 和 Hough 变换对比图 图 12 同时检测多个停车位的对比图 在相同的检测方法下，Radon 变换与 Hough 变换的对比效果如图 11 所示。由图可见，在同等条件下，Radon 变换表现出了较高的鲁棒性和精确性，这些正是 Radon 变换的线积分特性。另外，Radon 变换在同时检测多个停车位上具有良好的优越性（见图 12）。实验统计了 2626 帧图像，对比 Radon 与 Hough 变换在相同条件下检测的精度，结果如表 1 所示。表中，P_p 为精确率，P_re 为回召率。 综上所述，本文提出的基于 Radon 变换的停车位检测方法具有更高的鲁棒性和精确度。 3.2 空停车位提取实验 图 13 空停车位提取结果 空停车位提取的部分实验结果如图 13 所示。 实验共统计了 327 帧图像，其中识别成功 325 帧，成功率为 99.39％，识别失败只有 2 帧，所占比例为 0.61％，因此，基于兴趣窗口的空停车位识别方法具有很高的准确率。 3.3 仿真实验 图 14 仿真结果 为了验证路径规划和路径跟踪的实际可行性，需要对其进行仿真实验。一方面，运用MatLab进行路径规划仿真实验，如图 14(a) 所示，其中每个像素点对应着世界坐标系下 2 CM。另一方面，运用开源汽车仿真平台 TORCS 来进行路径跟踪的仿真如图 14(b) 所示。 从以上仿真结果可以看出，基于双圆弧的垂直泊车规划路径方法是非常有效的。另外，相比传统预瞄 PID 的控制方法，本文改进的基于前馈 PD 的路径跟踪控制方法具有更高的精度。 4. 结语 本文设计了一种基于 4 个鱼眼摄像头的环视视觉泊车辅助系统。 一方面，提出了运用 Radon 变换检测停车位的新方法，并与传统的 Hough 变换检测方法进行了大量对比实验。实验结果证明，基于 Radon 变换的停车位检测方法具有高的鲁棒性和精确度。 另一方面，利用基于双圆弧的泊车路径规划和基于预瞄点的改进 PID 控制的路径跟随方法，实现了垂直泊车方法。考虑移动车辆对停车位检测的影响，融合环视鸟瞰图对车辆的位姿进行实时校正是后续研究的重点。 参考文献 [1] Randy F. Sensing in the ultimately safe vehicle [J]. SAE Technical Paper, 2004-21-0055. [2] 史晓磊，王春香. 基 于 激 光 雷 达 的 自 动 泊 车 系 统 研 究 [D]. 上海：上海交通大学机械与动力工程学院，2010 [3] Degerman P, PohlJ, Sethson M. Houghtransform for parking space estimation using long range ultrasonic sensors [J]. SAE Technical Paper, 2006-01-0810 [4] JungH G, Kim DS, Yoon PJ, et al. Parking slot markings recognition for automatic parking assist system [J]. IEEE Intlligent Vesicles Symposium, 2006,6: 106-113 [5] BhaskarH, WerghiN, Mansoori S. Combinedspatial and transform domain analysis for rectangle detection [J]. Information Fusion (FUSION) 2010 13th Conference, 2010,7: 26-29 [6] BhaskarH, WerghiN. Comparing Hough hand Radon transform based parallelogram detection [J]. Gulf Cooperation Council (GCC) Conference and Exhibition,2011,12: 641-644 [7] Ricolfe Viala C, Sanchez Salmeron. Lensdistortion models evaluation [J]. Applied Optics, 2010, 49: 5914-5928 [8] CHEN Fang, YANG Ming, WANG Chun-xiang, etal. Road orthophoto mapping approach based on wave-lettransform [J]. Journal of Huazhong University of Science and Technology: Natural Science, 2011, 39 (Sup. II): 131-133 编辑整理：厚势分析师盖布林 转载请注明来自厚势和厚势公号：iHoushi -END- 文章精选 企业家 马斯克和贾跃亭 ｜福特CEO下台｜正道汽车仰融 任正非裁员｜电池大牛凯尔提离开特斯拉 智能驾驶 BBC自动驾驶纪录片｜自动驾驶第一案，谷歌讼Uber 高精地图｜自动驾驶的灾难｜英特尔收购Mobileye 驾驶模拟技术在汽车智能技术研发中的应用综述 自动驾驶如何重构汽车产业价值链 无人车的线控转向系统故障诊断 同济熊璐教授：无人驾驶车辆的底层动力学控制研究 为什么说百度阿波罗画虎不成反类犬？ 新能源汽车 全国50个新能源汽车项目大盘点 锂电池发展趋势｜中国汽车产业电动化进程 苹果收购特斯拉？｜丰田和特斯拉决裂 重庆大学：燃料电池关键材料与进展 干勇院士：中国氢能源体系 项目和评论 以色列最强10家自动驾驶创业公司 37个汽车分时项目盘点｜百度投资蔚来汽车 马化腾或为共享单车最大赢家｜汽车产业3大趋势 Momenta获$4000万B轮 百度系自动驾驶初创公司 Pony.ai 的突围之路 这些大神从Google出走，创办了五家（命运各异的）无人车公司 无需基础知识，理解自动驾驶高精度行车定位技术 厚 势 汽 车 为您对接资本和产业 新能源汽车 自动驾驶 车联网 联系邮箱 bp@ihoushi.com 点击阅读原文，查看文章「基于视觉和毫米波雷达的车道级定位方法」