我要投搞

标签云

收藏小站

爱尚经典语录、名言、句子、散文、日志、唯美图片

当前位置:2019斗牛棋牌 > 构筑障碍物 >

激光、图像和雷达传感器如何感知环境信息?

归档日期:08-20       文本归类:构筑障碍物      文章编辑:爱尚语录

  无人驾驶过程中,环境感知信息主要有两个部分:一是行驶路径上的感知,二是周边物体感知。

  行驶路径上的感知,对于结构化道路可能要感知的是行车线,就是我们所说的车道线以及道路的边缘、道路隔离物以及恶劣路况的识别;对非结构道路而言,其实会更加复杂。

  周边物体感知,就是可能影响车辆通行性、安全性的静态物体和动态物体的识别,包括车辆,行人以及交通标志的识别,包括红绿灯识别和限速牌识别。

  对于环境感知所需要的传感器,我们把它分成三类:激光雷达、摄像头和毫米波雷达;

  实现无人驾驶汽车定位的传感器,就是 GPS 、IMU 和 Encoder;

  如果你在阅读完全文后,觉得看不懂,那么建议您多翻阅牛喀网的历史文章,我们对智能驾驶的各种关键技术都有内容发布。如果你感到不过瘾,还没有解决你的问题。那么,你的问题很可能已经超越了阅读所能解决的范畴,牛喀学城8月24日将特别适合你,这门课是专门针对已经具备智能驾驶技术知识的人员开设,结合理论+项目案例,重点讲授ADAS系统的数据融合以及系统集成的量产技术,详情可点击以下海报查看。

  摄像头的优点:是成本低廉,用摄像头做算法开发的人员也比较多,技术相对比较成熟;

  摄像头的劣势:第一,获取准确三维信息非常难(单目摄像头几乎不可能,也有人提出可以通过双目或三目摄像头实现);第二,受环境光限制比较大。

  激光雷达的优点:探测距离较远,而且能够准确获取物体的三维信息;另外它的稳定性相当高,鲁棒性好。

  就两种传感器应用特点来说,摄像头和激光雷达都可用于进行车道线检测。除此之外,激光雷达还可用于路牙检测。而对于车牌识别以及道路两边的交通标志,比如限速牌和红绿灯的识别,主要还是用摄像头来完成。从障碍物的识别来看,摄像头还可以很容易通过深度学习把障碍物进行细致分类。然而激光雷达对障碍物只能分一些大类,但对物体运动状态的判断主要靠激光雷达完成。

  第一步,对获取到的图片预处理,拿到原始图像后,先通过处理变成一张灰度图,然后做图像增强;

  第二步,对车道线进行特征提取,首先把经过图像增强后的图片进行二值化( 将图像上的像素点的灰度值设置为 0 或 255,也就是将整个图像呈现出明显的黑白效果),然后做边缘提取;

  车道线检测难点在于,在某些车道线模糊或车道线被泥土覆盖的情况下,在 黑暗环境或雨雪天气或者在光线不是特别好的情况下,摄像头识别和提取都会有一定的难度。

  上图是我们在十字路口做的实验,获取到原始图像后,通过深度学习框架对物体进行识别。完成训练集是本环节的主要难点。

  障碍物的识别有这样几步,当激光雷达获取三维点云数据后,我们对障碍物进行一个聚类,如上图紫色包围框,就是识别在道路上的障碍物,它可能是动态也可能是静态的。

  最难的部分就是把道路上面的障碍物聚类后,提取三维物体信息。获取到新物体之后,会把这个物体放到训练集里,然后用 SVM 分类器把物体识别出来。

  如上图,左上角、左下角是车还是人?对于机器而言,它是不清楚的。右上角和右下角(上图)是我们做的训练集。做训练集是最难的,相当于要提前把不同物体做人工标识,而且这些标识的物体是在不同距离、不同方向上获取到的。

  我们对每个物体,可能会把它的反射强度、横向和纵向的宽度以及位置姿态作为它的特征,进行提取,进而做出数据集,用于训练。最终的车辆、行人、自行车等物体的识别是由SVM分类器来完成。我们用这种方法做出来的检测精确度还是不错的。

  制作高精度地图也是一件非常困难的事情。举个例子,探月车在月球上,原来不知道月球的地图,只能靠机器人在月球上边走边定位,然后感知环境,相当于在过程中既完成了定位又完成了制图,这也就是我们在业界所说的 SLAM 技术。

  激光雷达是获取高精度地图非常重要的传感器。通过 GPS、IMU 和 Encoder 对汽车做一个初步位置的估计,然后再结合激光雷达和高精度地图,通过无人驾驶定位算法最终得到汽车的位置信息。

  基础层,有车道的宽度、坡度、倾斜角、航向、高程、车道线信息、人行道和隔离带等等。

  信息层,相当于告诉每一个道路上限速的标记、红绿灯标记,还有一个就是环境信息层,相当于周围建筑物的三维模型。

  其他信息层,比如说天气信息、施工信息等等,天气信息非常重要,它提供一个场景信息,比如说天气非常恶劣的时候,比如下雨天,如果高精度地图能提供天气信息,或者无人驾驶汽车车身所携带的传感器,能够感知到下雨信息,这时非常有利于指导无人驾驶汽车做一些决策。

  现在对高精度地图的定义,不同地图厂家有不同定义的方式。做高精度地图是为了辅助无人驾驶,所谓高精度地图就是相比之前的导航地图,前者精确度更高,可以达到厘米级;另一个就是高精度地图包含更多的信息量,比如说车道的宽度、倾斜度等信息。

  小贴士:牛喀学城将于10月19日邀请北美专家,做智能驾驶定位技术专题培训,欢迎联系我们预约。

  激光雷达与摄像头融合,其实相当于是激光雷达发挥激光雷达的优势,摄像头发挥摄像头的优势,他们在某些地方是做得不够好,需要两个传感器甚至多个传感器信息进行底层的融合。

  首先是标定。比如说左上角(上图),我看到凳子,左下角激光雷达也看到的是凳子,那么我通过标定的方式告诉它,其实两个是同一个物体。

  其实摄像头发现同一个物体是非常容易的,比如做人的跟踪或车的跟踪。对于激光雷达而言, 要去识别前后帧是否同一辆车和同一个行人是非常困难的。

  激光雷达有一个好处:如果可以通过摄像头告诉它前后两帧是同一个物体,那么通过激光雷达就可以知道物体在这前后两帧间隔内:运动速度和运动位移是多少。这是非常关键的,因为只有做运动物体的跟踪才能做一些预测。

  人在驾驶的过程中,必须时刻知道周围物体的运动状态。对于无人驾驶,除了对车辆进行位置的估计以及导航之外,其实还需要对周边物体、运动物体的跟踪和预测,这是非常有意义的。

  数据融合是一项比较复杂的工作,需要对传感器的特性具有深刻的理解,能够熟练的运用卡尔曼滤波等融合的算法,从而对目标进行准确的提取、筛选以及跟踪,本文我们举一个的例子。在8月24日牛喀学城即将举办的ADAS数据融合和功能实现技术培训中,会由来自国际顶级tier 1和车厂的专家,对这些方法和技术进行全面深入的讲解。感兴趣的朋友可以点击如下链接,报名参加。

  由相机捕获的图像数据由(U,V)表示,激光雷达捕获的3维点阵云用(X,Y,Z)表示,我们的目标是建立一个转化矩阵M,将3维点(x,y,z)映射到2维点(u,v),即:

  矩阵(fu,fv,u0,v0)是相机参数,fu以及fv是XY轴方向尺度因子(水平方向和垂直方向的有效焦距),u0,v0是像平面(image plane)的中心点,又称主点坐标。R为旋转矩阵,t为平移矢量。

  为了相机与激光雷达进行联合校准,两个配置文件需要进行修改,配置文件在lidar_camera_calibration/conf目录下。

  好,如果以上内容,你全部都能看得懂。那么你已经是一位专业人才了。成功离你或许仅剩一步之遥。牛喀学城精心为您策划的上,将会带您一起捅破产业化的最后一层窗户纸,在本次课程中,你不仅会学习到最实用的目标融合、筛选、跟踪技术,还将学习车辆动力学、汽车控制以及ACC/LCK的功能定义、功能抑制以及功能设计技术。真正让你对ADAS产品融汇贯通。

  为了让大家对这门课程有一个更直观的了解,我们展示了部分PPT,大家可以左右翻页参考。

本文链接:http://crash404.com/gouzhuzhangaiwu/333.html