×
We use cookies to help make LingQ better. By visiting the site, you agree to our
cookie policy.
李永乐老师 Youtube, 智能汽车如何眼观六路、耳听八方?传感器融合与卡尔曼滤波技术
智能 汽车 如何 眼观六路 、耳听八方 ?传感器 融合 与 卡尔曼滤波 技术
各位 同学 大家 好 我 是 李永乐 老师
前 一段时间 我 讲 了 一期 关于 自动 驾驶 的 话题
有 小朋友 就 跟 我 说
他 最近 就 买 了 一辆 自动 驾驶 的 汽车 小鹏 P7
它 拥有 多个 摄像头 毫米波 雷达
超声波 雷达 分米级 的 高德 地图
以及 厘米 级 的 高精度 定位
还有 互为 冗余 的 双 计算 平台
他 想 问 我
这么 一大堆 听不懂 的 名词 到底 是 什么 意思 呢
今天 我们 就 来 聊 一聊
小鹏 汽车 的 NGP 自动 导航 辅助 驾驶 功能
为了 聊 这个 话题
我们 首先 来讲 一讲 传感器 的 融合 传感器 融合
我们 在 上 一次 讲 自动 驾驶 的 时候 说 过
一个 汽车 要 想 自动 驾驶 的话
它 必须 能够 自动 地 感知 外界 的 环境
同时 进行 决策 以及 执行
在 感知 的 层面 就 需要 一大堆 传感器 进行 配合
汽车 的 传感器 就 相当于 人 的 感官
人 的 感官 不 只有 一种
比如说 亚里士多德 说 人 的 感官 有 五种
就是 眼睛 鼻子 舌头 耳朵 还有 身体
分别 对应 了 视觉 嗅觉 味觉 听觉
还有 触觉 是 吧
每 一种 感觉 都 有 它 的 特点
比如说 大部分 情况 下
视觉 的 范围 是 比较 广泛 的
但是 如果 你 遇到 了 雨雪 天气
也许 听觉 能为 我们 提供 更 准确 的 信息
只有 几种 感官 相互配合
人们 才能 准确 地 判断 外界 的 环境
那么 对于 汽车 来讲
同样 是 如此
使用 一种 传感器 不能 准确 地 判断 外界 环境
所有 的 自动 驾驶 汽车
必须 使用 多种 传感器 相互配合
这 就是 所谓 的 传感器 融合 技术
它 能够 让 汽车 眼观六路 耳听八方
回答 两个 重要 的 问题
那 就是 我 周围 有 什么 以及 我 在 哪里
我们 首先 来看 第一个 问题
说 汽车 可以 通过 传感器 回答
说 自己 的 周围 到底 有 什么 这个 话题 是 吧
一般来讲
在 具有 高级 自动 驾驶 功能 的 汽车 上
它 在 高速行驶 的 时候
有 三种 传感器 发挥 了 这个 作用
这 三种 传感器 分别 是 激光雷达
以及 以前 我们 讲过 的 叫 毫米波 雷达
毫米波 雷达 还有 就是 摄像头 摄像头
每 一种 传感器 都 有 自己 不同 的 特点
我们 来 解释一下 画个 表格
表格 画 完 了
我们 首先 来说 一说 激光雷达
激光雷达 的 原理
就是 发射 一束 激光
遇到 障碍物 然后 反射 接收 到 回波
计算 发射 和 接收 的 时间差
从而 判断 障碍物 的 距离
激光雷达 又 分为 两种
有 一种 叫 机械式 激光雷达
就是 它 可以 向 不同 的 方向 360 度 的 旋转
然后 扫描 是 吧
这样 就 可以 判断
说 周围 的 障碍物 离 自己 都 有 多 远 了
可以 获得 一个 3D 点阵
就 可以 勾绘 出 周围 的 这个 情况
还有 另外 一种 激光雷达 叫做 固体 激光雷达
它 就是 由 很多 个 光源 形成 一个 阵列
通过 调相 的 方法
就 可以 实现 向 不同 的 方向 发射 激光
它 不 需要 旋转
而且 这种 雷达 它 相比 来讲 造价 比较 低
这个 寿命 也 比较 长
可能 是 未来 激光雷达 的 这个 发展 方向
激光雷达 有 很多 很 好 的 特征
比如说 首先 它 的 定位 非常 准确
它 可以 准确 地 判断 这个 障碍物 离 我们 有多远
而且 是 什么 方向 的
它 都 可以 准确 地 判断 出来
同时 激光雷达 是 自己 发出 电磁波 接收 回波
它 不 需要 有 外界 的 光
所以 夜晚 也 可以 使用
而且 激光 的 波长 很 短
它 可以 判断 这个 物体 的 表面 的 形状 是 吧
这个 物体 是 一个 平面 还是 一个 凸起
它 都 可以 判断 出来
我们 称之为 可以 3D 建模
但是 激光雷达 也 有 它 的 缺点
比如说 因为 激光 波长 比较 短
很难 穿透 雨雪 云雾
到 雨雪 云雾 的 天气
激光雷达 就 不能 用 了 对 吧
再 比如说 激光雷达 是 靠 发射 激光 接收 回波
测量 物体 的 距离
它 没有 办法 判断
这个 物体 是 红色 还是 绿色 的 是 吧
它 没有 办法 判断 物体 的 颜色
所以 它 看不出来 红绿灯 是 吧
而且 它 也 没有 办法 区分 哪个 车道 线
是不是 这是 激光雷达 的 一个 缺点
那么 为了 克服 这些 缺点
人们 还 需要 其他 雷达
比如说 毫米波 雷达
毫米波 雷达 和 激光雷达 原理 类似
它 只不过 波长 长 一些
它 也 可以 实现 比较 准确 的 定位
在 夜晚 也 可以 使用
它 还有 一个 优点
就是 因为 波长 长 可以 穿透 雨雪 是 吧
所以 也 称 它 为 全天候 雷达
白天 晚上 都 能 用 雨雪 天气 也 能 用
但是 它 也 有 缺点
首先 它 跟 激光雷达 一样
不 能够 区分 物体 的 颜色
而且 因为 它 波长 比较 长
就 没有 办法 准确 地 描绘出
这个 物体 到底 是 长 什么 样子
没有 办法 进行 3D 建模 这 是 它 的 一 缺点
那么 怎么办 呢
人们 又 提出 我们 还 可以 用 摄像头
摄像头 就 相当于 汽车 的 眼睛
它 跟 雷达 不 一样
雷达 是 发射 电磁波 接收 回波
而 这个 摄像头 它 只 接收 外界 的 光 信号
它 不 往外 发射 对 不 对
所以 它 的 特征 首先 它 可以 判断 颜色 对 吧
它 拍摄 了 很多很多 的 照片
然后 把 这些 照片 输入 计算机 进行 机器 学习
它 就 可以 知道 这个 是 红绿灯 那个 是 斑马线
这个 是 人 那个 是 车 对 吧
它 就 可以 知道 这些 信息 了
但是 摄像头 也 有 它 的 缺点
首先 来讲 晚上 没光 的 时候
摄像头 肯定 是 用 不了 的 对 不 对
雨雪 天气 这个 光 也 很 容易 被 遮挡
所以 也 没有 办法 判断 前方 的 物体 了
如果 你 是 双目 摄像头
你 倒 是 可以 进行 简单 的 定位
但是 摄像头 它 是 有 畸变 的
所以 它 的 定位 准确度 远远 没有 雷达 好
如果 是 单目 摄像头 那 就 没有 办法 实现 定位 了
同时 摄像头 也 没有 办法 进行 3D 建模
你 这样 一看
每 一种 传感器 其实 都 有 它 的 优点 和 它 的 缺点
所以 我们 得 把 多种 传感器 配合起来 使用
才 能够 准确 地 判断 出 外界 的 环境
你 比如说 你 用 这个 激光雷达 进行 定位 是 吧
定位 完 了 之后
用 它 勾勒 出 这个 物体 的 这个 形状 来
最后 我们 再用 这个 摄像头 进行 上色
我 就 可以 知道 是 什么 了
如果 摄像头 发现 前面 有 一只 老虎
结果 激光雷达 判断 这是 一个 平面 的 是 吧
那 我们 就 可以 知道 这是 一张 老虎 的 年画
我 就 可以 准确 地 进行 判断 了
那小鹏 P7 就是 利用 了 这样 的 技术
它 有 5 个 毫米波 雷达
还有 14 个 摄像头 进行 融合
那 自动 驾驶 汽车 除了 要 知道 周围 有 什么 以外
还有 一个 就是 自己 在 哪里
或者说 要 实现 这个 高精度 的 定位
那 我们 现在 定位 用 导航 是不是
我们 用 手机 打开 百度 地图 或者 高德 地图
我们 就 可以 导航 了
那种 地图 它 叫 导航 级 地图
导航 级 地图 精确度 不高 大概 是 米级
就是说 我们 使用 导航 级 地图
它 的 误差 在 几米 的 这个 量级
我 没有 办法 区分
自己 的 汽车 到底 是 在 主 路上 还是 在 辅 路上
到底 是 在 第一条 车道 还是 在 第二条 车道
那么 这种 导航 及 地图
其实 对于 自动 驾驶 汽车 是 不够 的
自动 驾驶 汽车 必须 使用 高精度 的 地图
高精 地图
这个 高精 地图 要 精到 什么 程度 呢
要 能够 对 汽车 进行 分米级
甚至 厘米 级 的 这种 定位
它 的 误差 要 在 分米 甚至 是 厘米 的 量级
那 怎么 才能 做到 这么 高 的 精度 呢
我 给 大家 介绍 一下 这个 方法
首先 我们 知道 一个 汽车 上面
它会 有 一些 这个 定位 的 模块
它 可以 和 这个 卫星 进行 联络
比如说 我们 可以 用 GPS 或者 北斗 这个 导航系统
用 这个 导航系统 跟 卫星 进行 联络
理论 上 来讲 四颗 卫星 就 可以 把 你 定位 了
这 就是 第一步
就是 通过 这个 北斗 或者 GPS 我们 可以 进行 定位
但是 这样 定位 它 是 存在 一定 的 误差 的
比如说 因为 云雾 的 影响 造成 的 这个 光速 的 变化
等等 会 有 误差
那么 这个 误差 怎么办 呢
我们 可以 在 地面 上 建立 一系列 的 基站 进行 校准
我们 不光 要 你 和 这个 卫星 联络
你 还要 和 地面 的 基站 进行 校准 联络
很多 公司 就 做 这个 事
比如说 像 这个 千寻 定位系统
千寻 定位 就是 在 地面 上 安装 了 一大堆 的 基站
这样 它 就 可以 提高 你 定位 的 精度
比如说 像 导航系统 只能 给 你 达到 米 量级
而 这个 千寻 定位 就 可以 辅助 你
达到 分 米 量级 的 定位
但是 我们 怎么样 才能
进一步提高 这个 定位 的 精度 呢
还有 方法
比如说 像 这个 高德 地图
他 做 这个 高精度 地图 的 方法 是 这样 的
首先 他 在 做 地图 的 时候
他 就 会派 一辆 带有 这个 激光雷达 的 汽车 上路
这个 激光雷达 的 汽车
它 就 会 把 周围 的 环境 都 拍下来
周围 可能 有 什么 呢
周围 可能 有 一个 比如说 一个 房子
也 可能 是 有 一棵 大树
也 可能 这边 有 一个 红绿灯
也 可能 这边 还有 一个 什么 花坛 之类 的
那么 这些 东西
都 会 被 这个 激光雷达 拍摄 下来
拍摄 下来 之后
它 就 把 这个 数据 都 记录下来 了
然后 放到 这个 高精 地图 上面 是 吧
这个 就是 高德 的 这个 高精 地图
然后 当 我们 的 这个 自动 驾驶 汽车
去 使用 这个 地图 的 时候
它 自动 驾驶 汽车 不是 也 有 这些 传感器 吗
它 也 会 拍摄 周围 的 环境
它会 把 周围 的 环境
再 和 高精 地图 中 已经 拍摄 好 的 这个 环境
进行 对比
它 一 对比 就 知道 了
你 看 我 现在 在 主 路上 我 在 辅 路上
我 在 第一条 道 还是 在 第二条 道
我 就 可以 达到 厘米 的 量级 了
这个 小鹏 汽车 就 采用 了 这样 的 一个 技术
首先 通过 这个 定位系统
以及 这个 千寻 定位系统
达到 了 一个 分米级 的 定位
然后 再 通过 这个 高精 地图
跟 周围 的 环境 进行 比对
达到 这个 厘米 级 的 定位
这 就是 自动 驾驶 汽车 的 一个 定位 的 原理
那 刚才 我们 介绍 了 传感器 融合 的 作用
但 传感器 究竟 是 怎么 融合 到 一块 的 呢
这是 一个 很 复杂 的 技术 问题
举个 例子 来讲
不同 的 传感器 它们 的 获得 信息 是 不 一样 的
这 里面 面临 两个 方面 的 问题
第一个 问题 叫做 空间 定标
就是 你 不同 的 传感器
你 是 安装 在 车上 不同 的 位置 的
所以 角度 也 不 一样
这样 你 会 看到 不同 的 情景 拍摄 到 不同 的 画面
你 怎么 通过 空间 坐标 的 方法
把 这些 个 画面 给 融合 到 一块
这 就 叫 空间 定标 是 吧
第二个 是 时间 定标
每 一个 传感器 它 对 外界 环境 的 感知 频率 不 一样
比如说 摄像头 它 可能 每秒钟 拍摄 25 张 照片
而 这个 毫米波 雷达
它 可能 每秒钟 只是 探测 10 次
这样一来 摄像头 拍照片 的 时候
可能 这个 毫米波 雷达 没有 信息 传 回来
所以 我要 通过 一些 方法
把 这个 不同 时间 的 信号 又 把 它 融合 起来
这个 就 叫 所谓 的 时间 定标
除了 空间 定标 和 时间 定标 以外
更为重要 的 是
有 的 时候 传感器 获得 的 信息 是 彼此 矛盾 的
比如说 摄像头 告诉 我们 前方 有 一堵 墙
而 毫米波 雷达 告诉 我们 前面 是 个 斜坡
我们 到底 相信 谁 呢
比如说 定位系统 告诉 我们 现在 在 主 路上
但是 这个 雷达 告诉 我们 现在 我们 在 辅 路上
我们 又 该 相信 谁 呢
因为 每 一种 传感器 它 都 是 有 误差 的
所以 这样 的 矛盾 是 每时每刻 都 在 发生 的
我们 该 怎么办 呢
这里 我们 就 不得不 提 一位
在 工程界 家喻户晓 的 人物 了
他 是 一位 出生 在 奥地利 的 美国 数学家 和 工程师
名字 叫做 鲁道夫 · 卡尔曼
他 提出 了 卡尔曼滤波
卡尔曼滤波 曾经 帮助 阿波罗 飞船 登上 了 月球
现在 也 在 每时每刻 都 在 帮助 我们 的 GPS 导航系统
我们 利用 卡尔曼滤波
就 可以 把 不同 传感器 的 信息 融合 到 一块 了
我们 举 一个 例子
比如说 我们 通过 定位系统
比如 GPS 定位 或者 是 什么 其他 的 定位系统
我们 知道 了 这个 汽车 的 位置
这个 位置 就是 z₁
我 告诉 你 汽车 是 在 z₁ 的 位置
但是 因为 GPS 是 有 误差 的
它 不能 准确 地 告诉 你 在 什么 位置
而 只能 告诉 你 在 一个 范围 内
它 还有 一个 误差 或者说 方差 σ₁²
z₁ 只是 表示
你 可能 在 的 位置 中 的 这个 平均 位置
或者 叫 期望
而 这个 σ₁² 就 代表 了 你 的 误差 大小
如果 这个 σ₁² 特别 特别 小
就 表示 你 的 定位 特别 准确
σ₁² 特别 大
就 表示 你 的 定位 不太 准确 误差 特别 大
一般来讲 我们 认为
这个 GPS 定位 也好 其他 的 定位 也好
它 的 这个 误差 情况
都 满足 一个 高斯分布 或者 正态分布
以前 我们 讲过 高斯分布 是 什么 意思 呢
画 一个 图像
纵坐标 表示 的 是 概率密度
就 出现 在 某 一个 位置 的 概率密度
横坐标 是 表示 你 的 位置
如果说 GPS 告诉 我们
你 的 位置 是 以 z₁ 为 平均 位置
而 标准差 是 σ₁
我们 可以 画出 一个 图像 来
它 就 长 这个 样子 是 吧
它 这个 最大 概率 的 位置 就是 z₁
这个 图像 就 告诉 我们
你 的 位置 最有 可能 是 在 z₁ 的 位置
你 离 z₁ 位置 越近 你 出现 的 概率 就 越 大
你 离 z₁ 位置 越远 你 出现 的 概率 就 越 小
如果 这个 函数 特别 的 瘦高
那 就 意味着 你 给 我 的 信息 特别 准确
你 分布 的 位置 都 是 在 z₁ 附近 的
如果 这个 函数 特别 的 矮胖
那 就 说明 你 误差 特别 大
我 也 不 太 清楚 你 到底 是 在 什么 位置
这 就是 所谓 的 这种 高斯分布 或者说 正态分布
这里 边 的 这个 σ
其实 就 表示 它 瘦高 还是 矮胖 的 程度
如果 σ 特别 小 那 这个 函数 就 特别 瘦高
就 表示 比较 准确
σ 特别 大 就 说明 你 比较 矮胖
好 总而言之
这个 GPS 定位 告诉 了 我们 这个 位置 的 信息
但是 我们 不是 还有 其他 传感器 吗
什么 雷达 什么 的 摄像头
我们 这些 传感器 它 也 可以 告诉 我们 位置 的 信息
比如 它 告诉 我们 汽车 的 位置 是 在 z₂
而且 这个 方差 是 σ₂²
我 也 可以 再 画出 这个 传感器 告诉 我们 的 情况
比如说 它 有 可能 是 长 这个 样子 的 长 这个 样子
这个 样子 就 告诉 我们
传感器 认为 我们 的 位置 更加 靠前 一点 是不是
而且 传感器 提供 的 信息 可能 更加 准确
它 的 这个 标准差 σ₂ 比较 小
而 刚才 这个 GPS 告诉 我们 的 这个 标准差
σ₁ 它 是 比较 大 的
现在 我们 得到 两个 不同 的 信息
我们 如何 把 它 融合 到 一块 呢
这 卡尔曼 就 说 了
经过 数学计算 你 有 一个 最优 的 估计
最优 的 估计 最优 的 估计 是 什么 呢
那 就是 这有 一个 公式
这 公式 告诉 我们 你 最优 估计 的 位置 等于 什么 呢
=σ₂²z₁/(σ₁²+σ₂²)+σ₁²z₂/(σ₁²+σ₂²)
有 的 同学们 说 什么 乱七八糟 的
其实 这个 问题 并 不是 难 理解 的
咱们 仔细 看
z₁ 和 z₂ 是 两个 传感器 告诉 我们 的 位置
我们 最后 估计 的 位置
一定 是 要 把 它 融合 到 一块 得出 一个 结论
但是 谁 更 准确 我 就 更 相信 谁
你 看 这 两个 图像 你 就 应该 知道
这个 σ₂ 更 小 一些
说明 z₂ 这个 信息 更加 准确
所以 我 在 计算 权重 的 时候
我 应该 让 z₂ 的 这个 权重 更大 一些
我 怎么 才能 让 z₂ 的 权重 更大 一些 呢
我 让 它 前面 的 权重 是
σ₁²/(σ₁²+σ₂²)
你 σ₁ 比较 大 所以 这个 权重 就 大
大家 能 明白 吗 对 不 对
同样 道理 你 这个 z₁ 它 的 标准差 比较 大
说明 它 不是 那么 的 准确
所以 它 的 权重 就要 小 一些 是 吧
所以 你 可以 简单 地 理解 一下
这个 其实 就是 把 两个 数据 融合 到 一块 了
在 融合 的 时候 谁 准确 谁 的 权重 就 会 大 一些
同时 我 也 可以 知道 新 的 这个 方差
1/σ²=1/σ₁²+1/σ₂²
这 就是 卡尔曼 告诉 我们 的 最优 结论
你 会 发现 这个 新 的 标准差 的 平方 或者说 方差
它 是 比 原来 的 两个 方差 都 要 小 的
所以 最终 我们 会得 出来 一个 新 的 估计 情况
它 是 长 这个 样子 的
它 首先 它 的 均值 是 介于 两个 估计值 之间 的
而且 它 的 方差 比 两个 估计值 都 要 小
或者说 我们 获得 了 一个 更加 准确 的 估计
那么 假如 这辆 汽车 还有 其他 传感器
比如说 有 什么 速度计 加速度计
你 还 可以 继续 进行 卡尔曼滤波
这样 就 会 获得 一个 更加 准确 的 结果 了
我们 刚才 介绍 的 这个 模型
其实 是 最 简单 的 一个 卡尔曼滤波 模型
在 实际 的 情况 下 卡尔曼滤波 不光 是 多维 的
而且 还是 跟 时间 有关 的 它 是 一个 时续 的
我们 来看 一下 这个 卡尔曼滤波
它 在 航海 上 有 什么 应用 在 航海 上 应用
其实 人类 在 大 航海 时代 开始 的 时候
就 已经 在 不知不觉 中 使用 这种 滤波 的 方法 了
比如说 一个 有 经验 的 船长
他 在 t₁ 的 时刻 他会 有 一个 位置
他 知道 自己 的 位置
那么 他会 有 一个 航向 或者 是 航速 表 是 吧
他 有 航向 还有 航速 表
所以 他 通过 航向 和 航速 他 可以 估计
说 t₂ 的 时刻 它 有 一个 估计 的 位置
但是 他 并 不会 把 这个 位置 作为 最终 自己 的 位置
他会 怎么样
他会用 六分仪 去测
在 六分仪 测量 的 时候
它 又会有 一个 估计 的 位置
这 两个 估计 的 位置 可能 是 不 一样 的
于是 它会 怎么样
它会 通过 一定 的 方法 把 它 融合 起来
得到 t₂ 的 位置
那 现在 我们 就 知道 了
其实 你 最佳 的 融合 方法 就是 卡尔曼滤波 对 吧
你 t₂ 的 位置 有 了 之后
你 还 可以 继续 通过 航向 和 航速 对 不 对
你 还 可以 继续 得 出来 一个 估计 的 位置
然后 你 再 通过 六分仪
你 再 得到 一个 估计 的 位置
如此 你 把 这 两个 估计 的 位置 再 去 算
你 就 会 得到 t₃ 时刻 的
这个 最好 的 一个 估计 位置
所以 这 就是 在 航海 过程 中
经常 使用 的 一种 方法
它 的 原理 其实 跟 卡尔曼滤波 是 一样 的
多 传感器 融合 的 原理 同样 是 如此
就是 每 一种 传感器
它 提取 的 数据 获得 的 特征 以及 做出 的 判断
本质 上 都 是 一组 带有 误差 的 测量 值
那么 我们 可以 通过 卡尔曼滤波 的 方法
把 这些 测量 值 融合 起来
得到 一个 最 准确 的 结果
宇宙飞船 登月 的 时候
需要 通过 各种 方法 来 判断 自身 的 位置
修正 轨道
现在 的 自动 驾驶 汽车
也 要 通过 各种 传感器 来 给 自己 定位
同时 判断 周围 的 环境
所 使用 的 原理 其实 与 早期 的 航海家 是 一样 的
只不过 我们 现在 有 了 更加 高精尖 的 设备
以及 更好 的 数学 理论
中国 古人 说 兼听则明 偏听则暗
兼 听 就是 多 传感器 融合
从 兼 听到 明所 需要 的 就是 卡尔曼滤波
小鹏 汽车 NGP 就是 这样
通过 多 传感器 融合 和 卡尔曼滤波 技术
能够 对 自己 的 位置 和 周围 的 环境
做出 更加 准确 的 判断
从而 让 驾驶 变得 更加 安全 和 高效
大家 如果 喜欢 我 的 视频
可以 在 YouTube 帐号 李永乐 老师 里 订阅 我
点击 小 铃铛 可以 第一 时间 获得 更新 信息
智能 汽车 如何 眼观六路 、耳听八方 ?传感器 融合 与 卡尔曼滤波 技术
How Smart Cars See and Hear? Sensor Fusion and Kalman Filtering
各位 同学 大家 好 我 是 李永乐 老师
前 一段时间 我 讲 了 一期 关于 自动 驾驶 的 话题
有 小朋友 就 跟 我 说
他 最近 就 买 了 一辆 自动 驾驶 的 汽车 小鹏 P7
He recently bought a self-driving car Xiaopeng P7
它 拥有 多个 摄像头 毫米波 雷达
It has multiple cameras millimeter wave radar
超声波 雷达 分米级 的 高德 地图
Ultrasonic radar decimeter-level high-tech map
以及 厘米 级 的 高精度 定位
还有 互为 冗余 的 双 计算 平台
There are redundant dual computing platforms
他 想 问 我
这么 一大堆 听不懂 的 名词 到底 是 什么 意思 呢
今天 我们 就 来 聊 一聊
小鹏 汽车 的 NGP 自动 导航 辅助 驾驶 功能
Xiaopeng Automobile's NGP automatic navigation assisted driving function
为了 聊 这个 话题
我们 首先 来讲 一讲 传感器 的 融合 传感器 融合
Let's first talk about sensor fusion sensor fusion
我们 在 上 一次 讲 自动 驾驶 的 时候 说 过
一个 汽车 要 想 自动 驾驶 的话
它 必须 能够 自动 地 感知 外界 的 环境
同时 进行 决策 以及 执行
Simultaneous decision-making and execution
在 感知 的 层面 就 需要 一大堆 传感器 进行 配合
汽车 的 传感器 就 相当于 人 的 感官
人 的 感官 不 只有 一种
比如说 亚里士多德 说 人 的 感官 有 五种
就是 眼睛 鼻子 舌头 耳朵 还有 身体
分别 对应 了 视觉 嗅觉 味觉 听觉
还有 触觉 是 吧
每 一种 感觉 都 有 它 的 特点
比如说 大部分 情况 下
视觉 的 范围 是 比较 广泛 的
The scope of vision is relatively wide
但是 如果 你 遇到 了 雨雪 天气
也许 听觉 能为 我们 提供 更 准确 的 信息
只有 几种 感官 相互配合
人们 才能 准确 地 判断 外界 的 环境
那么 对于 汽车 来讲
同样 是 如此
使用 一种 传感器 不能 准确 地 判断 外界 环境
所有 的 自动 驾驶 汽车
必须 使用 多种 传感器 相互配合
这 就是 所谓 的 传感器 融合 技术
它 能够 让 汽车 眼观六路 耳听八方
It can let the car see all directions
回答 两个 重要 的 问题
那 就是 我 周围 有 什么 以及 我 在 哪里
我们 首先 来看 第一个 问题
说 汽车 可以 通过 传感器 回答
说 自己 的 周围 到底 有 什么 这个 话题 是 吧
一般来讲
在 具有 高级 自动 驾驶 功能 的 汽车 上
它 在 高速行驶 的 时候
有 三种 传感器 发挥 了 这个 作用
这 三种 传感器 分别 是 激光雷达
These three types of sensors are Lidar
以及 以前 我们 讲过 的 叫 毫米波 雷达
毫米波 雷达 还有 就是 摄像头 摄像头
每 一种 传感器 都 有 自己 不同 的 特点
我们 来 解释一下 画个 表格
表格 画 完 了
我们 首先 来说 一说 激光雷达
激光雷达 的 原理
就是 发射 一束 激光
遇到 障碍物 然后 反射 接收 到 回波
Encountered obstacles and then reflected and received the echo
计算 发射 和 接收 的 时间差
从而 判断 障碍物 的 距离
激光雷达 又 分为 两种
有 一种 叫 机械式 激光雷达
就是 它 可以 向 不同 的 方向 360 度 的 旋转
然后 扫描 是 吧
这样 就 可以 判断
说 周围 的 障碍物 离 自己 都 有 多 远 了
可以 获得 一个 3D 点阵
就 可以 勾绘 出 周围 的 这个 情况
还有 另外 一种 激光雷达 叫做 固体 激光雷达
它 就是 由 很多 个 光源 形成 一个 阵列
通过 调相 的 方法
就 可以 实现 向 不同 的 方向 发射 激光
它 不 需要 旋转
而且 这种 雷达 它 相比 来讲 造价 比较 低
这个 寿命 也 比较 长
可能 是 未来 激光雷达 的 这个 发展 方向
激光雷达 有 很多 很 好 的 特征
比如说 首先 它 的 定位 非常 准确
它 可以 准确 地 判断 这个 障碍物 离 我们 有多远
而且 是 什么 方向 的
它 都 可以 准确 地 判断 出来
同时 激光雷达 是 自己 发出 电磁波 接收 回波
它 不 需要 有 外界 的 光
所以 夜晚 也 可以 使用
而且 激光 的 波长 很 短
它 可以 判断 这个 物体 的 表面 的 形状 是 吧
这个 物体 是 一个 平面 还是 一个 凸起
它 都 可以 判断 出来
我们 称之为 可以 3D 建模
但是 激光雷达 也 有 它 的 缺点
比如说 因为 激光 波长 比较 短
很难 穿透 雨雪 云雾
到 雨雪 云雾 的 天气
激光雷达 就 不能 用 了 对 吧
再 比如说 激光雷达 是 靠 发射 激光 接收 回波
测量 物体 的 距离
它 没有 办法 判断
这个 物体 是 红色 还是 绿色 的 是 吧
它 没有 办法 判断 物体 的 颜色
所以 它 看不出来 红绿灯 是 吧
而且 它 也 没有 办法 区分 哪个 车道 线
是不是 这是 激光雷达 的 一个 缺点
那么 为了 克服 这些 缺点
人们 还 需要 其他 雷达
比如说 毫米波 雷达
毫米波 雷达 和 激光雷达 原理 类似
它 只不过 波长 长 一些
它 也 可以 实现 比较 准确 的 定位
在 夜晚 也 可以 使用
它 还有 一个 优点
就是 因为 波长 长 可以 穿透 雨雪 是 吧
所以 也 称 它 为 全天候 雷达
So it is also called all-weather radar
白天 晚上 都 能 用 雨雪 天气 也 能 用
但是 它 也 有 缺点
首先 它 跟 激光雷达 一样
不 能够 区分 物体 的 颜色
而且 因为 它 波长 比较 长
就 没有 办法 准确 地 描绘出
这个 物体 到底 是 长 什么 样子
没有 办法 进行 3D 建模 这 是 它 的 一 缺点
那么 怎么办 呢
人们 又 提出 我们 还 可以 用 摄像头
摄像头 就 相当于 汽车 的 眼睛
它 跟 雷达 不 一样
雷达 是 发射 电磁波 接收 回波
而 这个 摄像头 它 只 接收 外界 的 光 信号
它 不 往外 发射 对 不 对
所以 它 的 特征 首先 它 可以 判断 颜色 对 吧
它 拍摄 了 很多很多 的 照片
然后 把 这些 照片 输入 计算机 进行 机器 学习
它 就 可以 知道 这个 是 红绿灯 那个 是 斑马线
这个 是 人 那个 是 车 对 吧
它 就 可以 知道 这些 信息 了
但是 摄像头 也 有 它 的 缺点
首先 来讲 晚上 没光 的 时候
摄像头 肯定 是 用 不了 的 对 不 对
雨雪 天气 这个 光 也 很 容易 被 遮挡
所以 也 没有 办法 判断 前方 的 物体 了
如果 你 是 双目 摄像头
If you are a binocular camera
你 倒 是 可以 进行 简单 的 定位
但是 摄像头 它 是 有 畸变 的
所以 它 的 定位 准确度 远远 没有 雷达 好
如果 是 单目 摄像头 那 就 没有 办法 实现 定位 了
同时 摄像头 也 没有 办法 进行 3D 建模
你 这样 一看
每 一种 传感器 其实 都 有 它 的 优点 和 它 的 缺点
所以 我们 得 把 多种 传感器 配合起来 使用
才 能够 准确 地 判断 出 外界 的 环境
你 比如说 你 用 这个 激光雷达 进行 定位 是 吧
定位 完 了 之后
用 它 勾勒 出 这个 物体 的 这个 形状 来
最后 我们 再用 这个 摄像头 进行 上色
我 就 可以 知道 是 什么 了
如果 摄像头 发现 前面 有 一只 老虎
结果 激光雷达 判断 这是 一个 平面 的 是 吧
那 我们 就 可以 知道 这是 一张 老虎 的 年画
我 就 可以 准确 地 进行 判断 了
那小鹏 P7 就是 利用 了 这样 的 技术
它 有 5 个 毫米波 雷达
还有 14 个 摄像头 进行 融合
那 自动 驾驶 汽车 除了 要 知道 周围 有 什么 以外
还有 一个 就是 自己 在 哪里
或者说 要 实现 这个 高精度 的 定位
那 我们 现在 定位 用 导航 是不是
我们 用 手机 打开 百度 地图 或者 高德 地图
我们 就 可以 导航 了
那种 地图 它 叫 导航 级 地图
导航 级 地图 精确度 不高 大概 是 米级
就是说 我们 使用 导航 级 地图
它 的 误差 在 几米 的 这个 量级
我 没有 办法 区分
自己 的 汽车 到底 是 在 主 路上 还是 在 辅 路上
到底 是 在 第一条 车道 还是 在 第二条 车道
那么 这种 导航 及 地图
其实 对于 自动 驾驶 汽车 是 不够 的
自动 驾驶 汽车 必须 使用 高精度 的 地图
高精 地图
这个 高精 地图 要 精到 什么 程度 呢
要 能够 对 汽车 进行 分米级
甚至 厘米 级 的 这种 定位
它 的 误差 要 在 分米 甚至 是 厘米 的 量级
那 怎么 才能 做到 这么 高 的 精度 呢
我 给 大家 介绍 一下 这个 方法
首先 我们 知道 一个 汽车 上面
它会 有 一些 这个 定位 的 模块
它 可以 和 这个 卫星 进行 联络
比如说 我们 可以 用 GPS 或者 北斗 这个 导航系统
用 这个 导航系统 跟 卫星 进行 联络
理论 上 来讲 四颗 卫星 就 可以 把 你 定位 了
这 就是 第一步
就是 通过 这个 北斗 或者 GPS 我们 可以 进行 定位
但是 这样 定位 它 是 存在 一定 的 误差 的
比如说 因为 云雾 的 影响 造成 的 这个 光速 的 变化
等等 会 有 误差
那么 这个 误差 怎么办 呢
我们 可以 在 地面 上 建立 一系列 的 基站 进行 校准
我们 不光 要 你 和 这个 卫星 联络
你 还要 和 地面 的 基站 进行 校准 联络
很多 公司 就 做 这个 事
比如说 像 这个 千寻 定位系统
千寻 定位 就是 在 地面 上 安装 了 一大堆 的 基站
这样 它 就 可以 提高 你 定位 的 精度
比如说 像 导航系统 只能 给 你 达到 米 量级
而 这个 千寻 定位 就 可以 辅助 你
达到 分 米 量级 的 定位
但是 我们 怎么样 才能
进一步提高 这个 定位 的 精度 呢
还有 方法
比如说 像 这个 高德 地图
他 做 这个 高精度 地图 的 方法 是 这样 的
首先 他 在 做 地图 的 时候
他 就 会派 一辆 带有 这个 激光雷达 的 汽车 上路
这个 激光雷达 的 汽车
它 就 会 把 周围 的 环境 都 拍下来
周围 可能 有 什么 呢
周围 可能 有 一个 比如说 一个 房子
也 可能 是 有 一棵 大树
也 可能 这边 有 一个 红绿灯
也 可能 这边 还有 一个 什么 花坛 之类 的
那么 这些 东西
都 会 被 这个 激光雷达 拍摄 下来
拍摄 下来 之后
它 就 把 这个 数据 都 记录下来 了
然后 放到 这个 高精 地图 上面 是 吧
这个 就是 高德 的 这个 高精 地图
然后 当 我们 的 这个 自动 驾驶 汽车
去 使用 这个 地图 的 时候
它 自动 驾驶 汽车 不是 也 有 这些 传感器 吗
它 也 会 拍摄 周围 的 环境
它会 把 周围 的 环境
再 和 高精 地图 中 已经 拍摄 好 的 这个 环境
进行 对比
它 一 对比 就 知道 了
你 看 我 现在 在 主 路上 我 在 辅 路上
You see, I’m on the main road, I’m on the side road
我 在 第一条 道 还是 在 第二条 道
我 就 可以 达到 厘米 的 量级 了
这个 小鹏 汽车 就 采用 了 这样 的 一个 技术
首先 通过 这个 定位系统
以及 这个 千寻 定位系统
达到 了 一个 分米级 的 定位
然后 再 通过 这个 高精 地图
跟 周围 的 环境 进行 比对
达到 这个 厘米 级 的 定位
这 就是 自动 驾驶 汽车 的 一个 定位 的 原理
那 刚才 我们 介绍 了 传感器 融合 的 作用
但 传感器 究竟 是 怎么 融合 到 一块 的 呢
这是 一个 很 复杂 的 技术 问题
举个 例子 来讲
不同 的 传感器 它们 的 获得 信息 是 不 一样 的
这 里面 面临 两个 方面 的 问题
第一个 问题 叫做 空间 定标
The first problem is called spatial calibration
就是 你 不同 的 传感器
你 是 安装 在 车上 不同 的 位置 的
所以 角度 也 不 一样
这样 你 会 看到 不同 的 情景 拍摄 到 不同 的 画面
你 怎么 通过 空间 坐标 的 方法
把 这些 个 画面 给 融合 到 一块
这 就 叫 空间 定标 是 吧
第二个 是 时间 定标
每 一个 传感器 它 对 外界 环境 的 感知 频率 不 一样
比如说 摄像头 它 可能 每秒钟 拍摄 25 张 照片
而 这个 毫米波 雷达
它 可能 每秒钟 只是 探测 10 次
这样一来 摄像头 拍照片 的 时候
可能 这个 毫米波 雷达 没有 信息 传 回来
所以 我要 通过 一些 方法
把 这个 不同 时间 的 信号 又 把 它 融合 起来
这个 就 叫 所谓 的 时间 定标
除了 空间 定标 和 时间 定标 以外
更为重要 的 是
有 的 时候 传感器 获得 的 信息 是 彼此 矛盾 的
比如说 摄像头 告诉 我们 前方 有 一堵 墙
而 毫米波 雷达 告诉 我们 前面 是 个 斜坡
我们 到底 相信 谁 呢
比如说 定位系统 告诉 我们 现在 在 主 路上
但是 这个 雷达 告诉 我们 现在 我们 在 辅 路上
我们 又 该 相信 谁 呢
因为 每 一种 传感器 它 都 是 有 误差 的
所以 这样 的 矛盾 是 每时每刻 都 在 发生 的
我们 该 怎么办 呢
这里 我们 就 不得不 提 一位
Here we have to mention one
在 工程界 家喻户晓 的 人物 了
他 是 一位 出生 在 奥地利 的 美国 数学家 和 工程师
He is an American mathematician and engineer born in Austria
名字 叫做 鲁道夫 · 卡尔曼
他 提出 了 卡尔曼滤波
Kalman filter
卡尔曼滤波 曾经 帮助 阿波罗 飞船 登上 了 月球
Kalman filtering once helped the Apollo spacecraft land on the moon
现在 也 在 每时每刻 都 在 帮助 我们 的 GPS 导航系统
我们 利用 卡尔曼滤波
就 可以 把 不同 传感器 的 信息 融合 到 一块 了
我们 举 一个 例子
比如说 我们 通过 定位系统
For example, we use the positioning system
比如 GPS 定位 或者 是 什么 其他 的 定位系统
我们 知道 了 这个 汽车 的 位置
这个 位置 就是 z₁
我 告诉 你 汽车 是 在 z₁ 的 位置
但是 因为 GPS 是 有 误差 的
它 不能 准确 地 告诉 你 在 什么 位置
而 只能 告诉 你 在 一个 范围 内
它 还有 一个 误差 或者说 方差 σ₁²
z₁ 只是 表示
z₁ just means
你 可能 在 的 位置 中 的 这个 平均 位置
或者 叫 期望
Or expectation
而 这个 σ₁² 就 代表 了 你 的 误差 大小
如果 这个 σ₁² 特别 特别 小
就 表示 你 的 定位 特别 准确
σ₁² 特别 大
就 表示 你 的 定位 不太 准确 误差 特别 大
一般来讲 我们 认为
这个 GPS 定位 也好 其他 的 定位 也好
它 的 这个 误差 情况
都 满足 一个 高斯分布 或者 正态分布
以前 我们 讲过 高斯分布 是 什么 意思 呢
画 一个 图像
纵坐标 表示 的 是 概率密度
就 出现 在 某 一个 位置 的 概率密度
横坐标 是 表示 你 的 位置
如果说 GPS 告诉 我们
你 的 位置 是 以 z₁ 为 平均 位置
而 标准差 是 σ₁
我们 可以 画出 一个 图像 来
它 就 长 这个 样子 是 吧
它 这个 最大 概率 的 位置 就是 z₁
这个 图像 就 告诉 我们
你 的 位置 最有 可能 是 在 z₁ 的 位置
你 离 z₁ 位置 越近 你 出现 的 概率 就 越 大
你 离 z₁ 位置 越远 你 出现 的 概率 就 越 小
如果 这个 函数 特别 的 瘦高
那 就 意味着 你 给 我 的 信息 特别 准确
你 分布 的 位置 都 是 在 z₁ 附近 的
如果 这个 函数 特别 的 矮胖
那 就 说明 你 误差 特别 大
我 也 不 太 清楚 你 到底 是 在 什么 位置
这 就是 所谓 的 这种 高斯分布 或者说 正态分布
这里 边 的 这个 σ
其实 就 表示 它 瘦高 还是 矮胖 的 程度
如果 σ 特别 小 那 这个 函数 就 特别 瘦高
就 表示 比较 准确
σ 特别 大 就 说明 你 比较 矮胖
好 总而言之
这个 GPS 定位 告诉 了 我们 这个 位置 的 信息
但是 我们 不是 还有 其他 传感器 吗
什么 雷达 什么 的 摄像头
我们 这些 传感器 它 也 可以 告诉 我们 位置 的 信息
比如 它 告诉 我们 汽车 的 位置 是 在 z₂
而且 这个 方差 是 σ₂²
我 也 可以 再 画出 这个 传感器 告诉 我们 的 情况
比如说 它 有 可能 是 长 这个 样子 的 长 这个 样子
这个 样子 就 告诉 我们
传感器 认为 我们 的 位置 更加 靠前 一点 是不是
The sensor thinks that our position is a little higher, right?
而且 传感器 提供 的 信息 可能 更加 准确
它 的 这个 标准差 σ₂ 比较 小
而 刚才 这个 GPS 告诉 我们 的 这个 标准差
σ₁ 它 是 比较 大 的
现在 我们 得到 两个 不同 的 信息
我们 如何 把 它 融合 到 一块 呢
这 卡尔曼 就 说 了
经过 数学计算 你 有 一个 最优 的 估计
最优 的 估计 最优 的 估计 是 什么 呢
那 就是 这有 一个 公式
这 公式 告诉 我们 你 最优 估计 的 位置 等于 什么 呢
=σ₂²z₁/(σ₁²+σ₂²)+σ₁²z₂/(σ₁²+σ₂²)
有 的 同学们 说 什么 乱七八糟 的
其实 这个 问题 并 不是 难 理解 的
咱们 仔细 看
z₁ 和 z₂ 是 两个 传感器 告诉 我们 的 位置
我们 最后 估计 的 位置
一定 是 要 把 它 融合 到 一块 得出 一个 结论
但是 谁 更 准确 我 就 更 相信 谁
你 看 这 两个 图像 你 就 应该 知道
这个 σ₂ 更 小 一些
说明 z₂ 这个 信息 更加 准确
所以 我 在 计算 权重 的 时候
我 应该 让 z₂ 的 这个 权重 更大 一些
我 怎么 才能 让 z₂ 的 权重 更大 一些 呢
我 让 它 前面 的 权重 是
σ₁²/(σ₁²+σ₂²)
你 σ₁ 比较 大 所以 这个 权重 就 大
大家 能 明白 吗 对 不 对
同样 道理 你 这个 z₁ 它 的 标准差 比较 大
说明 它 不是 那么 的 准确
所以 它 的 权重 就要 小 一些 是 吧
所以 你 可以 简单 地 理解 一下
这个 其实 就是 把 两个 数据 融合 到 一块 了
在 融合 的 时候 谁 准确 谁 的 权重 就 会 大 一些
同时 我 也 可以 知道 新 的 这个 方差
1/σ²=1/σ₁²+1/σ₂²
这 就是 卡尔曼 告诉 我们 的 最优 结论
你 会 发现 这个 新 的 标准差 的 平方 或者说 方差
它 是 比 原来 的 两个 方差 都 要 小 的
所以 最终 我们 会得 出来 一个 新 的 估计 情况
它 是 长 这个 样子 的
它 首先 它 的 均值 是 介于 两个 估计值 之间 的
而且 它 的 方差 比 两个 估计值 都 要 小
或者说 我们 获得 了 一个 更加 准确 的 估计
那么 假如 这辆 汽车 还有 其他 传感器
比如说 有 什么 速度计 加速度计
你 还 可以 继续 进行 卡尔曼滤波
这样 就 会 获得 一个 更加 准确 的 结果 了
我们 刚才 介绍 的 这个 模型
其实 是 最 简单 的 一个 卡尔曼滤波 模型
在 实际 的 情况 下 卡尔曼滤波 不光 是 多维 的
In the actual situation, Kalman filtering is not only multi-dimensional
而且 还是 跟 时间 有关 的 它 是 一个 时续 的
我们 来看 一下 这个 卡尔曼滤波
它 在 航海 上 有 什么 应用 在 航海 上 应用
其实 人类 在 大 航海 时代 开始 的 时候
就 已经 在 不知不觉 中 使用 这种 滤波 的 方法 了
比如说 一个 有 经验 的 船长
他 在 t₁ 的 时刻 他会 有 一个 位置
他 知道 自己 的 位置
那么 他会 有 一个 航向 或者 是 航速 表 是 吧
他 有 航向 还有 航速 表
所以 他 通过 航向 和 航速 他 可以 估计
说 t₂ 的 时刻 它 有 一个 估计 的 位置
但是 他 并 不会 把 这个 位置 作为 最终 自己 的 位置
他会 怎么样
他会用 六分仪 去测
在 六分仪 测量 的 时候
它 又会有 一个 估计 的 位置
这 两个 估计 的 位置 可能 是 不 一样 的
于是 它会 怎么样
它会 通过 一定 的 方法 把 它 融合 起来
得到 t₂ 的 位置
那 现在 我们 就 知道 了
其实 你 最佳 的 融合 方法 就是 卡尔曼滤波 对 吧
你 t₂ 的 位置 有 了 之后
你 还 可以 继续 通过 航向 和 航速 对 不 对
你 还 可以 继续 得 出来 一个 估计 的 位置
然后 你 再 通过 六分仪
你 再 得到 一个 估计 的 位置
如此 你 把 这 两个 估计 的 位置 再 去 算
你 就 会 得到 t₃ 时刻 的
这个 最好 的 一个 估计 位置
所以 这 就是 在 航海 过程 中
经常 使用 的 一种 方法
它 的 原理 其实 跟 卡尔曼滤波 是 一样 的
多 传感器 融合 的 原理 同样 是 如此
就是 每 一种 传感器
它 提取 的 数据 获得 的 特征 以及 做出 的 判断
本质 上 都 是 一组 带有 误差 的 测量 值
那么 我们 可以 通过 卡尔曼滤波 的 方法
把 这些 测量 值 融合 起来
得到 一个 最 准确 的 结果
宇宙飞船 登月 的 时候
When the spacecraft landed on the moon
需要 通过 各种 方法 来 判断 自身 的 位置
修正 轨道
现在 的 自动 驾驶 汽车
也 要 通过 各种 传感器 来 给 自己 定位
同时 判断 周围 的 环境
所 使用 的 原理 其实 与 早期 的 航海家 是 一样 的
只不过 我们 现在 有 了 更加 高精尖 的 设备
以及 更好 的 数学 理论
中国 古人 说 兼听则明 偏听则暗
The ancient Chinese said and listened to it, but it was too clear to hear, but it was dark
兼 听 就是 多 传感器 融合
从 兼 听到 明所 需要 的 就是 卡尔曼滤波
小鹏 汽车 NGP 就是 这样
通过 多 传感器 融合 和 卡尔曼滤波 技术
能够 对 自己 的 位置 和 周围 的 环境
做出 更加 准确 的 判断
从而 让 驾驶 变得 更加 安全 和 高效
大家 如果 喜欢 我 的 视频
可以 在 YouTube 帐号 李永乐 老师 里 订阅 我
点击 小 铃铛 可以 第一 时间 获得 更新 信息