詹姆斯 和 乔丹 谁 更 强 ？会 骗人 的 数字 （二 ）辛普森 悖论 Who is better, James or Jordan? Numbers That Lie (II) Simpson's Paradox ジェームズとジョーダン、どちらが上？数字は嘘をつく（2）シンプソンのパラドックス

各位 同学 大家 好 我 是 李永乐 老师 最近 有个 小朋友 跟 我 说 他 特别 喜欢 看 篮球比赛 尤其 喜欢 一个 明星 叫做 勒布朗 · 詹姆斯 他 曾经 把 詹姆斯 和 历史 上 著名 的 飞人 乔丹 He used to combine James and Jordan, the famous flying man in history 做过 比较 Made a comparison 他 发现 无论是 二分 球 的 进球 率 还是 三分球 的 进球 率 詹姆斯 都 比 乔丹 高 但是 如果 把 二分 球 和 三分球 加 到 一块 的话 詹姆斯 的 进球 率 反而 比 乔丹 要 低 了 这是 怎么回事 呢 今天 就 给 大家 介绍 一下 这个 问题 这个 实际上 是 统计学 上 的 一个 著名 悖论 我们 称之为 辛普森 悖论 他 是 在 1951 年 的 时候 由 爱德华 · 辛普森 最早 详细 讨论 的 那么 在 辛普森 之前 其实 也 有人 讨论 过 这个 问题 那 现在 我们 就 管 它 叫做 辛普森 悖论 辛普森 悖论 是 说 当 我们 进行 一个 统计 比较 的 时候 如果 我们 分层 进行 比较 或者 我们 加 和 进行 比较 那么 比较 的 结果 有 可能 是 不同 的 比较 结果 是 可能 不同 的 什么 意思 呢 我们 来举 几个 实际 发生 过 的 例子 那么 一个 比较 典型 的 辛普森 悖论 的 例子 发生 在 1973 年 的 时候 美国 有 一所 大学 名字 叫做 加州大学 伯克利分校 加州 伯克利 加州 伯克利 是 一所 著名 的 大学 里面 的 物理系 尤其 有名 是 吧 在 这 一年 秋天 的 时候 他们 招收 了 一批 学生 结果 名单 公布 之后 很多 女同学 就 不 干 了 After the result list was announced, many female students stopped doing it 说 你 歧视 女性 说 为什么 这么 说 呢 因为 在 这个 录取名单 里面 男生 新生 男生 有 44% 的 申请者 被 接收 了 100 个人 里面 有 44 个 男生 被 接收 了 但是 女生 的 申请者 里面 只有 35% 的 人 被 接收 了 100 个 女生 里面 有 35 个 被 它 接收 了 所以 女生 就 不 干 了 说 我们 这个 比例 太低 了 是 吧 你 比 我 多 那么 多 这个 比例 所以 说明 你 肯定 是 歧视 我们 女性 了 于是 这个 伯克利大学 就 开始 调查 它 把 全校 这 85 个 部门 挨个 调查 了 一遍 结果 发现 在 每 一个 部门 招收 学生 的 时候 大部分 都 是 偏向 女生 的 就是 女生 的 录取 比例 比 男生 还要 高 但是 它 一加 和 却 反而 是 男生 高 了 这是 怎么回事 呢 咱们 来 打个比方 点到为止 我们 就 不 说 具体 的 实际 的 情况 了 我们 就 举个 例子 好 表格 画好 了 我们 用 一些 虚拟 的 数据 来 说明 一下 这个 问题 我们 假设 有 100 个 男同学 申请 了 加州大学 伯克利分校 是 吧 这 100 个 男同学 里面 只有 两个 学院 可以 申请 一个 叫做 物理 学院 一个 叫做 文学院 那么 这个 男同学 里面 申请 物理 学院 的 人 有 多少 个 呢 有 80 个 男同学 比较 喜欢 物理 有 20 个人 去 申请 文学 学院 了 那么 录取 的 情况 如何 呢 在 申请 物理 的 这 80 个人 里面 有 38 个人 被 录取 了 在 文学院 这 20 个人 里面 有 2 个人 被 录取 了 那么 它 的 录取 比例 又 如何 呢 我们 用 38/80 得到 录取 的 通过率 47.5% 这 是 个 虚拟 的 数据 那么 2/20 得到 10% 好 这 就是 男生 的 录取率 对 吧 同样 道理 假如 女生 也 有 100 个人 申请 加州 伯克利分校 那么 申请 的 时候 女同学 比较 喜欢 文学 所以 80 个人 申请 文学 了 20 个人 申请 物理 了 录取 的 情况 如何 呢 在 这 20 个 申请 物理 的 人 里面 有 14 个人 被 录取 了 所以 录取 比例 是 70% 而 在 80 个 申请 文学 的 人 里面 有 16 个 录取 了 录取 比例 是 20% 好 我们 现在 就 可以 比较 这 两组 数据 了 大家 来看 一看 在 男同学 申请 物理 里面 有 47.5% 被 录取 了 而 女同学 申请 物理 的 时候 有 70% 被 录取 了 是不是 女生 的 录取率 比 男生 高 很多 呀 对 不 对 同样 在 申请 文学 的 这个 学院 的 情况 下 男生 录取 的 比例 只有 10% 而 女生 录取 比例 却 达到 20% 是 两倍 的 关系 所以 你 从 这 两个 学院 来看 它 好像 不是 歧视 女性 它 是 歧视 男性 对 不 对 它 是 歧视 男性 男生 应该 造反 但是 如果 你 把 他们 合 到 一块 呢 我们 再 看一看 总计 男生 一共 有 100 个人 多少 个人 被 录取 了 有 40 个人 被 录取 了 所以 录取率 有 40% 而 女生 女生 还是 100 个人 申请 一共 只有 30 个人 被 录取 了 录取率 是 30% 这回 可 就是 男生 比 女生 高 了 高 了 10 个 百分点 女生 不干 了 说 你 看 总计 数据 你 还是 歧视 女性 对 不 对 那 你 到底 是 歧视 男性 还是 歧视 女性 呢 数据 都 是 一样 的 为什么 会 得出 两个 不同 的 结论 呢 如果说 我 要是 想 煽动 大家 认为 这个 学校 歧视 男性 我会 怎么样 我会 盖住 总计 的 数据 让 你 只 看 每个 学院 你 看 每个 学院 女生 都 比 男生 录取 的 比例 高 而且 高 很多 对 不 对 所以 呼吁 男同胞 们 起来 对抗 学校 这 就是 如果 我 想 说 歧视 男性 的话 反过来说 如果 我 是 个 女权主义者 我 就 盖住 上面 我 只 看 底下 对 吧 我 一看 你 看 总计有 都 是 100 个人 男生 录 40 女生 录 30 凭 什么 是不是 歧视 我们 对 不 对 所以 从 同样 的 一个 数据 我们 却 可以 得出 截然 相反 的 两种 不同 答案 因此 我们 称之为 悖论 叫做 辛普森 悖论 除了 这个 录取 学校 的 问题 以外 辛普森 悖论 其实 在历史上 还 发生 过 很 多次 比如 还有 一个 真实 的 例子 就是 肾结石 肾结石 肾结石 这种 疾病 需要 把 这个 结石 给 弄出来 通过 手术 的 方法 但是 手术 有 两种 方法 第一种 方法 就是 什么 呀 第一种 方法 叫做 这个 A 就是 开放式 手术 开放式 手术 可能 对 人 的 这个 伤害 比较 大 另外 一种 方法 叫 B 就是 封闭式 手术 我 也 不 太 清楚 封闭式 手术 是 什么 意思 是不是 用 内窥镜 把 它 这个 结石 弄出来 反正 有 两种 方法 然后 医生 就 做 了 统计 根据 论文 的 统计 也 要 分为 两种 情况 第一种 情况 是 小 结石 如果 这个 人 他 的 结石 比较 小 然后 用 开放式 治疗 的 有 多少 例 呢 有 87 个 病人 其中 有 81 个 病人 他 痊愈 了 所以 这么 一算 的 比例 痊愈 的 比例 有 93% 这种 疗法 非常 好 对 不 对 那么 封闭式 治疗 有 多少 个人 呢 有 270 个 病例 其中 有 234 个 病例 他 痊愈 了 所以 痊愈 的 比例 是 87% 从 这样 的 观点 看 好像 还是 开放式 治疗 更好 一些 它 的 痊愈 比例 更高 对 吧 好 那 如果 是 大 结石 这个 人 很 不幸 患 了 很大 的 结石 对 吧 结果 论文 统计 有 263 个人 在 大 结石 的 情况 下 做 了 A 疗法 然后 有 192 个人 痊愈 了 痊愈 的 比例 是 73% 用 封闭式 疗法 的 情况 又 如何 呢 有 80 个人 采用 了 这种 疗法 那么 有 55 个人 痊愈 了 痊愈 的 比例 是 69% 你 就 会 发现 大 结石 的 情况 下 依然 应该 选用 开放式 疗法 因为 它 的 痊愈 比例 更高 那么 既然 无论是 大 结石 还是 小 结石 都 是 开放式 疗法 更好 的话 那 是不是 我们 就 应该 给 病人 推荐 开放式 疗法 呢 但是 很 遗憾 如果 我们 把 它 总计 一下 咱们 再 来看 一看 总计有 多少 个 病人 呢 87+263 有 多少 个 痊愈 的 81+192 我们 再 把 它 除 一下 就是 273 再 除以 350 结果 等于 多少 呢 等于 78% 这是 开放式 疗法 的 平均 治愈率 对 吧 好 那么 封闭式 疗法 呢 它 也 是 270+80 一共 是 有 350 个人 是 吧 有 多少 人 痊愈 的 呢 有 289 个人 痊愈 所以 痊愈 的 比例 是 83% 大家 看 这个 时候 好像 总计 起来 反而 是 封闭式 疗法 更好 一些 对 吧 所以 我 作为 一个 医生 如果 我 想 推荐 开放式 疗法 的话 那 我 就 把 底下 盖住 我 只 告诉 你 说 小 结石 的 情况 下 A 疗法 更好 大 结石 的 情况 下 也 是 A 疗法 更好 你 说 你 选 哪个 方法 那 大家 都 选 A 疗法 对 不 对 反过来说 如果 我 想 推荐 B 疗法 我 就 不让 你 看 上面 的 数据 我 就是说 一共 做 了 350 个 A 疗法 和 350 个 B 疗法 350 个 A 疗法 里边 治愈 的 有 78% 而 B 疗法 治愈 的 有 83% 你 选 哪个 我 肯定 选 B 疗法 所以 同样 的 数据 我用 不同 的话 说 出来 那 最后 的 结论 就是 不 一样 的 对 吧 好 我们 再 来看 一个 例子 那 就是 这个 篮球 的 例子 这个 篮球 的 数据 太 多 我 还是 得 拿 这个 NBA 历史 上 有 过 很多 超级 明星 对 吧 比如说 著名 的 乔丹 比如说 科比 是 吧 那么 还有 现在 詹姆斯 也 是 非常 厉害 我们 现在 就 来 比较 一下 说 这个 乔丹 和 詹姆斯 他们 两个 人 的 这个 进球 情况 二分 球 和 三分球 我们 分别 算 那个 罚球 我们 就 不算 了 乔丹 和 詹姆斯 好 我 统计 了 在 乔丹 和 詹姆斯 在 整个 生涯 里面 所 投 的 二分 球 和 三分球 我们 先 来看 二分 球 在 二分 球 的 这个 情况 下 乔丹 一共 是 投 了 24537 个 24537 个球 里边 乔丹 投进 了 12192 个球 所以 他 的 命中率 是 49.7% 我们 再 来看 詹姆斯 詹姆斯 在 整个 的 生涯 中 一共 是 投 了 24654 个球 进 了 12424 个球 他 的 平均 进球 率 是 50.4% 所以 你 会 发现 詹姆斯 的 二分 球 投 的 比 乔丹 要 好 对 吧 詹姆斯 的 二分 就是 进球 率 比 乔丹 高 好 那 我们 再 来看 三分球 假如 他们 的 对手 都 一样 好 我们 再 来看 三分球 三分球 乔丹 在 生涯 中 一共 投了 1778 个 其中 进 了 581 个 所以 他 的 进球 比例 是 32.7% 而 詹姆斯 在 生涯 中 一共 投了 5409 个 三分球 进 了 1860 个 进球 率 是 34.4% 于是 你 会 发现 三分球 它 也 是 詹姆斯 的 进球 率 更 高 一些 对 不 对 那 这么 一看 好像 就 应该 整体 都 是 詹姆斯 厉害 了 不过 我们 把 它 加 和 我们 看 总计 的 情况 如何 总计 乔丹 呢 把 这个 两个 分母 加 起来 一共 投了 26315 个球 其中 12773 个球进 了 所以 平均 进球 率 48.5% 而 詹姆斯 他 一共 投了 30063 个球 不是 投了 这么 多 进 了 14284 个球 最后 平均 进球 率 47.5% 好 咱们 来看 一下 你 如果 把 二分 球 和 三分球 加 到 一块 反而 是 乔丹 的 进球 率要 领先 詹姆斯 一个 百分点 对 不 对 那明明 两个 这个 二分 球 和 三分球 都 是 詹姆斯 更高 一些 为什么 加 和 起来 反而 是 乔丹 更 高 呢 那 如果 我 想 说 乔丹 好 的话 我 就 可以 让 你 看 底下 数据 如果 我 想 说 詹姆斯 好 我 就 盖住 底下 你 看 上面 对 不 对 好 那么 看到 这里 其实 聪明 的 小朋友 都 已经 能 看 出来 了 说 为什么 会 出现 这种 情况 呢 在 每 一 层次 上 都 是 一伙人 优秀 那么 到 了 总计 之后 倒 是 另外 一伙人 优秀 这是 怎么 回事儿 其 原因 其实 很 简单 首先 你 会 发现 在 这个 分层 的 情况 下 每 一层 它 的 这个 成功率 有 显著 的 不同 是不是 你 会 发现 这 原因 是 什么 这个 原因 其实 就是 首先 在 每层 它 的 成功率 是 不同 的 First of all, its success rate is different on each layer 成功率 有 显著 的 不同 The success rate is significantly different 你 比如说 这个 物理 学院 它 的 这个 录取率 就 高 一些 40% 多 70% 多 就 高 而 这个 文学院 10% 20% 它 就 低 对 不 对 小石头 比较 好治 所以 治愈率 90% 多 80% 多 都 高 大石头 不好 治 治愈率 70% 多 60% 多 它 就 低 二分 球好 投 所以 说 进球 率 就 高 三分球 不好 投 所以 进球 率 就 低 首先 这 两层 它 就 有 一个 不同 的 成功率 而且 不同 的 人 在 做 这 两层 的 时候 它 的 个数 也 不 一样 你 比如说 这个 男同学 男同学 虽然 在 两个 学院 他 录取 比例 都 比 女同学 多 但是 他 更 多 的 男同学 是 申请 了 物理 也 就是 申请 了 这个 比较 容易 的 学院 他 录取率 通过率 高 所以 整体 来讲 他 最终 的 通过率 就 会 比较 高 一些 再 比如说 这个 肾结石 这 事 每 一种 疗法 都 是 A 开放式 疗法 更好 一些 但是 开放式 疗法 它 治疗 了 很多 什么 呀 很多 大 结石 你 看 很多 大 结石 都 是 用 开放性 疗法 来治 的 而 小 结石 这个 比较 容易 的 大部分 采用 了 这种 封闭式 疗法 所以 呢 所以 我们 就 有 一个 结论 这 封闭式 疗法 的 这个 整体 治疗率 会高 一些 原因 就是 因为 它 干 了 很多 容易 的 事 同样 道理 詹姆斯 和 乔丹 做 比较 为什么 詹姆斯 两个 得分率 都 高 但 整体 得分率 却 低 呢 这 就是 因为 詹姆斯 投 的 三分球 比较 多 拉低 了 他 的 整体 进球 率 Lowered his overall goal rate 而 乔丹 投 的 三分球 很少 所以 他 就 使 自己 的 进球 率 比较 接近 于 二分 球 的 进球 率 就是 这个 原因 所以 实际上 就是 因为 每 一层 的 成功率 不同 如果 你 多 去 干 那些 成功率高 的 事 就 会 使 你 整体 的 成功率 变 大 这 就是 辛普森 悖论 的 一个 本质 但是 我们 还 可以 通过 几何 的 方法 来 研究 这个 问题 看 几何 怎么 说 我们 画 一个 横坐标 横坐标 是 这个 尝试 的 次数 比如 你 投 一个 球 就算 一次 尝试 了 多少次 纵坐标 是 你 成功 的 次数 进球 了 就 成功 了 对 不 对 好 我们 任何 一个点 其实 代表 了 一个 尝试 和 一次 成功 比如说 二分 球 我们 尝试 了 多少次 尝试 了 24537 次 就是 这么 多 这是 二分 球 的 成功 了 多少次 成功 了 12192 次 这是 成功 的 所以 这个 点 其实 就 代表 了 乔丹 的 二分 球 我们 可以 画 一个 这样 的 一个 矢量 来 表示 这个 二分 球 大家 仔细 看 这个 矢量 它 的 斜率 表示 什么 斜率 就是 纵坐标 比 横坐标 那 不 就是 成功率 所以 斜率 纵坐标 比 横坐标 就是 成功率 我们 这个 成功率 越高 就 越 靠近 竖直 成功率 越低 越 靠近 水平 那么 他 如果 不仅仅 是 干 了 这 一件 事 他 还 干 了 另外 一件 事 的话 那 就 还有 一次 尝试 的 次数 和 一次 成功 的 次数 所以 他 又会有 一次 成功 比例 叫 k₂ 那 我 现在 问 你 总体 的 成功 比例 怎么 计算 很 简单 总体 的 成功 比例 就要 把 总 的 次数 加 起来 把 总 的 成功 次数 也 加 起来 再 把 它们 相除 那么 根据 平行四边形 法则 这 实际上 就 代表 了 以 它们 两个 为 邻边 做 一个 平行四边形 做 一个 平行四边形 而 这个 平行四边形 对角线 的 斜率 就是 总体 的 成功率 这 两个 斜率 分别 是 独自 的 分层 的 成功率 而 这个 平行四边形 对角线 的 斜率 就是 总体 的 成功率 那 这样 我们 就 可以 解释 为什么 一个 人 他 两层 的 成功率 都 低 但 最后 整体 的 成功率高 了 原因 呢 可以 画 在 这样 的 一张 图上 横坐标 还是 尝试 次数 纵坐标 是 成功 的 次数 我们 先说 第一层 第一个 人 在 第一层 他 的 这个 成功率 是 很 低 的 我们 可以 认为 这个 线 就是 横着 的 然后 在 第二 层次 成功率高 了 一些 这是 第二 层次 所以 这是 第一个 人 的 第一 层次 这是 第一个 人 的 第二 层次 那么 这个 人 的 总体 成功率 我们 就是 画 一个 平行四边形 这是 第一个 人 的 总体 成功率 k_( 总 1) 第二个 人 呢 第二个 人 他 第一 层次 的 成功率 比 第一个 人要 高 他 第二个 层次 的 成功率 也 比 第一个 人高 他 两个 斜率 都 比 第一个 人大 但是 因为 他 干 了 很多 这个 成功率 低 的 事儿 所以 最终 他 的 合成 功率 是 这个 对角线 是 这个 对角线 你 会 发现 这 就是 k_( 总 2) 这个 k_( 总 2) 它 反而 比 k_( 总 1) 要 低 所以 在 两个 层次 上 这个 紫色 的 线 它 的 成功率 都 比 黄色 的 线 高 但是 在 合成 功率 上 紫色 的 线 却 比 黄色 的 线 成功率 要 低 这 就是 我们 所谓 的 辛普森 悖论 在 我们 的 生活 当中 每时每刻 都 会 接触 到 不同 的 数据 比如说 作为 一个 老师 要 看 学生 们 考试 的 平均分 作为 一个 销售 要 看 自己 每个 月 的 接单 情况 和 成交率 虽然 数据 是 客观 和 真实 的 但是 不同 的 人 利用 同样 的 数据 却 可以 讲 出 不同 的 故事 如果 我们 用 真实 的 数据 推测 出 一个 未经 证实 的 结论 就是 有意 或者 无意 的 欺骗 了 数字 是 可以 撒谎 而且 撒谎 的 方式 远远 不止 辛普森 悖论 这 一种 我们 在 下 一回 还会 再 给 大家 讲 一 讲 生活 中 有 哪些 用 数字 撒谎 的 方式 请 大家 保持 关注 大家 如果 喜欢 我 的 视频 可以 在 YouTube 账号 李永乐 老师 里 订阅 我 点击 小 铃铛 可以 第一 时间 获得 更新 信息