美国 大 选民 调 为啥 总 不靠 谱 ？会 骗人 的 数字 （三 ）有 偏 抽样 Why are U.S. election polls always unreliable? Numbers That Lie (III) Biased Sampling ¿Por qué las encuestas electorales estadounidenses son siempre poco fiables? Números que mienten (III) Muestreo sesgado なぜアメリカの選挙の世論調査はいつも信用できないのか？ウソをつく数字（3）偏ったサンプリング Почему опросы на выборах в США всегда ненадежны? Цифры, которые лгут (III) Необъективная выборка 美国大选民调为啥总不靠谱？会骗人的数字（三）有偏抽样

各位 同学 大家 好 我 是 李永乐 老师 美国 大选 的 居民 投票 部分 Resident voting part of the U.S. election 在 一段时间 以前 就 已经 结束 了 It was over some time ago. 但是 正式 的 选举人 投票 在 昨天 才 刚刚 举行 But the formal electoral vote was only held yesterday 各州 的 选举人 都 按照 自己 的 宣誓 把 本州 的 选票 Get the ballots out of the state. 投给 了 赢得 本州 选举 的 总统 候选人 特朗普 所 期待 的 翻盘 没有 出现 有 小朋友 就 跟 我 说 在 大选 之前 很多 民调 机构 都 预测 拜登 会以 绝对 的 优势 领先 特朗普 Biden would have a commanding lead over Trump. 但是 实际 的 选举 过程 却 非常 曲折 拜登 在 很多 个 摇摆 州 差一点 被 翻盘 其实 美国 的 民调 不靠 谱 从来 就 不是 什么 新鲜事 在 四年 以前 的 希拉里 就 曾经 民调 大幅 领先 但是 最后 反而 被 特朗普 抢去 了 总统 的 宝座 But in the end, it was Trump who stole the presidency. 那 今天 我们 就 来 讨论一下 民调 为什么 这么 不靠 谱 为了 研究 这个 问题 我们 首先 先 从 抽样 这个 概念 说起 我们 研究 一下 有 偏 的 抽样 事实上 民调 都 是 一个 抽样 过程 他 不 可能 把 美国 所有 的 人 都 问 一遍 他 只能 问 一部分 人 说 你 支持 特朗普 呢 你 还是 支持 拜登 对 吧 通过 这个 抽样 的 结果 来 获得 一个 预测 也许 特朗普 会 赢 或者 也许 拜登 会 赢 它 就是 一个 抽样 的 结果 那么 对于 这个 有 偏 抽样 的 意思 是 什么 呢 在 1924 年 的 时候 我们 先 来说 这么 一件 事 1924 年 的 时候 美国 一所 大学 叫 耶鲁大学 这个 耶鲁大学 当然 至今 还是 美国 非常 好 的 一所 大学 了 1924 年 美国耶鲁大学 的 毕业生 人们 调查 说 毕业生 的 平均工资 是 多少 结果 一 算 毕业生 平均工资 25111 美元 每年 2 万多美元 一年 大概 相当于 现在 多少钱 呢 大概 相当于 现在 300 万 人民币 左右 就 一个 耶鲁 的 毕业生 一年 能 拿 300 多万 人民币 他们 干 的 还 不错 说 为什么 有 这么 高 的 工资 呢 那 很多 人 发现 很多 耶鲁 毕业生 没有 这么 高 的 工资 为什么 呢 这 是因为 抽样 存在 偏差 我们 看 假如 说 耶鲁 毕业生 有 6 个人 咱们 这 6 是 一个 虚数 它 可能 60 个 600 个 都 有 可能 假如 有 6 个人 这 6 个人 里面 他 中低收入 的 有 4 个 相比 来讲 中低收入 可能 跟 我们 比 还是 高 收入 是 吧 好 还有 就是 高 收入 的 有 2 个人 是不是 所以 对于 全体 来讲 他 的 中低收入 和 高 收入 的 人数 之 比 就是 2:1 那么 如果 我们 想 抽样 并且 得出 一个 比较 准确 的 结果 的话 我们 在 抽样 的 时候 应该 是 中低收入 的 抽 两个 人 然后 高 收入 的 抽 一个 人 这 就是 合理 的 但是 事实上 我们 在 抽样 过程 中 可能 不 自觉 的 会 存在 一定 的 偏差 比如说 当 我们 去 寻找 这些 毕业生 的 时候 那些 高 收入 的 人群 我们 是 不会 忘记 的 这个 公司 的 总裁 是 吧 那个 公司 的 CEO 我们 都 不会 忘 所以 这些 人 总能 被 我们 看见 但是 中低收入 的 这些 人 很 有 可能 他们 跟 校友会 一点 联系 都 没有 所以 你 根本 找不着 他 也 有 可能 你 找 着 他 了 但是 因为 他 觉得 自己 收入 太低 了 所以 不 愿意 参与 这个 调查 所以 你 所 调查 的 人群 里面 可能 很多 都 是 高 收入 的 而 低收入 的 人 你 调查 的 比较 少 所以 在 抽样 的 时候 你 的 抽样 比例 可能 是 1:2 这样一来 你 就 会 造成 什么 造成 好像 耶鲁 的 毕业生 里面 很多 人 都 工资 非常 高 但 事实上 有 大量 的 人 他们 工资 比较 低 但 他 不 愿意 参与 抽样 所以 你 这个 抽样 就 不 能够 代表 全体 对 吧 那 我们 再来 举个 例子 那 就是 美国 大选 了 美国 大选 美国 大选 它 实行 的 是 选举人 制度 就是 每 一个 州 有 一定 的 选举人 票数 有 的 州 人数 多 是 吧 经济 发展 好 它 的 那个 选票 可能 会 多一些 有 的 州 人数 少 它 的 选票 就 少 一些 然后 你 在 州 内 先选 大部分 的 州 都 是 谁 赢 了 我州 内 的 选举 那么 我们 州 所有 的 选票 都 投给 那个 人 所以 民众 先投 投完 了 之后 每 一个 州 的 选举人 再 去 投 而 那个 选举人 投票 日 就是 在 12 月 14 号 12 月 14 号 投票 了 之后 拜登 才能 从 法理 上 成为 新一任 的 美国 总统 是 吧 那 美国 大选 之前 总会 有人 做 这个 民调 是 吧 这个 历史 上 就 有 比如说 在 1936 年 1936 年 有 一个 杂志 这个 杂志 名字 叫 《 文学 文摘 》 The magazine is called "Literary Digest" 这个 《 文学 文摘 》 是 一个 发行量 很大 的 一个 杂志 这个 杂志 就 说 我 能 不能 做 一个 美国 大选 的 预测 之前 我 都 预测 了 好几年 了 我 今年 再 做 一次 于是 这个 《 文学 文摘 》 就 发行 了 问卷 发行 多少 问卷 发行 了 1000 万张 1000 万张 调查 问卷 去 研究 这个 选举 的 结果 是 什么 是 吧 最后 它 回收 了 230 万张 是 吧 回收 了 这么 多 那么 这 两个 候选人 是 谁 呢 这 两个 候选人 分别 是 民主党 的 候选人 罗斯福 大家 应该 都 知道 罗斯福 就是 带领 美国 战胜 了 这个 经济危机 和 二战 的 总统 是 吧 好 那么 另外 一个 就是 共和党 的 共和党 的 领导人 他 的 名字 叫做 林登 林登 好 那么 民主党 和 共和党 的 这 两个 人 他们 进行 投票 是 吧 在 民调 的 时候 结果 是 什么 样子 的 呢 在 民调 的 时候 这 《 文学 文摘 》 就 说 根据 我们 的 民调 结果 回收 的 这 230 万张 选票 我们 断定 这个 林登 肯定 会 赢 林登 最终 会 得到 370 张 选举人 票 而 罗斯福 会 得到 161 张 选举人 票 当时 的 总 选举人 票数 是 531 张票 是 吧 那 这样一来 的话 林登 就 肯定 赢 了 罗斯福 了 好 了 那么 最后 实际 的 情况 又 是 如何 呢 实际 的 情况 是 林登 一共 只 拿 了 8 张 选举人 票 赢 了 其中 的 两个 州 是 吧 罗斯福 赢 了 523 张 选举人 票 也 是 民主党 历史 上 这个 压倒性 胜利 的 一次 投票 了 那么 事后 人们 就 琢磨 说 我 在 调研 的 时候 我发 了 1000 万张 问卷 我 最后 收到 230 万张 这 应该 说 我 这个 选 的 人 已经 非常 多 了 我 最后 公平 公正 地 得到 的 这些 结果 大家 都 支持 林登 那么 为什么 最后 罗斯福 反而 以 这么 大 的 优势 获得 了 胜利 呢 这是 为什么 呢 人们 就 琢磨 这 事儿 后来 发现 这 也 是 有 偏 抽样 造成 的 什么 意思 啊 就是 你 订阅 这个 《 文学 文摘 》 看起来 这个 杂志 还是 水平 比较 高 的 是 吧 它 可能 是 有 一些 特定 收入 的 人群 或者 特定 职业 的 人群 而 这些 收入 和 职业 的 人群 他 可能 更 喜欢 林登 而 不 喜欢 罗斯福 是 吧 那么 这些 人 喜欢 林登 不 喜欢 罗斯福 你 并 不能 代表 其他 的 美国 人 也 喜欢 林登 所以 这个 说法 是 不 对 的 这是 第一个 第二个 就是 他 是 自愿 调查 的 什么 叫 自愿 调查 呢 就是 反正 我 问卷 就 寄给 你 了 你 要是 愿意 回 吧 你 就 把 这个 问卷 返回 给 我 你 要是 不 愿意 回 呢 你 就 问卷 就 扔 了 你 不用 返回 给 我 对 不 对 自愿 的 那么 这个 时候 就 会 出现 两种 人 有 的 人 就 特别 特别 讨厌 罗斯福 可 下 抓住 的 一个 机会 一定 要 都 写 上 那么 也 有 一些 人 他 可能 觉得 无所谓 对 吧 他 就 不 写 了 所以 最后 就 造成 了 好像 看起来 林登 的 支持率 特别 高 但是 事实上 最终 结果 却是 林登 惨败 是不是 后来 就 因为 这 一次 的 乌龙 事件 《 文学 文摘 》 没 过 多长时间 它 就 停刊 了 对 它 的 这个 信誉 损害 是 非常 大 的 其实 有 偏 抽样 在 我们 生活 中是 很 常见 的 比如说 我们 参加 同学会 一看 同学们 个个 是 光鲜 艳丽 是 吧 买车 买房 是 吧 都 非常 厉害 为什么 呢 就是 因为 有 很多 那些 工作 不是 很 顺利 的 身体 又 不好 又 没有 什么 钱 的 人 他 可能 根本 都 不来 是 吧 所以 就 造成 大家 感觉 好像 来 的 这些 人 都 很 厉害 同学们 都 很 厉害 一样 再 比如说 以前 有个 段子 说 有 一个 记者 跑 到 这个 火车 上去 采访 说 你 买 到 票 了 吗 你 买 到 票 了 吗 最后 发现 大家 都 买 到 票 了 于是 记者 就 说 了 今年 的 春运 非常 理想 所有人 都 买 到 了 票 很 显然 这 也 是 一个 有 偏 的 抽样 对 吧 再 比如说 医生 每天 看到 病人 然后 就 觉得 说 所有 的 人 都 有 病 那 这 肯定 也 是 一个 有 偏 抽样 对 不 对 所以 中国 有句 古话 有 偏 抽样 其实 就 叫 什么 呀 成语 以偏概全 当然 从 语文 上 来讲 它 是 个 贬义词 但是 我们 从 统计 上 来讲 就 说明 这个 抽样 它 是 有 偏 的 也许 你 是 无意 的 但 它 确实 是 有 偏 的 那么 除了 有 偏 的 抽样 以外 有 的 时候 这个 样本 可能 是 无偏 的 但是 因为 它 样本 个数 少 也 会 造成 它 的 不 准确 我们 来说 一下 小 样本 的 偏差 Let's talk about the deviation of a small sample 因为 样本 个数 太少 了 也 会 造成 偏差 我们 来 考虑 这样 一个 问题 说 有 一批 产品 这 一批 产品 一共 有 10 个 1 2 3 4 5 6 7 8 9 10 这 一批 产品 里面 有 的 产品 是 合格 产品 有 的 产品 是 次品 有 正品 有 次品 然后 我 如果 从 这 10 个 产品 里边 我取 3 个 我 一看 取 的 这 三个 全都 是 正品 那 是不是 就 可以 说明 这 10 个 都 是 正品 呢 反过来说 假如 我 要是 取 了 3 个 发现 都 是 次品 我 是不是 就 能 说明 这 10 个 全都 是 次品 呢 我们 来 研究 一下 这个 问题 我们 先 做 一个 假设 假设 这 10 个 里边 有 7 个 是 正品 有 7 个 是 正品 还有 3 个 是 次品 左边 的 这 7 个 是 合格 的 7 个 正品 还有 就是 3 个 次品 对 吧 好 我们 现在 首先 想 我 现在 要 进行 抽样 对 不 对 我 进行 抽样 的 时候 我 抽 3 个 抽 3 个 抽 3 个 有 多少 种 方法 数 有 多少 种 方法 数 你 从 10 个 里边 抽 3 个 我们 学过 组合 数 就 知道 应该 叫 C(10,3) 对 不 对 C(10,3) 就 是从 10 个 东西 里边 抽取 3 个 的 方法 数 它 的 算法 10×9×8/(1×2×3) 是 吧 算法 就是 这个 样子 最后 算 完 了 这个 数 应该 是 120 种 方法 就是 你 抽 3 个 一共 就 有 这么 多种 方法 好 我 现在 问 那么 这些 方法 里边 我们 如果 抽到 了 3 个 正品 它 有 多 大 的 可能 呢 如果 你 抽到 了 3 个 正品 的话 你 必须 从 这 7 个 里面 抽 3 个 所以 它 的 方法 数 就 等于 C(7,3) 对 吧 7 个 里边 抽 3 个 那么 我们 按照 这种 方法 去 算 7×6×5/(1×2×3) 最后 答案 是 35 所以 抽到 3 个 正品 的 可能性 有 35 种 所以 它 的 概率 P₁ 就是 m₁/N 最后 结果 是 35/120 对 不 对 好 抽到 3 个 正品 有 这么 大 的 概率 我们 再 来看 如果 是 2 个 正品 1 个 次品 呢 有 多少 种 可能 如果 你 要是 抽到 了 2 个 正品 的话 你 再 从 这 7 个 里边 抽 2 个 正品 C(7,2) 完 了 你 还 得 再 从 这 3 个 次品 里边 抽 1 个 叫 C(3,1) 我们 按照 这个 算法 去 算 最后 结果 有 63 种 每 一种 可能性 都 是 一样 的 所以 相应 的 概率 就是 m₂ 除以 一个 总共 的 可能性 63/120 有 这么 多 的 可能 是 吧 他 抽到 了 2 件 正品 好 那 如果 要是 抽到 了 1 个 正品 和 2 个 次品 呢 你 不 一共 抽 3 个 吗 有 多少 种 方法 数 很 显然 7 个 里边 抽 1 个 正品 在 3 个 里边 抽 2 个 次品 最后 算 完 了 是 21 种 它 相应 的 概率 应该 是 21/120 最后 还有 一种 可能 什么 可能 呢 就是 你 抽到 了 0 个 正品 和 3 个 次品 你 抽 了 3 个 这 3 个 全都 是 次品 这有 可能 吗 有 可能 你 只 需要 在 这 3 个 次品 中 抽 3 个 不 就行了 吗 所以 就是 C(3,3) C(3,3) 等于 1 种 相应 的 概率 就是 （ 更正 ）m₄/N=1/120 好 了 大家 来看 一下 假如 这 一箱 的 产品 中 真的 就是 有 7 个 正品 和 3 个 次品 的话 那么 你 抽 3 个 既有 可能 抽到 3 个 正品 也 有 可能 抽到 3 个 次品 反过来说 就是 你 抽到 3 个 正品 并 不能 证明 这一 箱子 全都 是 好 的 你 抽到 3 个 次品 也 不能 证明 这一 箱子 全都 是 坏 的 所以 这样 的 抽样 其实 没有 太 大 意义 主要 是因为 你 只 抽 一次 只 抽 一次 没有 办法 说明 这个 产品 的 特性 那 我们 怎么办 我们 应该 多 抽 几次 是 吧 反复 地 抽 如果 每 一次 抽 都 是 3 个 正品 我们 基本上 可以 证明 这 一批 产品 是 比较 合格 的 如果 你 每 一次 抽样 都 是 3 个 次品 那不就 说明 这个 东西 得 扔 吗 不能 用 是不是 但 事实上 很多 时候 不是 这样 比如说 我 想 说 我 这个 产品 好 怎么办 呢 我 就 做 很多很多 次 实验 很多很多 次 抽样 直到 抽出来 一个 3 个 全是 正品 的 情况 然后 把 这 一次 数据 放 出来 对 吧 让 你 看 我们 产品质量 非常 好 那 我 如果 想 黑 你 怎么办 呢 我 如果 要是 想 黑 对方 的 产品 If I want to hack each other’s products 我 就 给 它 进行 抽样 抽样 完 了 之后 我 找出 一次 抽样 来 3 次 全都 是 次品 然后 我 就 说 你 这 东西 是 个 垃圾 对 吧 所以 统计数据 是 会 骗人 的 这种 现象 在 我们 生活 中 其实 是 屡见不鲜 的 比如说 很多 这个 洗手液 这个 洗衣粉 都 宣称 说 自己 的 杀菌 效果 达到 了 99.9% 说 你 这个 99.9% 是 怎么 测 出来 的 呢 很 有 可能 你 是 做 了 很 多次 实验 找出 最好 的 那 一次 你 说 我们 杀菌 效果 99.9% 但 事实上 你 在 生活 的 环境 下 没有 实验室 那么 好 它 很 有 可能 杀菌 效果 是 达 不到 的 对 吧 再 比如 有些 不太 负责 任 的 这个 实验室 他们 在 做 实验 的 时候 也 是 这样 就 做 了 很 多次 实验 找出 效果 最好 的 那个 实验 然后 来 支持 自己 的 理论 但 实际上 可能 大部分 的 实验 是 没有 办法 重复 的 那 我们 刚才 讲 的 这种 抽样 的 问题 实际上 叫做 超 几何 分布 Actually called hypergeometric distribution 超 几何 分布 也 是 这个 中学 我们 要 讲 的 一种 分布 的 情况 对于 这种 超 几何 分布 造成 的 这种 统计 的 偏差 其实 中国 古人 也 有 话 比如说 中国 古人 有 一句 话 叫 盲人摸象 盲人摸象 是 什么 意思 呢 就是说 你 只 看到 了 很小 的 一个 部分 你 就 以为 整个 大象 都 是 像 绳子 一样 或者 都 是 像 柱子 一样 对 不 对 没有 看到 全体 盲人摸象 就是 因为 小 样本 造成 的 偏差 造成 的 还有 一个 说 如果 我 主动 的 去 选择 一些 好 的 数据 或者 一些 不好 的 数据 来 说明 这个 产品 那 叫 什么 呢 那 叫 断章取义 是 吧 这个 也 是 中国 古人 说 的 我 刚才 讲 的 这些 问题 其实 是 出自 谁 啊 出自 1954 年 有 一个 作家 名字 叫做 达 莱尔 · 哈夫 达 莱尔 · 哈夫 这个 人写 了 一 本书 这 本书 是 一个 统计学 的 经典著作 叫做 《 如何 用 统计数字 骗人 》 《 如何 用 统计数字 骗人 》 这 本书 一经 问世 就 立刻 风靡 美国 是 吧 成为 当年 的 畅销 读物 而且 这么 多年 来 这 本书 一直 都 很 畅销 现在 中文 的 译本 好像 叫 《 统计 陷阱 》 大家 如果 有 兴趣 不妨 拿 回来 看一看 这个 达 莱尔 · 哈夫 在 这 本书 中说 到 这样 一句 话 他 说 数据 是 真实 的 但是 利用 这些 数据 得到 一个 未经 证实 的 结论 这 就是 谬误 了 其实 我们 的 生活 中 到处 都 充斥 着 这种 统计 的 谬误 我们 不知不觉 就 被 这些 数字 欺骗 了 关于 这个 话题 我会 在 下 一期 继续 跟 大家 讨论 大家 如果 喜欢 我 的 视频 可以 在 YouTube 账号 李永乐 老师 里 订阅 我 点击 小 铃铛 可以 第一 时间 获得 更新 信息