美国 大 选民 调 为啥 总 不靠 谱 ？会 骗人 的 数字 （三 ）有 偏 抽样 |||||||reliable|||||||| Why are U.S. election polls always unreliable? Numbers that can deceive people (3) Biased sampling

各位 同學 大家 好 我 是 李永樂 老師

美國 大選 的 居民 投票 部分

在 壹 段時間 以前 就 已經 結束 了

但是 正式 的 選舉人 投票 在 昨天 才 剛剛 舉行

各州 的 選舉人 都 按照 自己 的 宣誓

把 本州 的 選票

投給 了 贏得 本州 選舉 的 總統 候選人

特朗普 所 期待 的 翻盤 沒有 出現

有 小朋友 就 跟 我 說

在 大選 之前 很多 民調 機構 都 預測

拜登 會以 絕對 的 優勢 領先 特朗普

但是 實際 的 選舉 過程 卻 非常 曲折

拜登 在 很 多個 搖擺 州 差壹點 被 翻盤

其實 美國 的 民調 不靠 譜

從來 就 不是 什 麽 新鮮事

在 四年 以前 的 希拉 裏 就 曾經 民調 大幅 領先

但是 最後 反而 被 特朗普 搶去 了 總統 的 寶座

那 今天 我們 就 來 討論 壹下

民調 為什 麽 這 麽 不靠 譜

為 了 研究 這個 問題

我們 首先 先 從 抽樣 這個 概念 說起

我們 研究 壹下 有 偏 的 抽樣

事實上 民調 都 是 壹個 抽樣 過程

他 不 可能 把 美國 所有 的 人 都 問壹遍

他 只能 問壹 部分 人 說 妳 支持 特朗普 呢

妳 還是 支持 拜登 對 吧

通過 這個 抽樣 的 結果 來 獲得 壹個 預測

也許 特朗普 會贏 或者 也許 拜登 會贏

它 就是 壹個 抽樣 的 結果

那 麽 對於 這個 有 偏 抽樣 的 意思 是 什 麽 呢

在 1924 年 的 時候

我們 先 來說 這 麽 壹件 事

1924 年 的 時候

美國 壹 所 大學 叫 耶魯大學

這個 耶魯大學 當然 至今

還是 美國 非常 好 的 壹 所 大學 了

1924 年 美國耶魯大學 的 畢業生

人們 調查 說 畢業生 的 平均工資 是 多少

結果 壹算 畢業生 平均工資

25111 美元 每年

2 萬多美元 壹年 大概 相當於 現在 多少錢 呢

大概 相當於 現在 300 萬 人民幣 左右

就 壹個 耶魯 的 畢業生

壹年 能 拿 300 多萬 人民幣

他們 幹的還 不錯

說 為 什 麽 有 這 麽 高 的 工資 呢

那 很多 人 發現 很多 耶魯 畢業生

沒有 這 麽 高 的 工資

為什 麽 呢

這是 因為 抽樣 存在 偏差

我們 看 假如 說 耶魯 畢業生 有 6 個人

咱們 這 6 是 壹個 虛數

它 可能 60 個 600 個 都 有 可能

假如 有 6 個人

這 6 個人 裏面 他 中低收入 的 有 4 個

相比 來講 中低收入

可能 跟 我們 比 還是 高 收入 是 吧

好 還有 就是 高 收入 的 有 2 個人 是不是

所以 對於 全體 來講

他 的 中低收入 和 高 收入 的 人數 之 比 就是 2:1

那 麽 如果 我們 想 抽樣

並且 得出 壹個 比較 準確 的 結果 的話

我們 在 抽樣 的 時候

應該 是 中低收入 的 抽 兩個 人

然後 高 收入 的 抽 壹 個人

這 就是 合理 的

但是 事實上 我們 在 抽樣 過程 中

可能 不 自覺 的 會 存在 壹定 的 偏差

比如說 當 我們 去 尋找 這些 畢業生 的 時候

那些 高 收入 的 人群 我們 是 不會 忘記 的

這個 公司 的 總裁 是 吧

那個 公司 的 CEO 我們 都 不會 忘

所以 這些 人 總能 被 我們 看見

但是 中低收入 的 這些 人

很 有 可能 他們 跟 校友會 壹點 聯系 都 沒有

所以 妳 根本 找不著 他

也 有 可能 妳 找 著 他 了

但是 因為 他 覺得 自己 收入 太低 了

所以 不 願意 參與 這個 調查

所以 妳 所 調查 的 人群 裏面

可能 很多 都 是 高 收入 的

而 低收入 的 人 妳 調查 的 比較 少

所以 在 抽樣 的 時候

妳 的 抽樣 比例 可能 是 1:2

這樣 壹來 妳 就 會 造成 什 麽

造成 好像 耶魯 的 畢業生 裏面

很多 人 都 工資 非常 高

但 事實上 有 大量 的 人 他們 工資 比較 低

但 他 不 願意 參與 抽樣

所以 妳 這個 抽樣 就 不 能夠 代表 全體 對 吧

那 我們 再來 舉 個例 子

那 就是 美國 大選 了

美國 大選

美國 大選 它 實行 的 是 選舉人 制度

就是 每壹個 州 有 壹定 的 選舉人 票數

有 的 州 人數 多 是 吧

經濟 發展 好 它 的 那個 選票 可能 會多 壹些

有 的 州 人數 少

它 的 選票 就 少壹些

然後 妳在 州 內 先選

大部分 的 州 都 是 誰 贏了 我州 內 的 選舉 |||||||our state|||

那 麽 我們 州 所有 的 選票 都 投給 那個 人

所以 民眾 先 投

投完 了 之後 每壹個 州 的 選舉人 再 去 投

而 那個 選舉人 投票 日 就是 在 12 月 14 號

12 月 14 號 投票 了 之後

拜登 才能 從 法理 上成 為 新壹任 的 美國 總統 是 吧

那 美國 大選 之前 總會 有人 做 這個 民調 是 吧

這個 歷史 上 就 有

比如說 在 1936 年

1936 年 有 壹個 雜誌

這個 雜誌 名字 叫 《 文學 文摘 》

這個 《 文學 文摘 》

是 壹個 發行量 很大 的 壹個 雜誌

這個 雜誌 就 說 我 能 不能 做壹個 美國 大選 的 預測

之前 我 都 預測 了 好幾年 了 我 今年 再 做 壹次

於是 這個 《 文學 文摘 》 就 發行 了 問卷

發行 多少 問卷 發行 了 1000 萬張

1000 萬張 調查 問卷

去 研究 這個 選舉 的 結果 是 什 麽 是 吧

最後 它 回收 了 230 萬張 是 吧

回收 了 這 麽 多

那 麽 這 兩個 候選人 是 誰 呢

這 兩個 候選人 分別 是 民主黨 的 候選人 羅斯福

大家 應該 都 知道 羅斯福

就是 帶領 美國

戰勝 了 這個 經濟危機 和 二戰 的 總統 是 吧

好 那 麽 另外 壹個 就是 共和黨 的 |||||"is"||

共和黨 的 領導人 他 的 名字 叫做 林登 林登 ||||||||Lyndon

好 那 麽 民主黨 和 共和黨 的 這 兩個 人

他們 進行 投票 是 吧

在 民調 的 時候 結果 是 什 麽 樣子 的 呢

在 民調 的 時候 這 《 文學 文摘 》 就 說

根據 我們 的 民調 結果

回收 的 這 230 萬張 選票

我們 斷定 這個 林登 肯定 會贏

林登 最終 會 得到 370 張 選舉人 票

而 羅斯福 會 得到 161 張 選舉人 票

當時 的 總 選舉人 票數 是 531 張票 是 吧

那 這樣 壹來 的話 林登 就 肯定 贏了 羅斯福 了

好 了 那 麽 最後 實際 的 情況 又 是 如何 呢

實際 的 情況 是 林登壹 共 只 拿 了 8 張 選舉人 票

贏了 其中 的 兩個 州 是 吧

羅斯福 贏了 523 張 選舉人 票

也 是 民主黨 歷史 上

這個 壓倒性 勝利 的 壹次 投票 了

那 麽 事後 人們 就 琢磨

說 我 在 調研 的 時候 我發 了 1000 萬張 問卷

我 最後 收到 230 萬張

這 應該 說 我 這個 選 的 人 已經 非常 多 了

我 最後 公平 公正 地 得到 的 這些 結果

大家 都 支持 林登

那 麽 為 什 麽 最後 羅斯福

反而 以 這 麽 大 的 優勢 獲得 了 勝利 呢

這是 為 什 麽 呢

人們 就 琢磨 這 事兒

後來 發現 這也 是 有 偏 抽樣 造成 的

什 麽 意思 啊

就是 妳 訂閱 這個 《 文學 文摘 》

看起來 這個 雜誌 還是 水平 比較 高 的 是 吧

它 可能 是 有 壹些 特定 收入 的 人群

或者 特定 職業 的 人群

而 這些 收入 和 職業 的 人群

他 可能 更 喜歡 林登

而 不 喜歡 羅斯福 是 吧

那 麽 這些 人 喜歡 林登 不 喜歡 羅斯福

妳 並 不能 代表 其他 的 美國 人 也 喜歡 林登

所以 這個 說法 是 不 對 的 這是 第壹個

第二個 就是 他 是 自願 調查 的

什 麽 叫 自願 調查 呢

就是 反正 我 問卷 就 寄給 妳 了

妳 要是 願意 回 吧 妳 就 把 這個 問卷 返回 給我

妳 要是 不 願意 回 呢 妳 就 問卷 就 扔 了

妳 不用 返回 給我 對 不 對 自願 的

那 麽 這個 時候 就 會 出現 兩種 人

有 的 人 就 特別 特別 討厭 羅斯福

可 下 抓住 的 壹個 機會 壹定 要 都 寫 上

那 麽 也 有 壹些 人 他 可能 覺得 無所謂 對 吧

他 就 不 寫 了

所以 最後 就 造成 了

好像 看起來 林登 的 支持率 特別 高

但是 事實上 最終 結果 卻是 林登 慘敗 是不是

後來 就 因為 這壹次 的 烏龍 事件

《 文學 文摘 》 沒 過 多長時間 它 就 停刊 了

對 它 的 這個 信譽 損害 是 非常 大 的

其實 有 偏 抽樣 在 我們 生活 中是 很 常見 的

比如說 我們 參加 同學會

壹 看 同學們 個個 是 光鮮 艷麗 是 吧

買車 買房 是 吧 都 非常 厲害

為什 麽 呢

就是 因為 有 很多 那些 工作 不是 很 順利 的

身體 又 不好 又 沒有 什 麽 錢 的 人

他 可能 根本 都 不來 是 吧

所以 就 造成 大家 感覺 好像 來 的 這些 人 都 很 厲害

同學們 都 很 厲害 壹樣

再 比如說 以前 有個 段子

說 有 壹個 記者 跑 到 這個 火車 上去 采訪

說 妳 買 到 票 了 嗎 妳 買 到 票 了 嗎

最後 發現 大家 都 買 到 票 了

於是 記者 就 說 了 今年 的 春運 非常 理想

所有人 都 買 到 了 票

很 顯然 這也 是 壹個 有 偏 的 抽樣 對 吧

再 比如說 醫生 每天 看到 病人

然後 就 覺得 說 所有 的 人 都 有 病

那 這 肯定 也 是 壹個 有 偏 抽樣 對 不 對

所以 中國 有句 古話

有 偏 抽樣 其實 就 叫 什 麽 呀

成語 以偏概全

當然 從 語文 上 來講 它 是 個 貶義詞

但是 我們 從 統計 上 來講

就 說明 這個 抽樣 它 是 有 偏 的

也許 妳是 無意 的

但 它 確實 是 有 偏 的

那 麽 除了 有 偏 的 抽樣 以外

有 的 時候 這個 樣本 可能 是 無偏 的

但是 因為 它 樣本 個數 少 也 會 造成 它 的 不 準確

我們 來說 壹下 小 樣本 的 偏差

因為 樣本 個數 太少 了 也 會 造成 偏差

我們 來 考慮 這樣 壹個 問題

說 有 壹批 產品 這壹批 產品 壹 共有 10 個

1 2 3 4 5

6 7 8 9 10

這壹批 產品 裏面 有 的 產品 是 合格 產品

有 的 產品 是 次品

有 正品 有 次品

然後 我 如果 從 這 10 個 產品 裏邊 我取 3 個

我 壹 看 取 的 這 三個 全都 是 正品

那 是不是 就 可以 說明 這 10 個 都 是 正品 呢

反過來說

假如 我 要是 取 了 3 個 發現 都 是 次品

我 是不是 就 能 說明 這 10 個 全都 是 次品 呢

我們 來 研究 壹下 這個 問題

我們 先 做 壹個 假設

假設 這 10 個裏 邊有 7 個 是 正品

有 7 個 是 正品

還有 3 個 是 次品

左邊 的 這 7 個 是 合格 的 7 個 正品

還有 就是 3 個 次品 對 吧

好 我們 現在 首先 想

我 現在 要 進行 抽樣 對 不 對

我 進行 抽樣 的 時候 我 抽 3 個

抽 3 個

抽 3 個 有 多少 種 方法 數

有 多少 種 方法 數

妳 從 10 個裏 邊抽 3 個

我們 學過 組合 數就 知道

應該 叫 C(10,3) 對 不 對

C(10,3) 就 是從 10 個 東西 裏邊

抽取 3 個 的 方法 數

它 的 算法 10×9×8/(1×2×3) 是 吧

算法 就是 這個 樣子

最後 算 完 了

這個 數 應該 是 120 種 方法

就是 妳 抽 3 個 壹 共 就 有 這 麽 多種 方法

好 我 現在 問

那 麽 這些 方法 裏邊

我們 如果 抽到 了 3 個 正品

它 有 多 大 的 可能 呢

如果 妳 抽到 了 3 個 正品 的話

妳 必須 從 這 7 個 裏面 抽 3 個

所以 它 的 方法 數就 等於 C(7,3) 對 吧

7 個裏 邊抽 3 個

那 麽 我們 按照 這種 方法 去 算

7×6×5/(1×2×3)

最後 答案 是 35

所以 抽到 3 個 正品 的 可能性 有 35 種

所以 它 的 概率

P₁ 就是 m₁/N

最後 結果 是 35/120 對 不 對

好 抽到 3 個 正品 有 這 麽 大 的 概率

我們 再 來看

如果 是 2 個 正品 1 個 次品 呢

有 多少 種 可能

如果 妳 要是 抽到 了 2 個 正品 的話

妳 再 從 這 7 個裏 邊抽 2 個 正品 C(7,2)

完 了 妳 還得 再 從 這 3 個 次品 裏邊 抽 1 個

叫 C(3,1)

我們 按照 這個 算法 去 算

最後 結果 有 63 種

每壹種 可能性 都 是 壹樣 的

所以 相應 的 概率 就是

m₂ 除以 壹個 總共 的 可能性 63/120

有 這 麽 多 的 可能 是 吧

他 抽到 了 2 件 正品

好 那 如果 要是 抽到 了 1 個 正品 和 2 個 次品 呢

妳 不壹 共 抽 3 個 嗎

有 多少 種 方法 數

很 顯然 7 個裏 邊抽 1 個 正品

在 3 個裏 邊抽 2 個 次品

最後 算 完 了 是 21 種

它 相應 的 概率 應該 是 21/120

最後 還有 壹種 可能

什 麽 可能 呢

就是 妳 抽到 了 0 個 正品 和 3 個 次品

妳 抽 了 3 個 這 3 個 全都 是 次品

這有 可能 嗎 有 可能

妳 只 需要 在 這 3 個 次品 中 抽 3 個 不 就行了 嗎

所以 就是 C(3,3)

C(3,3) 等於 1 種

相應 的 概率 就是

（ 更正 ）m₄/N=1/120

好 了 大家 來看 壹下

假如 這壹箱 的 產品 中

真的 就是 有 7 個 正品 和 3 個 次品 的話

那 麽 妳 抽 3 個

既有 可能 抽到 3 個 正品

也 有 可能 抽到 3 個 次品

反過來說 就是

妳 抽到 3 個 正品

並 不能 證明 這壹 箱子 全都 是 好 的

妳 抽到 3 個 次品

也 不能 證明 這壹 箱子 全都 是 壞 的

所以 這樣 的 抽樣 其實 沒有 太 大 意義

主要 是 因為 妳 只 抽壹次

只 抽壹次 沒有 辦法 說明 這個 產品 的 特性

那 我們 怎 麽 辦

我們 應該 多 抽 幾次 是 吧

反 復 地 抽

如果 每壹次 抽 都 是 3 個 正品

我們 基本上 可以 證明

這壹批 產品 是 比較 合格 的

如果 妳 每壹次 抽樣 都 是 3 個 次品

那不就 說明 這個 東西 得 扔 嗎

不能 用 是不是

但 事實上 很多 時候 不是 這樣

比如說 我 想 說 我 這個 產品 好 怎 麽 辦 呢

我 就 做 很多很多 次 實驗

很多很多 次 抽樣

直到 抽出來 壹個 3 個 全是 正品 的 情況

然後 把 這壹次 數據 放 出來 對 吧

讓 妳 看 我們 產品質量 非常 好

那 我 如果 想 黑 妳 怎 麽 辦 呢

我 如果 要是 想 黑 對方 的 產品

我 就給 它 進行 抽樣

抽樣 完 了 之後 我 找出 壹次 抽樣 來

3 次 全都 是 次品

然後 我 就 說 妳 這 東西 是 個 垃圾 對 吧

所以 統計數據 是 會 騙人 的

這種 現象 在 我們 生活 中 其實 是 屢見不鮮 的

比如說 很多 這個 洗手液 這個 洗衣粉

都 宣稱 說 自己 的 殺菌 效果 達到 了 99.9%

說 妳 這個 99.9% 是 怎 麽 測 出來 的 呢

很 有 可能 妳是 做 了 很 多次 實驗

找出 最好 的 那 壹次

妳 說 我們 殺菌 效果 99.9%

但 事實上 妳在 生活 的 環境 下

沒有 實驗室 那 麽 好

它 很 有 可能 殺菌 效果 是 達 不到 的 對 吧

再 比如 有些 不太 負責 任 的 這個 實驗室

他們 在 做 實驗 的 時候 也 是 這樣

就 做 了 很 多次 實驗

找出 效果 最好 的 那個 實驗

然 後來 支持 自己 的 理論

但 實際上 可能 大部分 的 實驗 是 沒有 辦法 重 復 的

那 我們 剛才講 的 這種 抽樣 的 問題

實際上 叫做 超 幾何 分布

超 幾何 分布

也 是 這個 中學 我們 要講 的 壹種 分布 的 情況

對於 這種 超 幾何 分布 造成 的 這種 統計 的 偏差

其實 中國 古人 也 有 話

比如說 中國 古人 有壹句 話 叫 盲人摸象

盲人摸象 是 什 麽 意思 呢

就是說 妳 只 看到 了 很小 的 壹個 部分

妳 就 以 為 整個 大象 都 是 像 繩子 壹樣

或者 都 是 像 柱子 壹樣 對 不 對

沒有 看到 全體

盲人摸象 就是 因為 小 樣本 造成 的 偏差 造成 的

還有 壹個 說 如果 我 主動 的 去 選擇 壹些 好 的 數據

或者 壹些 不好 的 數據 來說 明 這個 產品

那 叫 什 麽 呢

那 叫 斷章取義 是 吧

這個 也 是 中國 古人 說 的

我 剛才講 的 這些 問題 其實 是 出自 誰 啊

出自 1954 年

有壹個 作家 名字 叫做 達 萊爾 · 哈夫 ||||||Hough

達 萊爾 · 哈夫

這個 人寫 了 壹 本書

這本 書是 壹個 統計學 的 經典著作

叫做 《 如何 用 統計數字 騙人 》

《 如何 用 統計數字 騙人 》

這本 書壹經 問世 就 立刻 風靡 美國 是 吧

成為 當年 的 暢銷 讀物

而且 這 麽 多 年來 這本 書壹直 都 很 暢銷

現在 中文 的 譯本 好像 叫 《 統計 陷阱 》

大家 如果 有 興趣 不妨 拿 回來 看壹 看

這個 達 萊爾 · 哈夫 在 這本 書中 說 到 這樣 壹句 話

他 說 數據 是 真實 的

但是 利用 這些 數據 得到 壹個 未經 證實 的 結論

這 就是 謬誤 了

其實 我們 的 生活 中

到處 都 充斥 著 這種 統計 的 謬誤

我們 不知不覺 就 被 這些 數字 欺騙 了

關於 這個 話題 我會 在 下 壹期 繼續 跟 大家 討論

大家 如果 喜歡 我 的 視頻

可以 在 YouTube 賬號 李永樂 老師 裏 訂閱 我

點擊 小 鈴鐺 可以 第壹 時間 獲得 更新 信息