手机 拍照 为啥 这么 好看 ？都 是 AI算 出来 的！ (1) Why do cell phone photos look so good? It's all calculated by AI! (1)

各位 同學 大家 好 我 是 李永樂 老師 最近 有 一個 小朋友 跟 我 說 他 新 買 了 一臺 手機 這個 手機 的 拍照 功能 特別 強大 簡直 可以 媲美 單反 還有 很多 附加 的 神奇 功能 他 想問 我 這些 功能 到底 是 如何 實現 的 呢 為此 我還 特意 買 了 一臺 小米 11 Pro 我們 來體 會 一下 它 的 拍照 功能 首先 是 神奇 夜景 模式 它 能夠 在 夜晚 拍 到 特別 清晰 的 照片 再 比如說 還有 120 倍 的 超大 變焦 能夠 拍攝 到 很遠 的 物體 還有 人像 模式 能夠 對 背景 進行 虛化 凸顯出 人像 還 可以 進行 魔法 換天 把 天空 換成 你 想要 的 樣子 還 可以 進行 魔法 消除 把 圖片 上 你 不 想要 的 人 去掉 等等等等 那麼 一個 小小的 手機 是 如何 具有 這麼 強大 的 功能 的 呢 我 在 拍照 的 時候 發現 有 一個 AI 的 標誌 這就 表示 的 是 是否 啟用 人工智能 系統 來 處理 照片 原本 需要 在 雲端 進行 的 許多 人工智能 操作 現在 在 小小的 手機 上 就 可以 完成 了 目前 最為 普及 的 就是 在 拍攝 影像 方面 它 可以 極大 地 提升 用戶 的 體驗 今天 我們 就 來 聊 一聊 人工智能 在 攝影 上 的 應用 聊一聊 AI 計算 攝影 AI 也 就是 人工智能 計算 攝影 什麼 叫 計算 攝影 呢 首先 我來 放 兩張 圖 這個 是 沒有 經過 AI 處理 的 圖片 然後 我們 經過 AI 處理 之後 大家 比較 一下 這個 也 是 沒有 經過 AI 處理 的 我們 再 把 它 處理 一下 大家 比較 比較 大家 看 了 之後 是不是 感覺 到 非常 震撼 呢 看 了 AI 處理 的 圖 之後 就 不 願意 再 看 原圖 了 對 不 對 因為 差別 實在 是 太大 了 那麼 在 幾年 以前 我們 還不 具有 這種 技術 那 主要 是 因為 什麼 呢 主要 是 因為 那個 時候 AI 的 算力還 不夠 那個 時候 我們 使用 的 是 傳統相機 傳統 的 相機 不管 是 數碼相機 還是 光學 相機 它 的 基本原理 其實 都 很 簡單 那 就是 物體 發出 或者 是 反射 的 光線 經過 了 這個 相機 的 鏡頭 進入 到 這個 相機 之中 然後 通過 鏡頭 進入 到 感光 的 元件 上 這個 感光片 可能 是 膠片 也 可能 是 像 CCD 或者 CMOS 之類 的 電子元件 那麼 就 可以 把 一幅 圖 成像 在 這個 感光片 上 但是 傳統相機 其實 是 有 一些 問題 的 首先 傳統相機 有 一些 復 雜的 參數 比如說 光圈 焦距 什麼 光 這些 曝光 時間 等等 這些 東西 那麼 你 如果 讓 它 自動 調節 的話 效果 可能 就 不太好 如果 你 想 拍出 高質量 的 照片 的話 就 必須 學習 很 復 雜的 攝影 技術 對 吧 對於 我 這種 外行 來講 太 復 雜了 也就是說 在 這 過程 中 我 可能 需要 手動 調節 一些 東西 這個 調節 的 過程 是 比較 復 雜的 如果 調 不好 效果 就 一般般 那麼 第二個 就是 傳統 的 這種 相機 它 是 存在 物理 極限 的 它 過於 真實 存在 物理 極限 什麼 叫 過於 真實 存在 物理 極限 呢 就是說 因為 鏡頭 或者 感光片 的 一些 原因 它 不可避免 地會 出現 一些 模糊 以及 其他 的 一些 問題 我們 來 簡單 地 介紹 一下 說 這個 相機 出現 了 模糊 原因 是 什麼 比如說 有 一個 原因 叫做 光 的 衍射 光 的 衍射 我們 知道 這個 相機 成像 就是 依靠 鏡頭 這個 凸透鏡 對 吧 那麼 光線 經過 凸透鏡 之後 其實 並 不是 成為 一個點 而是 成 一個 光斑 這 叫做 艾裏 斑 鏡頭 越小 這個 艾裏 斑越 大 那 如果 兩個 艾裏 斑 重疊 到 一塊 我們 就 沒有 辦法 區分 這 兩條 光線 了 對 吧 所以 因為 艾裏 斑 的 存在 底片 上 呈現 的 像 就 會 出現 一定 的 模糊 所以 你 要 想 減小 的 這種 模糊 你 必須 提高 這個 照相機 的 口徑 對 吧 所以 天文 望遠鏡 造得 特別 大 但是 我們 的 相機 不 可能 造得 特別 大 第二個 就是 因為 它 的 感光片 比如說 像 CCD 或者 是 CMOS 這種 感光片 它 有 一個 分辨率 的 限 製 分辨率 的 限 製 什麼 意思 呢 比如說 這個 小米 11 Pro 這個 手機 它 的 分辨率 是 5000 萬 像素 是 怎麼回事 呢 就是 它 的 這個 感光片 是 1/1.12 英寸 也 就 表示 這個 感光片 的 對角線 長度 是 16/1.12 毫米 這 16 毫米 的 出現 是 歷史 原因 然後 這個 長寬 之 比 又 是 4:3 所以 我們 就 可以 知道 它 的 這個 長 和 寬 大約 都 是 11.4 毫米 和 8.6 毫米 你 就 可以 計算 出 它 的 感光片 有效 的 面積 了 然後 它 一個 像素點 的 面積 是 1.4 微米 x1.4 微米 的 一個 方 塊兒 你 這麼 一算 你 就 知道 它 一共 有 多少 個 大約 5000 萬個 這個 方 塊兒 所以 說 就 有 5000 萬個 像素點 像素點 的 密度 越高 對 外界 信息 的 描述 就 會 越 準確 但是 這個 像素點 不 可能 做 得 無限小 對於 外界 特別 細微 的 結構 因為 分辨率 的 限 製 也 會 出現 模糊 那麼 第三個 原因 就是 運動 模糊 運動 模糊 這個 就 比較 好 理解 了 我們 在 拍照 的 時候 會 讓 一定 的 光 進到 我們 的 這個 鏡頭 裏面 去 那麼 進光 的 時候 我們 這個 手機 不能 運動 對 吧 如果 我 的 手機 一 抖動 了 出現 了 運動 的話 那 就 會 出現 模糊 所以 說 專業 的 相機 你 得 架 到 三腳架 上 不讓 這個 相 機動 才 能夠 拍 得 比較清楚 對 吧 那麼 如果 你 在 拍攝 遠景 的 時候 把 鏡頭 拉得 非常 非常 長 或者 是 在 晚上 的 時候 需要 長 曝光 這個 運動 的 模糊 就 會 更加 明顯 那 第四個 就是 噪點 噪點 什麼 叫 噪點 呢 就是 這個 CCD 也好 CMOS 也好 由於 它 的 這個 物理 特性 比如說 電子 的 這個 無規則 運動 就 會 出現 一些 雜亂 的 膠原 狀的點 而 這些 點就稱 之 為 噪點 或者說 噪聲 那 如果說 外界 的 光 信號 比較 強 的話 有用 的 信息 多 這個 噪聲 的 影響 就 不 明顯 但是 如果 外界 的 信息 比較 少 比如說 在 晚上 的 時候 拍照 本來 有用 的 信息 就 弱 你 就 會 發現 很多 的 噪點 或者 我們 利用 小 光圈 長 焦 鏡頭 來 拍攝 景物 的 時候 你 也 會 發現 這個 噪點 的 影響 是 比較 明顯 的 此外 還有 這個 鏡頭 色差 對焦 不準 等等 會 造成 一定 的 模糊 當然 我們 可以 通過 物理 方法 對 它 進行 改進 你 比如說 我 可以 增大 鏡頭 的 大小 對 吧 我 可以 增大 感光 片兒 我 可以 減小 每 一個 像素點 的 尺寸 讓 像素點 變得 更 多 但是 這些 方法 同時 也 就 意味著 成本 的 上升 以及 功耗 的 變大 或者 是 相機 尺寸 的 變大 而且 有 的 時候 這些 個 改進 方法 是 彼此 矛盾 的 你 比如說 你 讓 每 一個 像素點 越來越 小 那 它 就 越來越 密 你 就 可以 收集 到 更 多 的 這個 外界 的 信息 了 但是 一旦 一個 像素點 小 了 的話 外界 有用 的 信息 少 它 的 噪聲 影響 就 會 變大 對 吧 所以 用 硬件 的 方法 來 提升 分辨率 它 是 存在 極限 的 那麼 我們 該 如何 處理 這個 問題 呢 現在 越來越 多 的 人 使用 手機 進行 拍照 了 因為 手機 比起 單反 不光 不 需要 進行 復 雜的 設置 不 需要 頻繁 的 更換 鏡頭 更 重要 的 是 隨著 手機 移動 平臺 構架 和 計算能力 的 逐代 提升 圖像 信號處理器 和 AI 處理 引擎 越來越 強大 許多 廠商 都 把 人工智能 引入 到 拍攝 當中 我們 一點 開 手機 的 拍照 功能 這個 人工智能 算法 都 在 為 我們 拍 出 一張 好看 的 照片 而 努力 這個 過程 我們 就 稱 之 為 是 計算 攝影 的 過程 計算 攝影 它 是 算 出來 的 一張 照 片兒 具體來講 這個 手機 廠商 選定 了 攝像頭 感光 芯片 操作系統 等等 這些 東西 之後 會 有 算法 廠商 來 設計 人工智能 的 算法 他們 首先 會 用 大量 的 圖片 來 進行 投 餵 這個 系統 首先 我們 先 收集 一大堆 的 圖片 然後 我們 去 投 餵 這個 人工智能 的 系統 就是 告訴 這個 人工智能 的 系統 這個 好 的 圖片 美觀 的 圖片 不 模糊 的 圖片 它長 什麼 樣子 這個 過程 我們 就 叫 它 訓練 過程 對 吧 這是 人工智能 的 第一個 步驟 那麼 訓練 好 了 之後 用戶 拿到 這個 手機 拍 了 一張 照 片兒 然後 這個 人工智能 系統 就 會 對 照片 進行 什麼 呢 進行 修飾 它會 把 這個 照片 進行 一定 的 調整 修飾 的 過程 我們 稱之為 推理 這 就是 一個 人工智能 的 處理 圖像 的 一個 過程 讓 我們 看起來 這張 照片 顏色 更加 鮮艷 飽和度 更好 看起來 細節 更加 清楚 用 業內 的話 說 人工智能 攝影 就是 用 人工智能 來 突破 光學 的 物理 限 製 用 強大 的 算力 來 創造 全新 的 視覺 想象 用 深度 學習 來 超越 人眼 可見 的 細節 那麼 以往 的 手機 為 什麼 沒有 人工智能 攝影 呢 這是 因為 以往 的 手機 它 支持 的 AI 算力 太少 難以 支持 理想 的 人工智能 攝影 效果 當然 你 可以 把 影像 傳到 雲端 利用 雲端 的 計算能力 來 進行 AI 計算 不過 這個 過程 一來 是 浪費時間 浪費 流量 二來 它 有 泄露 隱私 的 問題 所以 手機 終端 側的 AI 算力 就 變得 至關重要 那麼 下面 我們 就 來 具體 說一說 這個 AI 攝影 到底 在 哪些方面 改進 了 傳統 攝影 我們 首先 來說 一下 超 分辨率 技術 超 分辨率 技術 大家 可能 沒有 聽說 過 這個 詞 是 吧 什麼 叫超 分辨率 呢 我們 在 電影 裏面 經常 可能 看到 過 這樣 的 情景 說 這個 警察 拍到 了 一個 嫌疑犯 的 影像 不 清楚 然後 按 了 幾個 按鈕 結果 這個 影像 就 變得 特別 清楚 這 就是 超分 技術 它 可以 從 一個 低分辨率 的 照片 變成 一個 高分辨率 的 照片 有人 說 這 怎麼 能 做到 呢 低分辨率 變 高分辨率 那 這些 細節 你 怎麼 補充 上 呢 其實 答案 就是 一個 字 猜 比如說 大家 看 這張 照片 這張 照片 你 很 顯然 就 知道 它 是 個 足球 的 照片 對 吧 所以 你 腦子 中有 足球 的 影像 你 就 可以 按照 腦子 中 的 這個 形象 把 這個 足球 的 細節 補充 上去 於是 就 把 這個 模糊 的 不 清楚 的 照片 變成 了 一個 清晰 的 信息量 更大 的 照 片兒 這 就是 一個 超分 的 過程 那麼 近年來 隨著 人工智能 和 深度 學習 的 突破 在 2014 年 的 時候 香港大學 的 董超 提出 了 一種 基於 卷積 神經網絡 的 超分 過程 我們 稱之為 SRCNN 那 現在 這個 很多 手機 上 使用 的 這個 超分 技術 大多 都 是 SRCNN 的 一個 變種 我們 就 來 重點 介紹 一下 這個 技術 的 原理 是 什麼 樣子 首先 我們 要 對 這個 人工智能 系統 進行 訓練 我要 告訴 它 給你 一張 低分辨率 圖片 那麼 相應 的 高分辨率 是 什麼樣 的 我得 先給 你 一大堆 高低 分辨 的 對照 圖 讓 你 去 訓練 讓 你 系統 了解 這個 事兒 對 吧 所以 首先 我 有 一張 比如說 一張 圖片 這個 圖片 我們 管它 叫 x 這個 X 是 一張 高分辨率 圖片 比如說 這個 X 是 512x512 的 這麼 一張 圖 512x512 的 那 然後 你 首先 通過 一些 方法 把 它 變成 一個 低分辨率 的 圖片 x' 是 吧 它 比如說 是 128x128 的 那 你 怎麼 變成 低分 變率 圖片 呢 很 簡單 你 就 丟掉 一些 信息 就行了 是不是 它 就 變成 了 一個 低分辨率 的 好 了 我們 有 了 一個 高分辨率 一個 低分辨率 然後 怎麼 進行 訓練 呢 是 這樣 的 一個 過程 首先 這個 董超 說 你 先 把 這個 x' 進行 上 采樣 就是 你 再 把 它 變回 到 一張 512x512 的 這麼 一張 這個 分辨率 比較 高 的 圖片 這個 圖片 叫做 Y 但 大家 註 意