手机 拍照 为啥 这么 好看 ？都 是 AI算 出来 的！ (2) Why do cell phone photos look so good? It’s all calculated by AI! (2)

這個 過程 其實 沒有 太 大 意義 因為 你 只是 把 這個 尺寸 變大 它 就 變 模糊 了 對 吧 你 得 把 細節 補充 上去 讓 這個 Y 跟 x 一樣 才行 怎麼 做 呢 董超 說 你 可以 這樣 你 首先 對 它 進行 卷積 操作 大家 還 記得 什麼 叫 卷積 嗎 我們 在 以前 講 人工智能 的 時候 談到 過 這個 事兒 就 這個 圖 在 計算機 看來 它 實際上 是 一個 矩陣 對 吧 它 是 512x512 的 一個 矩陣 這個 矩陣 上 每 一個 像素點 就是 一個 數字 對 吧 對 這個 數字 進行 一大堆 的 加法 和 乘法 運算 我們 稱之為 卷積 卷積 有個 卷積 核 叫 W₁ 對 它 進行 卷積 操作 然後 再 加上 一個 偏置 叫做 B₁ 進行 了 這些 操作 之後 還要 進行 激活 然後 就 得到 了 一個 新 的 這樣 的 一個 信息 這個 信息 我們 稱之為 F₁(Y) 這個 F₁(Y) 它 就 能夠 提取 出 這張 圖片 的 一些 特征 比如說 什麼 這個 橫著 的 線條 豎著 的 線條 等等 如果 你 把 這個 公式 寫 出來 大概 長 這個 樣子 就是說 F₁(Y) 它 等於 max 這是 激活 造成 的 0 然後 這個 W₁ 卷積 Y 然後 再 加上 一個 B₁ 就 這個 公式 比較 復 雜 大家 不 理解 也 沒 有關 系 反正 意思 就是 你 通過 這樣 的 一個 操作 提取 出 了 這個 圖像 的 一些 特征 對 吧 好 這是 第一步 圖像 特征提取 然後 第二步 就是 我 再 利用 一個 卷積 核 和 一個 偏置 我 再 做 一次 這個 操作 就 變成 了 F₂(Y) 這個 操作 跟 第一個 操作 一樣 相當於 是 深度 學習 的 第二層 網絡 通過 這種 方法 我 可以 進一步 提取 出 我 要 的 特征 比如說 一些 輪廓 等等 如果 具體 寫 出來 這個 F₂(Y) 它 等於 取 最大值 0 然後 W₂ 卷積 F₁(Y) 然後 再 加上 B₂ 這個 看不懂 也 沒 關系 反正 就是 繼續 提取 特征 第三步 就是 把 它 再 變回 一張 圖 把 它 再 變回 一張 圖 叫做 F(Y) 那 在 這 過程 中 我們 又 需要 第三個 卷積 核 和 第三個 偏置 同樣 道理 F(Y) 它 又 等於 max 0 然後 W₃ 卷積 F₂(Y) 然後 再 加上 一個 B₃ 是 吧 反正 通過 這 三個 步驟 的 操作 我 就 把 原來 的 這個 比較 低分辨率 的 圖 變成 了 一個 比較 高分辨率 的 512 的 圖 但是 大家 註 意 經過 這麼 一大堆 操作 這 一張 圖 它 不 一定 跟 原來 一樣 除非 W₁ B₁ W₂ B₂ W₃ B₃ 這些 個 參數 取得 合適 它 才 會 一樣 對 不 對 於是 下 一個 步驟 幹什麼 下 一步 我 就 把 這 兩個 圖 進行 比較 你 把 原來 的 這張 圖 和 你 後來 猜出來 的 這個 圖 進行 比較 如果 它們 兩個 是 一模一樣 的 就 說明 這些 個 參數 調 得 非常 合適 如果 這 兩個 不 一樣 就 得 調整 W₁ B₁ W₂ B₂ 和 W₃ B₃ 讓 這 兩張 圖 比較 接近 是 吧 至於 說 具體 怎麼 比較 還 記得 嗎 我們 在 上次 講 人工智能 的 時候 說過 這事 其實 你 就是 算 一個 函數 這個 函數 叫 損失 函數 損失 函數 等於 (1/n)Σ[xᵢ-F(Yᵢ)]² 是 吧 這 什麼 亂七八糟 的 其實 很 簡單 就 意思 是 你 用 這個 原圖 x 它 的 每 一個 像素點 和 我 算 出來 的 這個 圖 的 每 一個 像素點 做差 把 這個 差值 平方 了 取加 和 ||Difference|||| 加 和 完 了 之後 再 除以 這個 圖片 的 個數 因為 你 不是 有 很多 張 訓練 圖片 嗎 然後 讓 這個 損失 函數 怎麼 著 最小 它 如果 不是 最小 呢 你 就 通過 這個 BP 算法 去 調整 這些 參數 讓 它 最小 這就 訓練 完成 了 對 不 對 好 訓練 完成 了 之後 你 再給 我 一張 低分辨率 的 圖 我 沒有 上面 這個 沒 有關 系 你給 我 一張 低分辨率 的 圖 相當於 從 這 開始 我 就 可以 直接 算 出來 一個 高分辨率 的 圖 然後 我 就 認為 這張 高分辨率 的 圖 應該 最 接近 事實 對 不 對 這 就是 所謂 的 推理 過程 你給 我 一張 低分辨率 的 我 就 可以 變成 一個 高分辨率 的 超 分辨率 問題 現在 的 手機 能夠 進行 大 範圍 的 變焦 其實 很大 程度 上 是 歸功於 超分 的 因為 你 把 鏡頭 拉得 非 常遠 了 之後 它 這個 有效 的 光 信息 會 比較 少 抖動 也好 噪聲 也好 都 會 占 得 比例 比較 大 所以 你 正是 因為 有 這個 超 分辨率 你 可以 修正 這個 噪聲 和 抖動 你 才 讓 圖片 看起來 非常 清楚 比如 大家 看 這 幾張 圖 這 就是 一個 算法 的 廠商 叫做 慧鯉 它 實現 的 這個 圖片 的 超分 效果 沒有 超分 的 和 超分 的 咱們 比較 一下 效果 還是 非常 的 明顯 對 吧 再 比如 我們 有時候 遠距離 掃描 二維碼 如果 要是 沒有 超分 功能 你 很 有 可能 會 掃描 失敗 有 同學 在 大學 上課 的 時候 坐在 後排 你 想 拍 老師 前面 板書 如果 沒有 超分 的話 可能 板書 也 拍 得 不 清楚 而且 現在 隨著 移動 平臺 AI 算力 的 不斷 提升 許多 的 算法 廠商 也 在 不停 地 改進 自己 的 超分 算法 可以 支持 規模 更大 處理 能力 更強 的 算法 實時處理 能力 也 變得 更好 典型 處理 時間 是 300 到 400 毫秒 用戶 基本 沒有 感覺 我們 甚至 都 不 知道 點開 相機 的 時候 背後 已經 啟用 了 AI 的 超分 算法 而且 許多 廠商 已經 開始 使用 了 AI 視頻 技術 視頻 超分 也 是 其中 一部分 的 基礎 功能 或者 是 AR VR 等 交互 領域 同時 還得 包含 視頻 和 聲音 的 多 路程 處理 這就 對 AI 芯片 的 處理 能力 提出 了 更 高 的 要求 說完 了 超分 咱們 再 來說 說 另外 一個 功能 超級 夜景 在 傳統 拍攝 夜景 的 時候 其實 面臨 了 很多 的 問題 比如說 因為 在 晚上 的 時候 有效 的 光線 不足 所以 這個 噪聲 就 會 非常 的 明顯 因此 我們 經常 會 看到 有 很多 的 斑點 如果 你 要是 想 讓 進光量 足 一點 就 得 長 曝光 而長 曝光 的 時候 抖動 造成 的 模糊 就 會 很 明顯 如果 曝光 時間 不夠 的話 整個 畫面 就 會 非常 昏暗 而且 如果 這個 場景 中有 燈 的話 你 就 會 發現 長 曝光 的 時候 這個 燈 就 會過 曝 短 曝光 的 時候 那個 暗 的 地方 根本 就 看不清楚 你 很 難 把 所有 的 地方 都 看清 那麼 這個 問題 在 以前 是 怎麼 解決 的 呢 我們 說 一下 傳統 的 解決方案 就是 這個 專業 的 攝影師 首先 會 用 一個 三腳架 去 固定 這個 相機 對 吧 你 不 固定 手拿著 它 就 會 晃 固定 了 之後 進行 長時間 的 曝光 比如說 十幾秒 的 這種 曝光 長 曝光 同時 還要 同時 拍攝 一組 短 曝光 的 照片 因為 長 曝光 的 時候 那個 特別 亮 的 地方 它 就過 曝 是 吧 特別 暗 的 地方 能夠 看清 然後 短 曝光 是 亮 的 地方 比較 合適 最後 你 還得 進行 後期 處理 就是 把 這些 個 圖片 一張 一張 的 全都 導到 photoshop 裏邊 去 把 那些 特別 亮的過 曝 的 地方 去掉 把 那些 特別 暗 的 地方 也 去掉 然後 把 這 多張 照片 合 到 一起 變成 一張 照片 整個 這 過程 非常 復 雜 是 吧 所以 如果 你 要 想 搞 出 一張 高質量 的 照片 的話 可能 需要 折騰 好幾個 小時 可是 現在 一切 都 不 一樣 了 在 手機 端 AI 的 加持 下 手機 攝像頭 可以 在 第六代 高通 AI 引擎 的 控 製 下 自動 的 進行 多次 長短 曝光 並且 進行 如下 的 操作 第一個 就是 在 用 人工智能 的 方法 來 進行 什麼 呢 人工智能 的 方法 來 降噪 首先 我們 把 這個 圖像 上 的 噪聲 可以 進行 去掉 第二 就是 它 可以 自動 的 拍攝 很多 張 的 長 曝光 短 曝光 相結合 的 一些 照片 然後 它還 可以 自動 的 拍攝 很多 組 的 長 曝光 短 曝光 的 照片 是 吧 那 這個 長 曝光 也 遠遠 沒有 剛才 傳統 攝影師 十幾秒 那麼 長 一般 就 2 到 3 秒 把 這些 照片 合 到 一塊 是 吧 去掉 那些 過曝的 部分 特別 暗 的 部分 把 它 合到 一起 這就稱 之 為 什麼 稱之為 高 動態 高 動態 在 一張 照片 裏邊 既 能 看到 特別 亮 的 部分 也 能夠 看到 比較 暗 的 部分 叫 HDR 是 吧 高 動態 整個 過程 兩 三秒鐘 就 完事 相比 於 傳統 攝影 可能 需要 幾個 小時 這個 時間 就 大大的 縮短 了 但是 你 怎麼 知道 哪些地方 是 噪點 哪些地方 是 圖像 哪些地方 應該 保留 哪些地方 應該 去掉 呢 這 就是 要 依靠 人工智能 的 算法 了 下面 我們 再來 聊一聊 背景 虛化 剛才 我們 還 演示 了 這個 背景 虛化 的 功能 我們 知道 這個 傳統 的 單反相機 可以 依靠 大 光圈 來 完成 一個 人像 的 背景 虛化 這樣一來 看起來 可以 凸顯 人像 效果 非常 好 那麼 這個 手機 是 如何 實現 背景 虛化 的 呢 這 實際上 是 要 區分 前景 和 背景 就是 我們 區分 人站 在 前面 以及 他 的 背景 然後 對 前景 和 背景 進行 不同 的 處理 這樣 就 可以 進行 虛化 了 傳統 的 這個 手機 處理 方法 是 利用 雙目 攝像頭 手機 上 有 好幾個 攝像頭 這個 至少 有 兩個 攝像頭 就 可以 進行 背景 虛化 了 就 好像 人 的 兩 只 眼睛 人 的 兩 只 眼睛 看 同一個 物體 的 時候 這個 角度 不太 一樣 所以 咱們 就 能 感受 到 誰 在 前 誰 在 後 了 對 不 對 這 就是 所謂 的 雙目 攝像頭 來 判斷 這個 深度 信息 但是 這種 方法 有 兩個 問題 第一個 問題 就是 如果 這個 距離 特別 遠 的話 遠距離 的 時候 這種 方法 是 行不通 的 咱們 可以 想象 一下 如果 兩個 人離 我們 都 很遠 的話 你 能 判斷 這 兩個 人 誰 在 前 誰 在 後 嗎 很 困難 的 對 不 對 第二個 就是 功率 的 問題 開 一個 攝像頭 電流 就 得 幾百 毫安 ||||milliampere (mA) 你 開 兩個 攝像頭 功率 就 更 大 如果 長時間 開 兩個 攝像頭 或者說 你 拍攝 視頻 想 對 視頻 的 背景 進行 虛化 的話 那 這個 功耗 就 非常 高 可能 會 造成 手機 的 這個 溫度 超標 手機 溫度 一旦 超標 了 它 就 會 自動 降頻 保護 這個 手機 所以 感覺 就 會 很 卡 所以 這個 功率 的 問題 也 是 雙目 攝像頭 這種 方法 的 一個 限 製 那麼 為 了 解決 這個 問題 這個 極感 科技 等 公司 就 設計 了 一種 方法 就是 利用 單目 攝像頭 再 加上 人工智能 的 方法 去 解決 深度 計算 的 問題 來 區分 前景 和 背景 那麼 具體來講 它 的 步驟 是 什麼 呢 它 是 這樣 首先 它 先 搭建 用 軟件 搭建 一個 3D 的 場景 搭建 一個 虛擬 的 3D 場景 這個 虛擬 的 3D 場景 是 不 存在 的 是 在 計算機 裏邊 的 搭建 一個 虛擬 的 3D 的 場景 搭建 好 了 之後 我們 再用 計算機 對 這個 虛擬 的 3D 場景 拍攝 多角度 的 2D 照片 你 在 計算機 裏邊 完成 這個 過程 拍攝 2D 的 這個 照片 現在 你 就 有 了 一大堆 的 素材 了 |||||||material| 3D 的 場景 是 什麼樣 的 深度 信息 你 知道 2D 的 照片 又 是 什麼樣 的 你 把 這些 玩意 把 它 統統 送到 什麼 呢 送到 卷積 神經網絡 裏面 去 對 這個 卷積 神經網絡 進行 計算 你 訓練 好 了 之後 你 這個 系統 就 具有 了 一種 能力 看 一張 2D 的 照片 你 就 能 區分 這裏 邊誰在 前 誰 在 後 了 |||||who is where||||| 而且 通過 這種 方法 你還 可以 實現 人像 和 背景 的 一個 精確 分割 可以 把 這個 人 的 圖 整個 的 摳出來 同時 還能 對 前景 和 背景 做 不同 的 處理 比如說 魔法 幻天 或者 背景 虛化 |Magic|Illusory Sky|||