×
Używamy ciasteczek, aby ulepszyć LingQ. Odwiedzając stronę wyrażasz zgodę na nasze
polityka Cookie.
李永樂老師, 手机拍照为啥这么好看?都是AI算出来的! (2)
手机 拍照 为啥 这么 好看 ?都 是 AI算 出来 的! (2)
這個 過程 其實 沒有 太 大 意義
因為 你 只是 把 這個 尺寸 變大
它 就 變 模糊 了 對 吧
你 得 把 細節 補充 上去
讓 這個 Y 跟 x 一樣 才行
怎麼 做 呢
董超 說 你 可以 這樣
你 首先 對 它 進行 卷積 操作
大家 還 記得 什麼 叫 卷積 嗎
我們 在 以前 講 人工智能 的 時候 談到 過 這個 事兒
就 這個 圖
在 計算機 看來 它 實際上 是 一個 矩陣 對 吧
它 是 512x512 的 一個 矩陣
這個 矩陣 上 每 一個 像素點 就是 一個 數字 對 吧
對 這個 數字 進行 一大堆 的 加法 和 乘法 運算
我們 稱之為 卷積
卷積 有個 卷積 核 叫 W₁
對 它 進行 卷積 操作
然後 再 加上 一個 偏置
叫做 B₁
進行 了 這些 操作 之後 還要 進行 激活
然後 就 得到 了 一個 新 的 這樣 的 一個 信息
這個 信息 我們 稱之為 F₁(Y)
這個 F₁(Y)
它 就 能夠 提取 出 這張 圖片 的 一些 特征
比如說 什麼 這個 橫著 的 線條 豎著 的 線條 等等
如果 你 把 這個 公式 寫 出來
大概 長 這個 樣子
就是說 F₁(Y)
它 等於 max
這是 激活 造成 的
0 然後 這個 W₁ 卷積 Y
然後 再 加上 一個 B₁
就 這個 公式 比較 復 雜
大家 不 理解 也 沒 有關 系
反正 意思 就是 你 通過 這樣 的 一個 操作
提取 出 了 這個 圖像 的 一些 特征 對 吧
好 這是 第一步
圖像 特征提取
然後 第二步
就是 我 再 利用 一個 卷積 核 和 一個 偏置
我 再 做 一次 這個 操作
就 變成 了 F₂(Y)
這個 操作 跟 第一個 操作 一樣
相當於 是 深度 學習 的 第二層 網絡
通過 這種 方法 我 可以 進一步 提取 出 我 要 的 特征
比如說 一些 輪廓 等等
如果 具體 寫 出來 這個 F₂(Y)
它 等於 取 最大值
0 然後 W₂ 卷積 F₁(Y)
然後 再 加上 B₂
這個 看不懂 也 沒 關系
反正 就是 繼續 提取 特征
第三步 就是 把 它 再 變回 一張 圖
把 它 再 變回 一張 圖
叫做 F(Y)
那 在 這 過程 中 我們 又 需要 第三個 卷積 核
和 第三個 偏置
同樣 道理
F(Y) 它 又 等於 max
0 然後 W₃ 卷積 F₂(Y)
然後 再 加上 一個 B₃ 是 吧
反正 通過 這 三個 步驟 的 操作
我 就 把 原來 的 這個 比較 低分辨率 的 圖
變成 了 一個 比較 高分辨率 的 512 的 圖
但是 大家 註 意 經過 這麼 一大堆 操作
這 一張 圖 它 不 一定 跟 原來 一樣
除非 W₁ B₁ W₂ B₂ W₃ B₃
這些 個 參數 取得 合適 它 才 會 一樣 對 不 對
於是 下 一個 步驟 幹什麼
下 一步 我 就 把 這 兩個 圖 進行 比較
你 把 原來 的 這張 圖
和 你 後來 猜出來 的 這個 圖 進行 比較
如果 它們 兩個 是 一模一樣 的
就 說明 這些 個 參數 調 得 非常 合適
如果 這 兩個 不 一樣
就 得 調整 W₁ B₁ W₂ B₂ 和 W₃ B₃
讓 這 兩張 圖 比較 接近 是 吧
至於 說 具體 怎麼 比較
還 記得 嗎
我們 在 上次 講 人工智能 的 時候 說過 這事
其實 你 就是 算 一個 函數
這個 函數 叫 損失 函數
損失 函數 等於 (1/n)Σ[xᵢ-F(Yᵢ)]² 是 吧
這 什麼 亂七八糟 的
其實 很 簡單
就 意思 是 你 用 這個 原圖 x 它 的 每 一個 像素點
和 我 算 出來 的 這個 圖 的 每 一個 像素點 做差
把 這個 差值 平方 了 取加 和
加 和 完 了 之後 再 除以 這個 圖片 的 個數
因為 你 不是 有 很多 張 訓練 圖片 嗎
然後 讓 這個 損失 函數 怎麼 著
最小
它 如果 不是 最小 呢
你 就 通過 這個 BP 算法
去 調整 這些 參數 讓 它 最小
這就 訓練 完成 了 對 不 對
好 訓練 完成 了 之後
你 再給 我 一張 低分辨率 的 圖
我 沒有 上面 這個 沒 有關 系
你給 我 一張 低分辨率 的 圖
相當於 從 這 開始
我 就 可以 直接 算 出來 一個 高分辨率 的 圖
然後 我 就 認為
這張 高分辨率 的 圖 應該 最 接近 事實 對 不 對
這 就是 所謂 的 推理 過程
你給 我 一張 低分辨率 的
我 就 可以 變成 一個 高分辨率 的
超 分辨率 問題
現在 的 手機 能夠 進行 大 範圍 的 變焦
其實 很大 程度 上 是 歸功於 超分 的
因為 你 把 鏡頭 拉得 非 常遠 了 之後
它 這個 有效 的 光 信息 會 比較 少
抖動 也好 噪聲 也好
都 會 占 得 比例 比較 大
所以 你 正是 因為 有 這個 超 分辨率
你 可以 修正 這個 噪聲 和 抖動
你 才 讓 圖片 看起來 非常 清楚
比如 大家 看 這 幾張 圖
這 就是 一個 算法 的 廠商 叫做 慧鯉
它 實現 的 這個 圖片 的 超分 效果
沒有 超分 的 和 超分 的 咱們 比較 一下
效果 還是 非常 的 明顯 對 吧
再 比如 我們 有時候 遠距離 掃描 二維碼
如果 要是 沒有 超分 功能
你 很 有 可能 會 掃描 失敗
有 同學 在 大學 上課 的 時候 坐在 後排
你 想 拍 老師 前面 板書
如果 沒有 超分 的話 可能 板書 也 拍 得 不 清楚
而且 現在 隨著 移動 平臺 AI 算力 的 不斷 提升
許多 的 算法 廠商
也 在 不停 地 改進 自己 的 超分 算法
可以 支持 規模 更大 處理 能力 更強 的 算法
實時處理 能力 也 變得 更好
典型 處理 時間 是 300 到 400 毫秒
用戶 基本 沒有 感覺
我們 甚至 都 不 知道 點開 相機 的 時候
背後 已經 啟用 了 AI 的 超分 算法
而且 許多 廠商 已經 開始 使用 了 AI 視頻 技術
視頻 超分 也 是 其中 一部分 的 基礎 功能
或者 是 AR VR 等 交互 領域
同時 還得 包含 視頻 和 聲音 的 多 路程 處理
這就 對 AI 芯片 的 處理 能力 提出 了 更 高 的 要求
說完 了 超分 咱們 再 來說 說 另外 一個 功能
超級 夜景
在 傳統 拍攝 夜景 的 時候 其實 面臨 了 很多 的 問題
比如說 因為 在 晚上 的 時候 有效 的 光線 不足
所以 這個 噪聲 就 會 非常 的 明顯
因此 我們 經常 會 看到 有 很多 的 斑點
如果 你 要是 想 讓 進光量 足 一點 就 得 長 曝光
而長 曝光 的 時候 抖動 造成 的 模糊 就 會 很 明顯
如果 曝光 時間 不夠 的話
整個 畫面 就 會 非常 昏暗
而且 如果 這個 場景 中有 燈 的話
你 就 會 發現 長 曝光 的 時候 這個 燈 就 會過 曝
短 曝光 的 時候 那個 暗 的 地方 根本 就 看不清楚
你 很 難 把 所有 的 地方 都 看清
那麼 這個 問題 在 以前 是 怎麼 解決 的 呢
我們 說 一下
傳統 的 解決方案
就是 這個 專業 的 攝影師
首先 會 用 一個 三腳架 去 固定 這個 相機 對 吧
你 不 固定 手拿著 它 就 會 晃
固定 了 之後 進行 長時間 的 曝光
比如說 十幾秒 的 這種 曝光 長 曝光
同時 還要 同時 拍攝 一組 短 曝光 的 照片
因為 長 曝光 的 時候
那個 特別 亮 的 地方 它 就過 曝 是 吧
特別 暗 的 地方 能夠 看清
然後 短 曝光 是 亮 的 地方 比較 合適
最後 你 還得 進行 後期 處理
就是 把 這些 個 圖片
一張 一張 的 全都 導到 photoshop 裏邊 去
把 那些 特別 亮的過 曝 的 地方 去掉
把 那些 特別 暗 的 地方 也 去掉
然後 把 這 多張 照片 合 到 一起 變成 一張 照片
整個 這 過程 非常 復 雜 是 吧
所以 如果 你 要 想 搞 出 一張 高質量 的 照片 的話
可能 需要 折騰 好幾個 小時
可是 現在 一切 都 不 一樣 了
在 手機 端 AI 的 加持 下
手機 攝像頭 可以 在 第六代 高通 AI 引擎 的 控 製 下
自動 的 進行 多次 長短 曝光
並且 進行 如下 的 操作
第一個
就是 在 用 人工智能 的 方法 來 進行 什麼 呢
人工智能 的 方法 來 降噪
首先 我們 把 這個 圖像 上 的 噪聲 可以 進行 去掉
第二 就是 它 可以 自動 的 拍攝
很多 張 的 長 曝光 短 曝光 相結合 的 一些 照片
然後 它還 可以 自動 的 拍攝
很多 組 的 長 曝光 短 曝光 的 照片 是 吧
那 這個 長 曝光
也 遠遠 沒有 剛才 傳統 攝影師 十幾秒 那麼 長
一般 就 2 到 3 秒
把 這些 照片 合 到 一塊 是 吧
去掉 那些 過曝的 部分 特別 暗 的 部分
把 它 合到 一起
這就稱 之 為 什麼
稱之為 高 動態 高 動態
在 一張 照片 裏邊 既 能 看到 特別 亮 的 部分
也 能夠 看到 比較 暗 的 部分
叫 HDR 是 吧 高 動態
整個 過程 兩 三秒鐘 就 完事
相比 於 傳統 攝影 可能 需要 幾個 小時
這個 時間 就 大大的 縮短 了
但是 你 怎麼 知道 哪些地方 是 噪點
哪些地方 是 圖像
哪些地方 應該 保留
哪些地方 應該 去掉 呢
這 就是 要 依靠 人工智能 的 算法 了
下面 我們 再來 聊一聊 背景 虛化
剛才 我們 還 演示 了 這個 背景 虛化 的 功能
我們 知道 這個 傳統 的 單反相機
可以 依靠 大 光圈 來 完成 一個 人像 的 背景 虛化
這樣一來 看起來 可以 凸顯 人像 效果 非常 好
那麼 這個 手機 是 如何 實現 背景 虛化 的 呢
這 實際上 是 要 區分 前景 和 背景
就是 我們 區分 人站 在 前面 以及 他 的 背景
然後 對 前景 和 背景 進行 不同 的 處理
這樣 就 可以 進行 虛化 了
傳統 的 這個 手機 處理 方法 是 利用 雙目 攝像頭
手機 上 有 好幾個 攝像頭
這個 至少 有 兩個 攝像頭 就 可以 進行 背景 虛化 了
就 好像 人 的 兩 只 眼睛
人 的 兩 只 眼睛 看 同一個 物體 的 時候
這個 角度 不太 一樣
所以 咱們 就 能 感受 到 誰 在 前 誰 在 後 了 對 不 對
這 就是 所謂 的 雙目 攝像頭 來 判斷 這個 深度 信息
但是 這種 方法 有 兩個 問題
第一個 問題 就是 如果 這個 距離 特別 遠 的話
遠距離 的 時候 這種 方法 是 行不通 的
咱們 可以 想象 一下
如果 兩個 人離 我們 都 很遠 的話
你 能 判斷 這 兩個 人 誰 在 前 誰 在 後 嗎
很 困難 的 對 不 對
第二個 就是 功率 的 問題
開 一個 攝像頭
電流 就 得 幾百 毫安
你 開 兩個 攝像頭 功率 就 更 大
如果 長時間 開 兩個 攝像頭
或者說 你 拍攝 視頻
想 對 視頻 的 背景 進行 虛化 的話
那 這個 功耗 就 非常 高
可能 會 造成 手機 的 這個 溫度 超標
手機 溫度 一旦 超標 了
它 就 會 自動 降頻 保護 這個 手機
所以 感覺 就 會 很 卡
所以 這個 功率 的 問題
也 是 雙目 攝像頭 這種 方法 的 一個 限 製
那麼 為 了 解決 這個 問題
這個 極感 科技 等 公司 就 設計 了 一種 方法
就是 利用 單目 攝像頭 再 加上 人工智能 的 方法
去 解決 深度 計算 的 問題 來 區分 前景 和 背景
那麼 具體來講 它 的 步驟 是 什麼 呢
它 是 這樣 首先 它 先 搭建
用 軟件 搭建 一個 3D 的 場景
搭建 一個 虛擬 的 3D 場景
這個 虛擬 的 3D 場景 是 不 存在 的
是 在 計算機 裏邊 的
搭建 一個 虛擬 的 3D 的 場景
搭建 好 了 之後
我們 再用 計算機 對 這個 虛擬 的 3D 場景
拍攝 多角度 的 2D 照片
你 在 計算機 裏邊 完成 這個 過程
拍攝 2D 的 這個 照片
現在 你 就 有 了 一大堆 的 素材 了
3D 的 場景 是 什麼樣 的 深度 信息 你 知道
2D 的 照片 又 是 什麼樣 的
你 把 這些 玩意 把 它 統統 送到 什麼 呢
送到 卷積 神經網絡 裏面 去
對 這個 卷積 神經網絡 進行 計算
你 訓練 好 了 之後
你 這個 系統 就 具有 了 一種 能力
看 一張 2D 的 照片
你 就 能 區分 這裏 邊誰在 前 誰 在 後 了
而且 通過 這種 方法
你還 可以 實現 人像 和 背景 的 一個 精確 分割
可以 把 這個 人 的 圖 整個 的 摳出來
同時 還能 對 前景 和 背景 做 不同 的 處理
比如說 魔法 幻天 或者 背景 虛化
手机 拍照 为啥 这么 好看 ?都 是 AI算 出来 的! (2)
Why do cell phone photos look so good? It’s all calculated by AI! (2)
這個 過程 其實 沒有 太 大 意義
因為 你 只是 把 這個 尺寸 變大
它 就 變 模糊 了 對 吧
你 得 把 細節 補充 上去
讓 這個 Y 跟 x 一樣 才行
怎麼 做 呢
董超 說 你 可以 這樣
你 首先 對 它 進行 卷積 操作
大家 還 記得 什麼 叫 卷積 嗎
我們 在 以前 講 人工智能 的 時候 談到 過 這個 事兒
就 這個 圖
在 計算機 看來 它 實際上 是 一個 矩陣 對 吧
它 是 512x512 的 一個 矩陣
這個 矩陣 上 每 一個 像素點 就是 一個 數字 對 吧
對 這個 數字 進行 一大堆 的 加法 和 乘法 運算
我們 稱之為 卷積
卷積 有個 卷積 核 叫 W₁
對 它 進行 卷積 操作
然後 再 加上 一個 偏置
叫做 B₁
進行 了 這些 操作 之後 還要 進行 激活
然後 就 得到 了 一個 新 的 這樣 的 一個 信息
這個 信息 我們 稱之為 F₁(Y)
這個 F₁(Y)
它 就 能夠 提取 出 這張 圖片 的 一些 特征
比如說 什麼 這個 橫著 的 線條 豎著 的 線條 等等
如果 你 把 這個 公式 寫 出來
大概 長 這個 樣子
就是說 F₁(Y)
它 等於 max
這是 激活 造成 的
0 然後 這個 W₁ 卷積 Y
然後 再 加上 一個 B₁
就 這個 公式 比較 復 雜
大家 不 理解 也 沒 有關 系
反正 意思 就是 你 通過 這樣 的 一個 操作
提取 出 了 這個 圖像 的 一些 特征 對 吧
好 這是 第一步
圖像 特征提取
然後 第二步
就是 我 再 利用 一個 卷積 核 和 一個 偏置
我 再 做 一次 這個 操作
就 變成 了 F₂(Y)
這個 操作 跟 第一個 操作 一樣
相當於 是 深度 學習 的 第二層 網絡
通過 這種 方法 我 可以 進一步 提取 出 我 要 的 特征
比如說 一些 輪廓 等等
如果 具體 寫 出來 這個 F₂(Y)
它 等於 取 最大值
0 然後 W₂ 卷積 F₁(Y)
然後 再 加上 B₂
這個 看不懂 也 沒 關系
反正 就是 繼續 提取 特征
第三步 就是 把 它 再 變回 一張 圖
把 它 再 變回 一張 圖
叫做 F(Y)
那 在 這 過程 中 我們 又 需要 第三個 卷積 核
和 第三個 偏置
同樣 道理
F(Y) 它 又 等於 max
0 然後 W₃ 卷積 F₂(Y)
然後 再 加上 一個 B₃ 是 吧
反正 通過 這 三個 步驟 的 操作
我 就 把 原來 的 這個 比較 低分辨率 的 圖
變成 了 一個 比較 高分辨率 的 512 的 圖
但是 大家 註 意 經過 這麼 一大堆 操作
這 一張 圖 它 不 一定 跟 原來 一樣
除非 W₁ B₁ W₂ B₂ W₃ B₃
這些 個 參數 取得 合適 它 才 會 一樣 對 不 對
於是 下 一個 步驟 幹什麼
下 一步 我 就 把 這 兩個 圖 進行 比較
你 把 原來 的 這張 圖
和 你 後來 猜出來 的 這個 圖 進行 比較
如果 它們 兩個 是 一模一樣 的
就 說明 這些 個 參數 調 得 非常 合適
如果 這 兩個 不 一樣
就 得 調整 W₁ B₁ W₂ B₂ 和 W₃ B₃
讓 這 兩張 圖 比較 接近 是 吧
至於 說 具體 怎麼 比較
還 記得 嗎
我們 在 上次 講 人工智能 的 時候 說過 這事
其實 你 就是 算 一個 函數
這個 函數 叫 損失 函數
損失 函數 等於 (1/n)Σ[xᵢ-F(Yᵢ)]² 是 吧
這 什麼 亂七八糟 的
其實 很 簡單
就 意思 是 你 用 這個 原圖 x 它 的 每 一個 像素點
和 我 算 出來 的 這個 圖 的 每 一個 像素點 做差
把 這個 差值 平方 了 取加 和
||Difference||||
加 和 完 了 之後 再 除以 這個 圖片 的 個數
因為 你 不是 有 很多 張 訓練 圖片 嗎
然後 讓 這個 損失 函數 怎麼 著
最小
它 如果 不是 最小 呢
你 就 通過 這個 BP 算法
去 調整 這些 參數 讓 它 最小
這就 訓練 完成 了 對 不 對
好 訓練 完成 了 之後
你 再給 我 一張 低分辨率 的 圖
我 沒有 上面 這個 沒 有關 系
你給 我 一張 低分辨率 的 圖
相當於 從 這 開始
我 就 可以 直接 算 出來 一個 高分辨率 的 圖
然後 我 就 認為
這張 高分辨率 的 圖 應該 最 接近 事實 對 不 對
這 就是 所謂 的 推理 過程
你給 我 一張 低分辨率 的
我 就 可以 變成 一個 高分辨率 的
超 分辨率 問題
現在 的 手機 能夠 進行 大 範圍 的 變焦
其實 很大 程度 上 是 歸功於 超分 的
因為 你 把 鏡頭 拉得 非 常遠 了 之後
它 這個 有效 的 光 信息 會 比較 少
抖動 也好 噪聲 也好
都 會 占 得 比例 比較 大
所以 你 正是 因為 有 這個 超 分辨率
你 可以 修正 這個 噪聲 和 抖動
你 才 讓 圖片 看起來 非常 清楚
比如 大家 看 這 幾張 圖
這 就是 一個 算法 的 廠商 叫做 慧鯉
它 實現 的 這個 圖片 的 超分 效果
沒有 超分 的 和 超分 的 咱們 比較 一下
效果 還是 非常 的 明顯 對 吧
再 比如 我們 有時候 遠距離 掃描 二維碼
如果 要是 沒有 超分 功能
你 很 有 可能 會 掃描 失敗
有 同學 在 大學 上課 的 時候 坐在 後排
你 想 拍 老師 前面 板書
如果 沒有 超分 的話 可能 板書 也 拍 得 不 清楚
而且 現在 隨著 移動 平臺 AI 算力 的 不斷 提升
許多 的 算法 廠商
也 在 不停 地 改進 自己 的 超分 算法
可以 支持 規模 更大 處理 能力 更強 的 算法
實時處理 能力 也 變得 更好
典型 處理 時間 是 300 到 400 毫秒
用戶 基本 沒有 感覺
我們 甚至 都 不 知道 點開 相機 的 時候
背後 已經 啟用 了 AI 的 超分 算法
而且 許多 廠商 已經 開始 使用 了 AI 視頻 技術
視頻 超分 也 是 其中 一部分 的 基礎 功能
或者 是 AR VR 等 交互 領域
同時 還得 包含 視頻 和 聲音 的 多 路程 處理
這就 對 AI 芯片 的 處理 能力 提出 了 更 高 的 要求
說完 了 超分 咱們 再 來說 說 另外 一個 功能
超級 夜景
在 傳統 拍攝 夜景 的 時候 其實 面臨 了 很多 的 問題
比如說 因為 在 晚上 的 時候 有效 的 光線 不足
所以 這個 噪聲 就 會 非常 的 明顯
因此 我們 經常 會 看到 有 很多 的 斑點
如果 你 要是 想 讓 進光量 足 一點 就 得 長 曝光
而長 曝光 的 時候 抖動 造成 的 模糊 就 會 很 明顯
如果 曝光 時間 不夠 的話
整個 畫面 就 會 非常 昏暗
而且 如果 這個 場景 中有 燈 的話
你 就 會 發現 長 曝光 的 時候 這個 燈 就 會過 曝
短 曝光 的 時候 那個 暗 的 地方 根本 就 看不清楚
你 很 難 把 所有 的 地方 都 看清
那麼 這個 問題 在 以前 是 怎麼 解決 的 呢
我們 說 一下
傳統 的 解決方案
就是 這個 專業 的 攝影師
首先 會 用 一個 三腳架 去 固定 這個 相機 對 吧
你 不 固定 手拿著 它 就 會 晃
固定 了 之後 進行 長時間 的 曝光
比如說 十幾秒 的 這種 曝光 長 曝光
同時 還要 同時 拍攝 一組 短 曝光 的 照片
因為 長 曝光 的 時候
那個 特別 亮 的 地方 它 就過 曝 是 吧
特別 暗 的 地方 能夠 看清
然後 短 曝光 是 亮 的 地方 比較 合適
最後 你 還得 進行 後期 處理
就是 把 這些 個 圖片
一張 一張 的 全都 導到 photoshop 裏邊 去
把 那些 特別 亮的過 曝 的 地方 去掉
把 那些 特別 暗 的 地方 也 去掉
然後 把 這 多張 照片 合 到 一起 變成 一張 照片
整個 這 過程 非常 復 雜 是 吧
所以 如果 你 要 想 搞 出 一張 高質量 的 照片 的話
可能 需要 折騰 好幾個 小時
可是 現在 一切 都 不 一樣 了
在 手機 端 AI 的 加持 下
手機 攝像頭 可以 在 第六代 高通 AI 引擎 的 控 製 下
自動 的 進行 多次 長短 曝光
並且 進行 如下 的 操作
第一個
就是 在 用 人工智能 的 方法 來 進行 什麼 呢
人工智能 的 方法 來 降噪
首先 我們 把 這個 圖像 上 的 噪聲 可以 進行 去掉
第二 就是 它 可以 自動 的 拍攝
很多 張 的 長 曝光 短 曝光 相結合 的 一些 照片
然後 它還 可以 自動 的 拍攝
很多 組 的 長 曝光 短 曝光 的 照片 是 吧
那 這個 長 曝光
也 遠遠 沒有 剛才 傳統 攝影師 十幾秒 那麼 長
一般 就 2 到 3 秒
把 這些 照片 合 到 一塊 是 吧
去掉 那些 過曝的 部分 特別 暗 的 部分
把 它 合到 一起
這就稱 之 為 什麼
稱之為 高 動態 高 動態
在 一張 照片 裏邊 既 能 看到 特別 亮 的 部分
也 能夠 看到 比較 暗 的 部分
叫 HDR 是 吧 高 動態
整個 過程 兩 三秒鐘 就 完事
相比 於 傳統 攝影 可能 需要 幾個 小時
這個 時間 就 大大的 縮短 了
但是 你 怎麼 知道 哪些地方 是 噪點
哪些地方 是 圖像
哪些地方 應該 保留
哪些地方 應該 去掉 呢
這 就是 要 依靠 人工智能 的 算法 了
下面 我們 再來 聊一聊 背景 虛化
剛才 我們 還 演示 了 這個 背景 虛化 的 功能
我們 知道 這個 傳統 的 單反相機
可以 依靠 大 光圈 來 完成 一個 人像 的 背景 虛化
這樣一來 看起來 可以 凸顯 人像 效果 非常 好
那麼 這個 手機 是 如何 實現 背景 虛化 的 呢
這 實際上 是 要 區分 前景 和 背景
就是 我們 區分 人站 在 前面 以及 他 的 背景
然後 對 前景 和 背景 進行 不同 的 處理
這樣 就 可以 進行 虛化 了
傳統 的 這個 手機 處理 方法 是 利用 雙目 攝像頭
手機 上 有 好幾個 攝像頭
這個 至少 有 兩個 攝像頭 就 可以 進行 背景 虛化 了
就 好像 人 的 兩 只 眼睛
人 的 兩 只 眼睛 看 同一個 物體 的 時候
這個 角度 不太 一樣
所以 咱們 就 能 感受 到 誰 在 前 誰 在 後 了 對 不 對
這 就是 所謂 的 雙目 攝像頭 來 判斷 這個 深度 信息
但是 這種 方法 有 兩個 問題
第一個 問題 就是 如果 這個 距離 特別 遠 的話
遠距離 的 時候 這種 方法 是 行不通 的
咱們 可以 想象 一下
如果 兩個 人離 我們 都 很遠 的話
你 能 判斷 這 兩個 人 誰 在 前 誰 在 後 嗎
很 困難 的 對 不 對
第二個 就是 功率 的 問題
開 一個 攝像頭
電流 就 得 幾百 毫安
||||milliampere (mA)
你 開 兩個 攝像頭 功率 就 更 大
如果 長時間 開 兩個 攝像頭
或者說 你 拍攝 視頻
想 對 視頻 的 背景 進行 虛化 的話
那 這個 功耗 就 非常 高
可能 會 造成 手機 的 這個 溫度 超標
手機 溫度 一旦 超標 了
它 就 會 自動 降頻 保護 這個 手機
所以 感覺 就 會 很 卡
所以 這個 功率 的 問題
也 是 雙目 攝像頭 這種 方法 的 一個 限 製
那麼 為 了 解決 這個 問題
這個 極感 科技 等 公司 就 設計 了 一種 方法
就是 利用 單目 攝像頭 再 加上 人工智能 的 方法
去 解決 深度 計算 的 問題 來 區分 前景 和 背景
那麼 具體來講 它 的 步驟 是 什麼 呢
它 是 這樣 首先 它 先 搭建
用 軟件 搭建 一個 3D 的 場景
搭建 一個 虛擬 的 3D 場景
這個 虛擬 的 3D 場景 是 不 存在 的
是 在 計算機 裏邊 的
搭建 一個 虛擬 的 3D 的 場景
搭建 好 了 之後
我們 再用 計算機 對 這個 虛擬 的 3D 場景
拍攝 多角度 的 2D 照片
你 在 計算機 裏邊 完成 這個 過程
拍攝 2D 的 這個 照片
現在 你 就 有 了 一大堆 的 素材 了
|||||||material|
3D 的 場景 是 什麼樣 的 深度 信息 你 知道
2D 的 照片 又 是 什麼樣 的
你 把 這些 玩意 把 它 統統 送到 什麼 呢
送到 卷積 神經網絡 裏面 去
對 這個 卷積 神經網絡 進行 計算
你 訓練 好 了 之後
你 這個 系統 就 具有 了 一種 能力
看 一張 2D 的 照片
你 就 能 區分 這裏 邊誰在 前 誰 在 後 了
|||||who is where|||||
而且 通過 這種 方法
你還 可以 實現 人像 和 背景 的 一個 精確 分割
可以 把 這個 人 的 圖 整個 的 摳出來
同時 還能 對 前景 和 背景 做 不同 的 處理
比如說 魔法 幻天 或者 背景 虛化
|Magic|Illusory Sky|||