第一個換臉人工智慧,原來有這些侷限性問題..但相信依舊能為影視產業注入新血!
首個百萬畫素換臉方法
研究團隊提出了一個漸進式訓練的梳狀模型（comb model），並配合編碼器進行模型訓練。
▲ Disney Research 公開之換臉過程示意圖。(圖片擷取自 Disney Research)
步驟 1：對原始圖像 xt 進行臉部檢測辨識，並提取關鍵點。
步驟 2：將人臉分辨率歸一化（即標準化剪裁）為 1024×1024 像素，並保存歸一化參數
步驟 3：將步驟 1、2 預處理好的圖像輸入編碼器中，用相應的解碼器解碼。
步驟 4：使用步驟 2 保存的歸一化參數，在圖像「x˜_s」上反轉圖像歸一化結果，將生成的圖像與原始圖像 xt 進行多頻帶混合，得到人臉交換的成果圖像。
而畫素方面，研究團隊表示他們曾使用開源 deepfake 模型 DeepFakeLab，但成果影像的分辨率最高只到 256×256 像素。而研究團隊所採用的漸進式、對原始圖像進行預訓練的方法可從中提取出較高解析度圖像。下圖可看出經過訓練模型，輸出的人臉畫素與效果都優於未經訓練的結果。
▲圖爲迪士尼與 DeepFakes、DeepFaceLab 和 Nirkin 等換臉方法的效果對比。(圖片擷取自 Disney Research)
迪士尼換臉 AI 有待突破的缺點
儘管研究團隊證明在細節、解析度以及自然度上，迪士尼 AI 人工智慧 都優於其他換臉模型，但團隊也承認他們的技術存在明顯的侷限性。
如「有戴眼鏡的臉」無法穩定進行人臉交換，問題不在於眼鏡部分無法渲染，而是無法恰當捕捉到表情和姿勢。研究人員曾嘗試調整輸入源，但依然無法穩定掌握產出品質。還有，雖然人臉正面直視鏡頭的圖像換臉效果良好，但俯視、仰視或側面等人臉角度與特殊光源下的換臉，可能會導致不完善的生成結果，如模糊和僞影。
▲ 換臉生成失敗示意圖。(圖片擷取自 Disney Research)
不過研究人員補充道，這類問題實際應用於電影場景中影響不大，除了此人工智慧，亦可以經由其他方式解決。
未來當這項 AI 人工智慧 技術更加成熟，得以廣泛應用後，影視作品能有更逼真自然、栩栩如生的特效，對觀眾來說也是一大福音啊！
本篇為下篇，上篇請點此連結
相關閱讀推薦：
透過人工智慧換完臉,竟如此逼真?來看看迪士尼的新玩意!(上)
你知道嗎,AI人工智慧也是會被愚弄的!但這公司有方法了?(上)
留言列表
