10月19日，騰訊優(yōu)圖實驗室高級研究員瑋劍在優(yōu)tech線上沙龍，圍繞《3D人臉重建技術的研究與應用實例》這一主題進行了直播分享，講述了優(yōu)圖自建3D人臉基底及3D人臉技術應用實例。
01
3D人臉重建技術應用廣泛，優(yōu)圖推出可移動端實時的3DMM人臉重建技術
3D人臉重建技術是指從一張或多張2D圖像中恢復出人臉的3D形狀和紋理。3D人臉重建技術不僅廣泛應用于泛娛樂、AR、VR、影視制作等領域，而且在各種人臉相關的研究業(yè)務中均有著非常重要的作用。
3D人臉重建如此重要，如何更好地重建？目前常見的方法包括合成分析法、基于3DMM的方法以及深度網絡端到端的方法。優(yōu)圖對傳統(tǒng)3DMM方法進行了改進優(yōu)化，推出可移動端實時的3DMM人臉重建技術。
3DMM的全稱是3D Morphable Model，即可形變的模型，它可以將任意的3D人臉模型表示為一個平均臉和形狀、表情維度的線性組合。基于3DMM方法的整體流水線如下：當我們拿到一張輸入圖片后，首先做人臉檢測配準，得到人臉的2D關鍵點坐標，以這些坐標點為約束，求出3DMM所需的姿態(tài)投影、形狀以及表情參數，最終輸出3D重建的結果。
為了提升重建的效果并且保證移動端可實時運行，優(yōu)圖對傳統(tǒng)的3DMM方法進行了改進優(yōu)化，引入更多精準、快速的約束，提升重建的精度；深入挖掘視頻流中前后幀的信息，讓幀間更加穩(wěn)定的同時，也對形狀參數極致的優(yōu)化；加入表情非負約束，使得重建出的表情以及Avatar驅動效果更加真實自然。在工程上也做了大量的向量化運算及并行計算，以減少求解時的耗時。
02
已有基底存在不足，優(yōu)圖自建3D人臉基底
3D人臉基底是基于3DMM算法的技術根基，而現有的3D人臉基底在人臉形狀表情的表達能力、人種分布以及三維網格拓撲等方面存在諸多不足。基于此，優(yōu)圖自己采集構建了一個主要針對中國人的3DMM人臉基底，不僅具有更強更細膩的表達能力，并且拓撲更加科學。
在采集階段，優(yōu)圖采用3D結構光采集設備，可以重建出毫米級別的人臉3D形狀和紋理。采集時，每個被采集者共采集30種特定的表情。
編輯制作拓撲一致的3D人臉基底，需要經過3D關鍵點標注、非剛性配準、表情擴增等步驟。為了更快速高效的完成，減少人工參與，優(yōu)圖開發(fā)了自動化工具，使得每個步驟都可以由計算機完成。最終，我們參考FACS系統(tǒng)，并結合實際業(yè)務需求，自建了包含43種表情的3D人臉基底。
03
3D人臉技術在泛娛樂場景的豐富應用
基于3DMM的重建算法中每一個待求參數（姿態(tài)投影、形狀、表情）都有其在實際場景的物理含義。因此從這些參數的物理含義出發(fā)，將這些參數自由組合或者交叉應用，可以實現豐富的泛娛樂應用。
例如，有了頭部的3D姿態(tài)之后，便可以添加3D帽子等掛件，與2D掛件相比，3D的方法真實感更強，甚至無法分辨是真實的還是虛擬的。對于表情參數，可以將視頻中人物的面部表情遷移到Avatar中，實現虛擬人物的驅動。
對于與人臉身份相關的形狀參數，可以應用到動畫、游戲等人臉模板中，生成與輸入人臉身份相似的動畫人臉。也可以對不同人臉的重建參數相互融合，將人物A的表情遷移到人物B上，從而達到“活照片”的效果。
目前，優(yōu)圖基于3DMM的人臉重建技術已經應用于微視、手Q、天天P圖等多個產品中，為用戶提供更加豐富有趣的泛娛樂3D特效體驗。
未來，優(yōu)圖將通過豐富基底的年齡組合并增加紋理維度持續(xù)優(yōu)化自建3D人臉基底。探索更有趣的泛娛樂玩法應用落地，如Relighting、3D風格化、動漫化等。此外，我們也在積累探索前沿技術，聚焦于高清Multiview的重建，半監(jiān)督弱監(jiān)督的網絡訓練，以及將3D和GAN進行技術結合。
