（魏德齡/文）當人們已經習慣了在線視頻會議，對于這種溝通方式在使用過程中的痛點也被放大，解決問題提升體驗成為了目前業(yè)界對于視頻會議功能的新發(fā)力點。對于當下視頻會議過程中，因信號問題造成人物圖像不清晰、成像角度不佳、由于客觀原因個人形象不佳的問題，英偉達在CVPR 2021上最新展示的Vid2Vid Cameo成功通過AI解決了這一問題。
只需兩個元素告別尷尬
根據(jù)英偉達媒體會上的演示來看，只需要錄入兩個元素，就能通過AI來解決上述視頻會議過程中的尷尬問題，兩個元素分別為一張人物外貌照片和一段視頻流。之后Vid2Vid Cameo就能在視頻通話的過程中模擬出真實高清的人物形象，或是虛擬的卡通形象，這些形象還可以根據(jù)會議人的面部形態(tài)進行匹配。
這就意味著，如果會議人員沒有著正裝，Vid2Vid Cameo也可以根據(jù)已經錄入的元素來模擬出與會者的正裝形象，并且可以進行動態(tài)顯示。而如果與會者沒有化妝，或個人形象暫時不佳，Vid2Vid Cameo也能以此前元素中的理想形象，來動態(tài)的呈現(xiàn)在會議的視頻中。
這項功能同樣可以應用于目前很多廠商在關注的通過卡通虛擬形象來進行在線交流的功能中，Vid2Vid Cameo同樣可以虛擬出一個卡通形象，用戶只需上傳一張卡通頭像便可實現(xiàn)，通過追蹤與會者的五官變化，來進行實時的虛擬形象顯示。
Vid2Vid Cameo甚至還能可以實現(xiàn)移花接木，通過AI將某個人的動作轉移到另一個人的參照圖像上，同樣可以生成更逼真、更清晰的結果，優(yōu)于先進的模型。
值得一提的是，Vid2Vid Cameo還能大大降低網絡壓力，讓以往視頻會議過程中由于網絡問題所造成畫面卡頓及馬賽克現(xiàn)象一去不復返。原因在于在實際虛擬過程中通過僅來回壓縮及發(fā)送頭部位置和關鍵點，而不是完整的視頻流，此技術將視頻會議所需的帶寬降低 10 倍，從而提供更流暢的用戶體驗。
AI助力全新視頻會議體驗
本次展示的Vid2Vid Cameo 是用于視頻會議的 NVIDIA Maxine SDK 背后的深度學習模型之一，它借助生成式對抗網絡 (GAN)，實現(xiàn)了僅用一張人物2D圖像即可合成逼真的人臉說話視頻。Vid2Vid Cameo是英偉達在CVPR 2021上發(fā)表的28篇論文之一。
實現(xiàn)上述功能的過程中，AI發(fā)揮了重要作用，AI可以將用戶的面部動作映射到參考照片上，當偵測到與會者身體運動后，也能自動調整角度，讓與會者看上去可以一直處在面向攝像頭的狀態(tài)。
這一模型基于 NVIDIA DGX 系統(tǒng)開發(fā)，使用包含 18 萬個高質量人臉說話視頻的數(shù)據(jù)集進行訓練。網絡已掌握識別 20 個關鍵點，這些關鍵點可用于在沒有人工標注的情況下對面部動作進行建模。包括眼睛、嘴和鼻子在內的點對特征的位置進行編碼。
在傳輸過程中，視頻會議平臺只需傳送關鍵點信息接口，視頻接收端會使用此信息來模擬參照圖像的外觀以合成一個視頻。另外，該模型還可以進行調整，傳輸不同數(shù)量的關鍵點，以實現(xiàn)在不影響視覺質量的條件下，適應不同的帶寬環(huán)境。這也就是上文提到的可以大幅節(jié)省傳輸流量的原因所在。
目前，這一能夠讓視頻會議人員告別個人形象尷尬的功能即將登陸 NVIDIA Maxine SDK，為開發(fā)者提供經過優(yōu)化的預訓練模型，以便在視頻會議和直播中實現(xiàn)視頻、音頻和增強現(xiàn)實效果。開發(fā)者已經能采用 Maxine AI 效果，包括智能除噪、視頻升采樣和人體姿態(tài)估計。SDK 支持免費下載，還可與 NVIDIA Jarvis 平臺搭配用于對話式 AI 應用，包括轉錄和翻譯。
也許在不久以后，無論是剛剛起床，還是身在海灘邊度假的你，當臨時視頻會議接入的時候，都能西裝筆挺、頭發(fā)一絲不亂的出現(xiàn)在會議之中，隨時以最好的形象進行溝通。
