“當(dāng)我們向AI輸入一條指令，讓它生成一段視頻時(shí)，實(shí)際上，核心訴求是希望AI幫助我們完成一個(gè)完整的敘事。要實(shí)現(xiàn)這個(gè)目標(biāo)，需要讓核心元素上保持統(tǒng)一和可控”，在近日召開的2024年中國國際服務(wù)貿(mào)易交易會(huì)（以下簡(jiǎn)稱“服貿(mào)會(huì)”）上，生數(shù)科技董事長(zhǎng)兼CEO唐家渝給出解決方案：視頻大模型Vidu的主體參照功能，即能實(shí)現(xiàn)對(duì)任意主體的一致性生成。為了做到這一點(diǎn)，業(yè)界曾嘗試“先AI生圖、再圖生視頻”等方法，但主體參照功能不光能減少工作量，還打破了分鏡頭畫面對(duì)視頻內(nèi)容的限制。技術(shù)的突破讓視頻大模型商業(yè)化有了更大的想象空間。
大語言模型盛行時(shí)，生數(shù)科技就瞄準(zhǔn)了多模態(tài)賽道，并在2024年1月上線了文生視頻的能力。按照生數(shù)科技的計(jì)劃，視頻能力需要更長(zhǎng)時(shí)長(zhǎng)、更高一致性去發(fā)展，但Sora的亮相讓這家創(chuàng)業(yè)公司的計(jì)劃提前。
4月底發(fā)布Vidu，支持一鍵生成16秒高清視頻，6月支持一鍵生成32秒視頻，同時(shí)生成音效，并從單個(gè)生成的視頻中重構(gòu)出4D視頻。7月底，Vidu正式面向全球上線，開放了圖生視頻、角色一致性功能以及最長(zhǎng)8秒的視頻生成能力。
此次，唐家渝在2024年服貿(mào)會(huì)上重點(diǎn)介紹的是Vidu的最新功能“主體參照”。所謂主體參照，就是允許用戶上傳任意主體的一張圖片，Vidu 就能夠鎖定該主體的形象，通過描述詞任意切換場(chǎng)景，輸出主體一致的視頻，其中“任意”是關(guān)鍵詞，即不管是人物、動(dòng)物、商品，還是動(dòng)漫角色、虛構(gòu)主體，都能確保其在視頻生成中的一致性和可控性。
北京商報(bào)記者了解到，在該功能上線前，視頻大模型對(duì)實(shí)現(xiàn)這一目標(biāo)并不是毫無解決方案，“圖生視頻”和“角色一致性”等能力也可做到。
以先AI生圖、再圖生視頻的方法為例，可以通過AI繪圖工具如 Midjourney 生成分鏡頭畫面，先在圖片層面保持主體一致，然后再將這些畫面轉(zhuǎn)化為視頻片段并進(jìn)行剪輯合成。
但問題在于，AI 繪圖的一致性并不完美，往往需要通過反復(fù)修改和局部重繪來解決。更重要的是，實(shí)際的視頻制作過程中涉及眾多場(chǎng)景和鏡頭，這種方法在處理多組分鏡頭的場(chǎng)景時(shí)，生圖的工作量巨大，能占到全流程的一半以上，且最終的視頻內(nèi)容也會(huì)因?yàn)檫^分依賴分鏡頭畫面而缺乏創(chuàng)造性和靈活性。
Vidu的“主體參照”功能通過“上傳主體圖+輸入場(chǎng)景描述詞”的方式，直接生成視頻素材。這一方法大幅減少了工作量，還打破了分鏡頭畫面對(duì)視頻內(nèi)容的限制，讓創(chuàng)作者能夠基于文本描述，創(chuàng)造出畫面豐富、靈活多變的視頻內(nèi)容。
中央廣播電視總臺(tái)導(dǎo)演、AIGC藝術(shù)家石宇翔分享動(dòng)畫短片《夏日的禮物》創(chuàng)作流程時(shí)表示，與基礎(chǔ)的圖生視頻功能相比，“主體參照”功能擺脫了靜態(tài)圖片的束縛，生成的畫面更具感染力和自由度，讓創(chuàng)作的連貫性大大提升。同時(shí)幫助他節(jié)約了七成左右的生圖工作量。
北京商報(bào)記者魏蔚
