DIY最美數(shù)字女友!MIT開源最強(qiáng)虛擬人生成器,登Nature子刊
麻省理工學(xué)院媒體實(shí)驗(yàn)室(MIT Media Lab)的研究人員開源了一個(gè)虛擬角色生成工具。該工具結(jié)合了面部、手勢(shì)、語音和動(dòng)作領(lǐng)域的人工智能模型,可用于創(chuàng)建各種音頻和視頻輸出,一舉登上《Nature Machine Intelligence》。
這年頭,用人工智能創(chuàng)建一個(gè)數(shù)字虛擬人感覺越來越容易了。
最強(qiáng)虛擬人生成器,登Nature子刊">
不過,關(guān)于數(shù)字人,不少言論都集中在「它有誤導(dǎo)性」和「它背后的deepfake技術(shù)有潛在的隱私泄露風(fēng)險(xiǎn)」這兩個(gè)觀點(diǎn)上。
其實(shí),這項(xiàng)技術(shù)也可以用于積極的目的,比如,讓阿爾伯特·愛因斯坦復(fù)活,去教一堂物理課,或者與年長(zhǎng)的自己聊一聊天。
最強(qiáng)虛擬人生成器,登Nature子刊">
為了鼓勵(lì)這項(xiàng)技術(shù)所能帶來的積極作用,麻省理工學(xué)院媒體實(shí)驗(yàn)室(MIT Media Lab)的研究人員開源了一個(gè)易于使用的虛擬角色生成管道。
該虛擬角色生成管道結(jié)合了面部、手勢(shì)、語音和動(dòng)作領(lǐng)域的人工智能模型,可用于創(chuàng)建各種音頻和視頻輸出。
最強(qiáng)虛擬人生成器,登Nature子刊">
使用人工智能技術(shù)制作的蒙娜麗莎、瑪麗·雪萊、馬丁·路德·金、阿爾伯特·愛因斯坦、文森特·梵高和威廉·莎士比亞的動(dòng)畫
該虛擬角色生成管道還使用了可追蹤的、人類可讀的水印標(biāo)記了其輸出的結(jié)果。
這樣一來,它生成的內(nèi)容就可以與真實(shí)的視頻內(nèi)容區(qū)分開來,進(jìn)而防止一些惡意的用途。
研究人員希望教師、學(xué)生和醫(yī)療保健工作者可以嘗試一下,看看這個(gè)工具能否在各自的領(lǐng)域幫助到他們。
最強(qiáng)虛擬人生成器,登Nature子刊">
研究人員在《Nature Machine Intelligence》上寫道,如果有更多的學(xué)生、教育工作者、衛(wèi)生保健工作者和治療師有機(jī)會(huì)構(gòu)建和使用這些虛擬角色,那么,這些虛擬角色可能會(huì)為更多人帶來福祉。
最強(qiáng)虛擬人生成器,登Nature子刊">
論文地址:https://www.nature.com/articles/s42256-021-00417-9
斯坦福虛擬人類互動(dòng)實(shí)驗(yàn)室的創(chuàng)始主任杰里米·巴倫森(Jeremy Bailenson)表示:
「當(dāng)人工智能和人類開始共享身份時(shí),這將是一個(gè)奇妙的世界。這篇論文完成了令人難以置信的工作,描繪了在教育、健康、親密關(guān)系等領(lǐng)域,AI生成角色的可能用途,同時(shí)給出了一個(gè)切實(shí)可行的路線圖,說明了如何避免隱私泄露和虛假視頻。」
該論文的第一作者Pat Pataranutaporn是Pattie Maes流體界面研究小組的博士生。
他說,「盡管世界上大多數(shù)人都是從deepfakes那里了解虛擬人技術(shù)的,但我們認(rèn)為它有潛力成為創(chuàng)造性表達(dá)的工具。」
數(shù)字人的有趣妙用
生成性對(duì)抗網(wǎng)絡(luò)(GAN),是兩個(gè)相互競(jìng)爭(zhēng)的神經(jīng)網(wǎng)絡(luò)的組合,使得創(chuàng)建極具真實(shí)感的圖像、克隆聲音和生成人臉動(dòng)畫變得更加容易。
Pataranutaporn與Danry一起,在一個(gè)名為Machinoia的項(xiàng)目中首次探索了生成人臉動(dòng)畫的可能性。
最強(qiáng)虛擬人生成器,登Nature子刊">
統(tǒng)一管道允許用戶提供視頻、語音或文本作為輸入,以生成視頻和實(shí)時(shí)面部濾鏡
在這個(gè)項(xiàng)目中,Pataranutaporn創(chuàng)造了各個(gè)年齡段的自己:少年、青年、中年、老年,讓他們從不同的角度和自己進(jìn)行對(duì)話。
Pataranutaporn說:「這次不尋常的經(jīng)歷讓我意識(shí)到自己作為一個(gè)人的旅程。這是一次非常新奇的體驗(yàn)——用你自己的數(shù)據(jù)來揭示你自己以前從未想過的東西。」
最強(qiáng)虛擬人生成器,登Nature子刊">
研究人員說,自我探索只是AI虛擬角色的積極應(yīng)用之一。
實(shí)驗(yàn)表明,虛擬人可以使學(xué)生對(duì)學(xué)習(xí)更有熱情,并提高認(rèn)知任務(wù)的表現(xiàn),并作為傳統(tǒng)教學(xué)的補(bǔ)充。
Pataranutaporn解釋說,這項(xiàng)技術(shù)為教學(xué)提供了一種「根據(jù)興趣和個(gè)人背景進(jìn)行個(gè)性化定制,并且可以隨著時(shí)間的推移而改變」的方式。
Machinoia技術(shù)還可以用于在視頻會(huì)議中隱藏自己的臉,但是還能保留面部表情和情緒。
如果人們要在會(huì)議上共享個(gè)人敏感信息(如健康和創(chuàng)傷經(jīng)歷),那這項(xiàng)技術(shù)會(huì)很有用。
最強(qiáng)虛擬人生成器,登Nature子刊">
在實(shí)時(shí)會(huì)議環(huán)境中使用人工智能生成的角色
Machinoia項(xiàng)目還有更多好玩的用例。
在今年秋天,由Maes和研究機(jī)構(gòu)Roy Shilkrot共同教授的Deepfakes實(shí)驗(yàn)課上,學(xué)生們用這項(xiàng)技術(shù)將一幅描繪清明歷史場(chǎng)景的中國畫中的人物制作成了動(dòng)畫。
有的同學(xué)還用Deepfakes創(chuàng)建了一個(gè)「分手模擬器」。
法律和道德挑戰(zhàn)
研究人員在論文中指出,隨著技術(shù)的發(fā)展,虛擬人技術(shù)的蓬勃興起也帶來了不少法律和倫理問題。
例如,如何決定誰有權(quán)以虛擬數(shù)字化的形式重現(xiàn)一個(gè)歷史人物?名人的AI克隆人在網(wǎng)上推廣有害行為,誰承擔(dān)法律責(zé)任?與人類相比,人們更喜歡與虛擬人互動(dòng),這有什么危險(xiǎn)嗎?
「我們這項(xiàng)研究的目標(biāo)之一是提出問題,并就如何使用這項(xiàng)技術(shù)來造福社會(huì)展開公開討論」,Maes說。
「通過分享AI虛擬人這項(xiàng)技術(shù),同時(shí)明確標(biāo)注由它生成的視頻是合成的」,Pataranutaporn說,「就可以激發(fā)更多有創(chuàng)造性和積極的用例,這樣才能讓人們了解到這項(xiàng)技術(shù)的潛在好處」。