科学家开发 DIRFA：输入图片和音频，可生成说话视频

CTOnews.com 11 月 17 日消息，来自新加坡南洋理工大学（NTU Singapore）的科研团队近日开发出了 DIRFA 工具，用户给一张图片以及音频内容，可以自动生成 3D 视频，并实现口型和声音的同步协调。

DIRFA 的全称为 DIverse yet Realistic Facial Animations，训练了超过 6000 多人的 100 万个视频片段，音频片段来自一个名为 VoxCeleb2 数据集的开源数据库，并关联面部表情和头部运动。

研究人员表示，DIRFA 可能会在包括医疗保健在内的各个行业和领域带来新的应用，因为它可以实现更复杂和逼真的虚拟助手和聊天机器人，从而改善用户体验。

DIRFA 还可以作为言语或面部残疾人士的强大工具，帮助他们通过富有表现力的头像或数字表示来传达他们的想法和情感，从而增强他们的沟通能力。

CTOnews.com附上论文参考地址：Rongliang Wu, Yingchen Yu, Fangneng Zhan, Jiahui Zhang, Xiaoqin Zhang, Shijian Lu. Audio-driven talking face generation with diverse yet realistic facial animations. Pattern Recognition, 2023; 144: 109865 DOI: 10.1016/j.patcog.2023.109865