跳至内容
  • 首页
  • 资讯
  • 资源下载
  • 行业方案
  • Job招聘
  • Paper论文
  • Patent专利
  • 映维会员
  • 导航收录
  • 合作
  • 关于
  • 微信群
  • All
  • XR
  • CV
  • CG
  • HCI
  • Video
  • Optics
  • Perception
  • Reconstruction

LaDTalk: Latent Denoising for Synthesizing Talking Head Videos with High Frequency Details

编辑:广东客   |   分类:CV   |   2025年2月27日

Note: We don't have the ability to review paper

PubDate: Feb 2025

Teams:Beihang University, Beijing Academy of Blockchain and Edge Computing, Psyche AI,The University of Alabama at Birmingham

Writers:Jian Yang, Xukun Wang, Wentao Wang, Guoming Li, Qihang Fang, Ruihong Yuan, Tianyang Wang, Jason Zhaoxin Fan

PDF:LaDTalk: Latent Denoising for Synthesizing Talking Head Videos with High Frequency Details

Abstract

Audio-driven talking head generation is a pivotal area within film-making and Virtual Reality. Although existing methods have made significant strides following the end-to-end paradigm, they still encounter challenges in producing videos with high-frequency details due to their limited expressivity in this domain. This limitation has prompted us to explore an effective post-processing approach to synthesize photo-realistic talking head videos. Specifically, we employ a pretrained Wav2Lip model as our foundation model, leveraging its robust audio-lip alignment capabilities. Drawing on the theory of Lipschitz Continuity, we have theoretically established the noise robustness of Vector Quantised Auto Encoders (VQAEs). Our experiments further demonstrate that the high-frequency texture deficiency of the foundation model can be temporally consistently recovered by the Space-Optimised Vector Quantised Auto Encoder (SOVQAE) we introduced, thereby facilitating the creation of realistic talking head videos. We conduct experiments on both the conventional dataset and the High-Frequency TalKing head (HFTK) dataset that we curated. The results indicate that our method, LaDTalk, achieves new state-of-the-art video quality and out-of-domain lip synchronization performance.

本文链接:https://paper.nweon.com/16220

您可能还喜欢...

  • Harmony4D: A Video Dataset for In-The-Wild Close Human Interactions

    2025年04月10日 广东客

  • 009e7f06657d5bc7db55c388204d8cf9-thumb-medium

    Assembly101: A Large-Scale Multi-View Video Dataset for Understanding Procedural Activities

    2023年01月31日 映维

  • 7302ddb4dbd8a112eb04912d89cb4016-thumb-medium

    Generative Neural Articulated Radiance Fields

    2022年11月16日 映维

关注:

RSS 最新AR/VR行业分享

  • 映维日报:郭明錤预计Meta Hypernova年出货仅10万副,研究团队用三个IMU开发全身动捕 2025年8月28日
  • 中国研究团队开发仅需三个IMU传感器的全身动作捕捉技术 2025年8月28日
  • 郭明錤:Meta Hypernova智能眼镜两年出货15-20万副 2025年8月28日
  • 内蒙古电子信息职业技术学院200万元建设虚拟现实交互实践中心 2025年8月28日
  • 合作市教育局79万元采购学前AR智慧教室设备 2025年8月28日

RSS 最新AR/VR专利

  • MagicLeap Patent | Identifying input for speech recognition engine 2025年8月21日
  • MagicLeap Patent | Cross reality system with wifi/gps based map merge 2025年8月21日
  • MagicLeap Patent | Cross reality system with prioritization of geolocation information for localization 2025年8月21日
  • MagicLeap Patent | Systems and methods for virtual and augmented reality 2025年8月21日
  • MagicLeap Patent | Configuring optical layers in imprint lithography processes 2025年8月21日

RSS 最新AR/VR行业招聘

  • Microsoft AR/VR Job | High Performance Compute, Director 2025年6月5日
  • Microsoft AR/VR Job | Data Center Technician/ Technicien de Centre de Données 2025年6月3日
  • Microsoft AR/VR Job | Senior Product Designer 2025年5月16日
  • Apple AR/VR Job | AirPlay Audio Engineer 2025年3月27日
  • Apple AR/VR Job | iOS Perception Engineer 2025年3月27日
  • 首页
  • 资讯
  • 资源下载
  • 行业方案
  • Job招聘
  • Paper论文
  • Patent专利
  • 映维会员
  • 导航收录
  • 合作
  • 关于
  • 微信群

联系微信:ovalics

版权所有:广州映维网络有限公司 © 2025

备案许可:粤ICP备17113731号-2

备案粤公网安备:44011302004835号

友情链接: AR/VR行业导航

读者QQ群:251118691

Quest QQ群:526200310

开发者QQ群:688769630

Paper