跳至内容
  • 首页
  • 资讯
  • 行业方案
  • 付费阅读
  • Job招聘
  • Paper论文
  • Patent专利
  • 映维会员
  • 导航收录
  • 合作
  • 关于
  • 微信群
  • All
  • XR
  • CV
  • CG
  • HCI
  • Video
  • Optics
  • Perception
  • Reconstruction
空 挡 广 告 位 | 空 挡 广 告 位

FlexGen: Flexible Multi-View Generation from Text and Image Inputs

小编 广东客   |   分类:CV   |   2025年3月27日

Note: We don't have the ability to review paper

PubDate: Otc 2024

Teams:HKUST(GZ)1 HKUST2 Quwan3

Writers:Xinli Xu, Wenhang Ge, Jiantao Lin, Jiawei Feng, Lie Xu, HanFeng Zhao, Shunsi Zhang, Ying-Cong Chen

PDF:FlexGen: Flexible Multi-View Generation from Text and Image Inputs

Abstract

In this work, we introduce FlexGen, a flexible framework designed to generate controllable and consistent multi-view images, conditioned on a single-view image, or a text prompt, or both. FlexGen tackles the challenges of controllable multi-view synthesis through additional conditioning on 3D-aware text annotations. We utilize the strong reasoning capabilities of GPT-4V to generate 3D-aware text annotations. By analyzing four orthogonal views of an object arranged as tiled multi-view images, GPT-4V can produce text annotations that include 3D-aware information with spatial relationship. By integrating the control signal with proposed adaptive dual-control module, our model can generate multi-view images that correspond to the specified text. FlexGen supports multiple controllable capabilities, allowing users to modify text prompts to generate reasonable and corresponding unseen parts. Additionally, users can influence attributes such as appearance and material properties, including metallic and roughness. Extensive experiments demonstrate that our approach offers enhanced multiple controllability, marking a significant advancement over existing multi-view diffusion models. This work has substantial implications for fields requiring rapid and flexible 3D content creation, including game development, animation, and virtual reality. Project page: this https URL.

本文链接:https://paper.nweon.com/16252

您可能还喜欢...

  • A Survey of Facial Capture for Virtual Reality

    2022年07月27日 映维

  • Real-Time Object Detection For 360-Degree Panoramic Image Using CNN

    2020年10月21日 映维

  • NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections

    2020年08月13日 映维

关注:

RSS 最新AR/VR行业分享

  • XR日报:苹果低功耗AI眼镜芯片,三星单层波导全彩显示,PICO大更新Native XR SDK 2025年5月9日
  • 生存建造类游戏《火星求生》VR版登陆Quest Store 2025年5月9日
  • Meta开源MR技术演示《North Star》 展示Quest顶尖视觉与交互 2025年5月9日
  • 美军测试AR全息战场模拟系统 头显+沙盘实现多兵种协同推演 2025年5月9日
  • 三星突破AR眼镜技术瓶颈,单层纳米波导实现全彩显示 2025年5月9日

RSS 最新AR/VR专利

  • Sony Patent | Information processing device and information processing method 2025年5月8日
  • Niantic Patent | Maintaining object alignment in 3d map segments 2025年5月8日
  • Samsung Patent | Deposition mask and method for manufacturing the same 2025年5月8日
  • ARM Patent | Firearm training system 2025年5月8日
  • Apple Patent | Electronic device system with supplemental lenses 2025年5月8日

RSS 最新AR/VR行业招聘

  • Apple AR/VR Job | Senior Software QA Engineer - Apple Vision Pro 2024年11月12日
  • Apple AR/VR Job | System Product Design Engineer - Apple Vision Pro 2024年11月12日
  • Microsoft AR/VR Job | Principal Software Engineer -Teams Premium Services 2024年11月12日
  • Meta AR/VR Job | Software Engineer - XR Codec Interactions and Avatars Team 2024年11月12日
  • Meta AR/VR Job | Product Cost Engineer 2024年11月12日

联系微信:ovalics

版权所有:广州映维网络有限公司 © 2025

备案许可:粤ICP备17113731号-2

粤公网安备 44011302004835号

友情链接: AR/VR行业导航

读者QQ群:251118691

Quest QQ群:526200310

开发者QQ群:688769630

Paper