AI工具可在数秒内将2D照片渲染为全方位3D场景

  • 发布时间:2022-03-29 09:04:34 来源:
标签:
导读 在上周的GTC 开发者大会上,Nvidia 展示了一款漂亮的 AI 工具,它可以从不同角度拍摄同一场景的一堆 2D 照片,并且几乎可以立即将它

在上周的GTC 开发者大会上,Nvidia 展示了一款漂亮的 AI 工具,它可以从不同角度拍摄同一场景的一堆 2D 照片,并且几乎可以立即将它们转换为 3D 数字渲染。

这一进展建立在加州大学伯克利分校、谷歌和加州大学圣地亚哥分校的研究基础上,这些研究使用神经网络以不同视角的一小组 2D 静止图像作为源来渲染场景的逼真 3D 图像。神经辐射场工具 - 或NeRF - 基本上估计输入数据中缺失的任何场景颜色/光线信息并填补空白。

虽然早期的 NeRF 模型可以在几分钟内生成渲染场景,但训练神经网络需要更长的时间。Nvidia 的 Instant NeRF 开发基本上将训练和渲染时间“减少了几个数量级”,并且可以在几秒钟内在几十张静止图像(连同相机角度数据)上训练模型,然后以 1,920 的分辨率渲染 3D 场景几十毫秒后 x 1,080 像素。

Nvidia 的 Instant NeRF 工具可以训练神经网络,从一小组 2D 照片中估计缺失的颜色和照明信息,并在几秒钟内渲染出完整的 3D 图像

Nvidia 的 Instant NeRF 工具可以训练神经网络,从一小组 2D 照片中估计缺失的颜色和照明信息,并在几秒钟内渲染出完整的 3D 图像英伟达

这要归功于一种称为多分辨率哈希网格编码的新输入编码方法的开发,该方法已针对 Nvidia GPU 进行了优化,并允许“使用快速运行的微型神经网络获得高质量的结果”。

“如果像多边形网格这样的传统 3D 表示类似于矢量图,那么 NeRF 就像位图图像:它们密集地捕捉光从物体或场景中辐射的方式,”Nvidia 图形研究副总裁 David Luebke 说。“从这个意义上说,Instant NeRF 对 3D 的重要性可能不亚于数码相机和 JPEG 压缩对 2D 摄影的重要性——极大地提高了 3D 捕获和共享的速度、易用性和覆盖范围。”

该公司表示,该技术可用于训练机器人和自动驾驶汽车,以更好地理解现实世界中的物体,以及用于虚拟现实内容创建、视频会议、数字地图、建筑和娱乐。

  • 免责声明:本文由用户上传,如有侵权请联系删除!