图片来源：pixabay

静物画家知道，为了让画中的物体看起来更加写实，必须考虑光在物体表面的反射。反射图像的颜色、位置和亮度，受物体周围环境的影响，而这意味着其能反过来反映物体周围环境的关键信息。科学家发现，通过拍摄反光物体的简短视频片段，就可以利用其表面反射的光来复现其周围环境的大致画面。无论是碗、易拉罐还是一个皱巴巴的薯片包装袋，其结果都十分准确。

用来复现环境的数学模型也能够近似估计如果将一个已知的物体放置在新环境中或者从一个新的角度来看时，光会在其表面如何反射，以及最终物体会呈现什么外观。这两种不同的应用是互相关联的，“我们研究的挑战在于这两者是相互交缠的，你需要解决光问题，以得到精确的外观；你也需要有精确的外观模型，以获得正确的光。解决该挑战的方法可能是将这两者统筹考虑——正如我们所做的那样。”Jeong Joon Park说道，他是华盛顿大学图形与成像实验室(GRAIL)的博士生。

今年早些时候，Park的研究团队在arXiv.org网站上发布了他们研究的预印本，该论文也被邀请在下一年的IEEE计算机视觉和模式识别会议（IEEE Conference on Computer Vision and Pattern Recognition）以报告展示，此会议将于6月份远程举行。

Park说这项新技术可以帮助设计师建造更真实的增强和虚拟现实场景。例如，在Zoom视频通话中，许多用户使用的虚拟背景的光线与用户实际的光照条件是不匹配的。环境复现技术可以修正这些背景，使用户真实的面部与虚拟的环境更加匹配。

两张图片显示的是同一个房间：一张是根据房间内一个薯片包装袋的视频片段复现的(上)，另一张是直接拍摄的(下)。图片来源：Jeong Joon Park

又例如，一款增强现实的应用程序可能很难准确描绘出一件家具在用户的客厅里会是什么样子，此程序可能会让它看起来更像一个卡通插画，而不是一件实体物。Park说他团队的模型能够让物体看起来就像真的在这个房间一样，“你必须评估周围的环境来合理照亮虚拟物体，光线越精确，虚拟物体看起来就会越真实。”

这项技术也可应用于虚拟现实。在虚拟现实场景中，用户可能会戴着头盔在虚拟场景中走来走去，或者“拿起”一个数码产品在手中摆弄。当他们这样做时，因为周围光线条件的改变，所见物的样子也会随之发生改变——正如在现实世界中那样。Park说他团队的系统可以计算光线的特征来“给你一种任何视角都非常真实的体验感。”

这个过程叫做视图重构（view reconstruction），或新视图合成（novel view synthesis）。魁北克拉瓦尔大学电子和计算机工程的副教授Jean-Fran?ois Lalonde（他并没有参与Park团队的最新技术研究。）说：“Park的团队正试图用一种新方法来合成或生成一个全新视角的物体图像，即你从不同的角度观察一个特定的物体，然后想知道从一个全新的角度来看时物体的样子。以前的研究用两种不同的技术来解决这个问题。最早是利用物体的几何形状和物理定律来计算光线和颜色如何随着视角的变化而变化。然后，在大约两三年前，我们采用另一套方法提出一种不同的建模方式，使用深度学习算法来记忆一个物体的样子，并预测它的外观在不同的视角下会发生什么变化。”

这项新的技术将之前的两种技术结合起来，能让科学家“同时利用物理推理和深度学习带来的统计推理的力量。他们在深度学习过程中加入了更多的物理推理过程，所以能够获得更高质量的结果。” Lalonde说道。

Park和他的同事用视图合成的方法来复现周围环境，以测试这种新技术。他们用摄像机拍摄了各种物品：前面提到的薯片袋、易拉罐、陶瓷碗，甚至还有一尊猫雕像，然后利用其反射光，结合模型复现周围的环境。测试结果和实际环境十分吻合，且镜面状的物体产生的结果更为精确。“起初，我们十分惊奇，因为一些复现的环境的细节甚至是我们通过肉眼无法识别的。”Park说道。

另外，他也承认该技术有一个显著的缺点：一张普通的照片可能会转化为侵犯隐私的工具。如果科学家能够根据反射精确地复现周围的环境，那么任何含有反光物体的照片都可能在不经意间揭露更多的信息。Park建议，随着技术的不断改进，开发者应该谨记这个问题，并积极防范隐私泄露。

然而，他也强调目前复现的图像还不是很清楚，“我希望未来的研究能够基于现有的工作基础来提高复现环境和场景的质量。我的长期目标是复现现实世界，不仅包括良好的视觉效果，还包括能够与虚拟环境进行互动。”

作者：Sophie Bushwick

翻译：谢宛岑

审校：马一瑗

引进来源：

引进链接https://www.scientificamerican.com/article/a-shiny-snack-bags-reflections-can-reconstruct-the-room-around-it/


关注【深圳科普】微信公众号，在对话框：
回复【最新活动】，了解近期科普活动
回复【科普行】，了解最新深圳科普行活动
回复【研学营】，了解最新科普研学营
回复【科普课堂】，了解最新科普课堂
回复【科普书籍】，了解最新科普书籍
回复【团体定制】，了解最新团体定制活动
回复【科普基地】，了解深圳科普基地详情
回复【观鸟知识】，学习观鸟相关科普知识
回复【博物学院】，了解更多博物学院活动详情