我“移情别恋”的理由是什么？

8 月 7 日，2020全球人工智能和机器人峰会（CCF-GAIR 2020）在深圳前海华侨城JW万豪酒店启幕。大会由中国计算机学会（CCF）主办，香港中文大学（深圳）、雷锋网(公众号：雷锋网)联合承办，鹏城实验室、深圳市人工智能与机器人研究院协办。

从 2016 年的学产结合，2017 年的产业落地，2018 年的垂直细分，2019 年的中国人工智能 40 周年，峰会一直致力于打造国内人工智能和机器人领域规模最大、规格最高、跨界最广的学术、工业和投资平台。

根据大会安排，8月8日在『机器人前沿专场』上，清华大学研究员，优必选人形机器人首席科学家赵明国教授做了题为《基于计算的智能机器人控制》主题演讲。

 

NLT 方法的大致流程。

该研究的主要贡献有：

提出一种端到端的半参数方法，使用卷积神经网络从实际数据中学习对每个对象的 6D 光传输函数进行插值。

通过将网络嵌入参数化纹理图集，并利用一组 One-Light-at-A-Time（OLAT）图像作为输入，实现可同时执行二次打光和视图合成的统一框架。

提出了一组增强的纹理空间输入和一个基于物理精确漫反射基底的残差学习机制，使得网络能够轻松学习非漫射、高阶光传输效应（包括镜面高光）、次表面散射和全局照明。

NLT 方法

研究者使用的框架是一个具备残差学习机制的半参数模型，旨在缩小几何代理（geometry proxy）的漫反射渲染与实际输入图像之间的真实感差距，具体如下图 2 所示。

半参数方法用于融合先前记录的观察结果，以在任何预期的光照和视角下生成新的逼真图像。该方法得益于近年来计算机视觉领域的进展，使研究人员可以对人体对象实现精准的 3D 重建。

 

场景的光传输（LT）描述了场景在不同布光和视角方向下的样子，对场景 LT 的全面了解有助于在任意布光条件下合成新的视图。

这篇论文探讨了基于图像的 LT 采集，主要用于光照平台设置中的人体。研究者提出了一种半参数方法，以学习嵌入到已知几何特性的纹理图集空间中的 LT 的神经表示，并将所有非漫射和全局 LT 建模为残差，并将其添加到物理精确的漫反射基底渲染中。

具体而言，该研究展示了如何融合先前看到的光源和视图观察结果，基于选定的视点和期望照明条件合成同一场景的新图像。

该策略允许网络学习复杂的材料效果（如次表面散射）和全局照明，同时保证漫反射 LT 的物理正确性（如硬阴影）。借助这一学得的 LT，我们可以使用平行光或 HDRI 贴图以逼真的方式对场景进行二次打光，合成具有视图依赖效果的新视图，或者使用一组先前观察到的稀疏结果在一个统一框架中同时执行二次打光和视图合成这两种操作。

该研究通过定性和定量实验表明，NLT 方法优于当前最优的二次打光和视图合成解决方案，并且不需要像先前工作那样，对这两个问题进行单独处理。

 

打光是图像处理过程中的重要步骤，打光的好坏可能会影响整体效果的展示。打光方法也各有不同，MIT、谷歌等的一项新研究另辟蹊径，通过神经光传输方法进行图像的二次打光和视图合成，实现了相当不错的效果。

图像合成早已不是新鲜话题，但是「打光」可是所有照片的难题。对于人类摄影师而言，打光就是件挺复杂的事，那么合成图像中的光线问题又该如何解决呢？

最近，来自 MIT、谷歌和加州大学圣地亚哥分校的研究人员进行了一项研究，试图通过神经光传输（Neural Light Transport，NLT）对图像进行二次打光（relighting）和视图合成（view synthesis）。

那么，这项研究提出的 NLT 方法效果如何呢？研究者在多个场景下进行了测试，包括 Directional Relighting、基于不同图像背景的打光、根据摄像头路径不同进行视图合成后的打光效果等等。

（编辑：阜阳站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!