神经辐射场变革沉浸影像技术与标准论坛

面向现实场景的沉浸影像高效重建和紧凑表示仍然是一个开放问题。近年来神经辐射场技术在现实场景三维重建方面体现出很强的优势和潜力，为沉浸影像的高效表示提供了新路线。为了加快推进AVS沉浸影像下一代标准的制定工作，AVS VRU专题组定于AVS工作组第85次会议期间举办《神经辐射场变革沉浸影像技术与标准论坛》，就下一代沉浸影像重建与编码关键技术和标准化活动展开研讨，诚邀各界专家积极参与。

时间：2023年6月2日上午9:00-12:00

酒店：长沙步步高福朋喜来登酒店5F多功能5厅

地址：湖南省长沙市岳麓区枫林三路1099号A区

组织者：

        王荣刚，AVS VRU专题组组长、北京大学深圳研究生院教授

        盛骁杰，AVS VRU专题组联合组长、快手技术专家

        王  琦，AVS VRU专题组联合组长、中国移动咪咕公司技术带头人

论坛日程

9:00-9:30  报告1：沉浸式视频的表征与编码 —— MPEG视频编码工作组的探索

摘要：沉浸式影像的表征与编码是元宇宙应用的硬核支撑技术，是除了超高清、高动态之外提升视觉体验沉浸感十分重要的方向。近年来MPEG视频编码工作组开展了MPEG沉浸式视频编码（MIV）标准化工作，与点云编码共同构建了以地图集视频编码为基础的三维可视场景的编码体系，支持了在六个自由度上的自主观看，真正为观众带来了高沉浸感。工作组同时还开展了微透镜密集光场的高效编码、基于神经网络的隐式二维/三维视频表征及编码的标准化探索工作。

特邀讲者：虞露，浙江大学求是特聘教授，博士生导师。

现任ISO/IEC JTC 1/SC 29/WG 4 (MPEG Video Coding工作组) 召集人，IEEE电路与系统学会标准化活动分部（SASD）投票成员，全国信息技术标准化技术委员会多媒体分委会委员，面向机器智能的数据编码标准工作组（DCM）副主席。组织或参与制定了一系列视频编码国际/国家标准，包括AVS1/AVS+、AVS2、AVS3标准视频编码部分，H.264/265/266, MPEG-B part 2, MPEG-5 part 1/2/3/4等；正在主持MPEG沉浸式视频编码、神经网络压缩编码、面向机器智能的视频压缩编码等一系列国际标准制定。发表学术论文160余篇，已获授权中国、美国、欧洲等发明专利130余项。获得ISO/IEC联合颁发的标准制定杰出奖、IEEE标准贡献奖、AVS工作组“二十周年二十人”荣誉和十五周年突出贡献奖、中国高等学校十大科技进展（2018）、国家科技进步二等奖等。

9:40-10:10  报告2：应对光传播遮挡的神经辐射场

摘要：神经辐射场（Neural Radiance Fields, NeRF）的出现极大地提升了对多视角拍摄场景的表达能力。然而，面对真实场景中广泛存在的光转播遮挡，例如玻璃的镜面反射、各种不透明的障碍物、室外场景中的投射阴影等，传统的NeRF建模会显得无能无力。本次报告介绍通过在传统NeRF框架中引入透射特征编码、深度一致约束、本征成分分解，使其具备应对多种来源不同的光传播遮挡的能力，进而在反射分离、遮挡消除、室外场景重光照应用中发挥重要的作用。

特邀讲者：施柏鑫，北京大学研究员、博雅青年学者。

北京大学计算机学院多媒体信息处理全国重点实验室、视频与视觉技术国家工程研究中心研究员、博士生导师（“博雅青年学者”）；北京智源人工智能研究院青年科学家。2013年博士毕业于日本东京大学，曾先后在麻省理工学院媒体实验室、新加坡科技设计大学、南洋理工大学、日本国立产业技术综合研究所从事研究工作。研究方向为计算摄像学与计算机视觉，发表论文160余篇（包括TPAMI论文17篇，计算机视觉三大顶级会议论文65篇）。论文获评国际计算摄像会议（ICCP）2015年Best Paper - Runner Up、入选IJCV专刊Best Papers from ICCV 2015，2021年获得日本大川研究助成奖。主持科技创新2030—“新一代人工智能”重大项目、国家自然科学基金重点、国家级青年人才等多个项目。担任国际顶级期刊TPAMI、IJCV编委，顶级会议CVPR、ICCV领域主席。IEEE、CCF高级会员，APSIPA杰出讲者。更多信息请访问“相机智能”实验室主页：http://camera.pku.edu.cn

10:20-10:50  报告3：辐射场视频的高效表示和传输

摘要：随着沉浸式视频的发展，辐射场（Radiance Fields, RF）技术通过对空间光线辐射进行建模，实现了“照片级真实感”的三维场景重建。然而，辐射场视频存在生成速度慢、表示和编码效率低、数据量大、难于传输等问题，阻碍了其广泛应用。本报告将总体介绍常见辐射场视频表示、编码和传输方法，以及现有方法的优缺点。重点介绍一种基于分层深度图的辐射场表示、自适应传输方法，通过将三维辐射场表示为二维平面进行编码传输，降低其编码和传输复杂度，实现在现有网络和终端上的编码传输，推动辐射场视频技术的成熟和应用。

特邀讲者：张行功，北京大学副教授。

北京大学王选计算机研究所副教授，IEEE Senior会员，通信学会人工智能委员会委员。担任IEEE ICME2021-2022领域主席，ACM HotICN2021技术主席, ACM ICN2022出版主席，国际学术期刊和会议评委。主要研究范围包括沉浸式视频生成、视频传输和卫星互联网。发表学术论文70余篇，国内外专利30余项，制定国际标准2项，获得IEEE ICME、VCIP、PCM优秀论文奖，获国家科技进步二等奖和教育部一等奖。

11:00-11:30  报告4：基于神经辐射场的体积视频重建与编码——技术与挑战

摘要：体积视频可以为用户提供六自由度的交互和照片级真实的视觉体验，是沉浸式影像的演进方向。如何高效的重建和压缩体积视频仍然是一个开放问题。神经辐射场自提出以来，在三维现实场景重建方面体现出很强的优势，为体积视频的高效表示提供了新路线。本报告重点概览神经辐射场在三维视频重建方面的代表性工作进展，以及未来应用于体积视频重建与编码还需要解决的一些技术挑战。

特邀讲者：王荣刚，北京大学深圳研究生院教授、AVS VRU专题组组长。

研究方向为沉浸影像智能处理，重点关注超高清沉浸影像智能重建、高效编码和交互渲染技术。承担国家科技部重点研发计划、863计划、国家自然科学基金等科研任务；发表重要重要期刊和会议论文200余篇，获得发明专利授权100余项；领导制定了IEEE沉浸视频编码标准和ISO/IEC MPEG互联网视频编码标准；担任IEEE 1857.9：Immersive Visual Content Coding标准专题组长，中国音视频编码标准工作组（AVS） VR专题组长。获得国家技术发明一等奖、中国电子学会技术发明特等奖、深圳市技术发明一等奖和AVS标准贡献奖等奖励。