XCSDD/docs/plan/旧版题目/开题报告-王子文.md

# 武汉大学本科毕业设计(论文)开题报告

| 项目 | 信息 |

| ---- | ---- |

| 题 目 | 神经着色驱动的VDB特效实时渲染 |

| 学生姓名 | 王子文 |

| 学号 | 2022302111081 |

| 所在学院 | 计算机学院 |

| 专业 | 计算机科学与技术 |

| 指导教师 | 肖春霞 |

| 职称 | 教授 |

## 一、选题目的和意义

### 1.1 选题背景

3D渲染技术正经历着从传统的“基于物理的建模（Physically Based Rendering, PBR）”向“神经网络渲染（Neural Rendering）”的范式转变。神经网络渲染融合了机器学习与计算机图形学，利用深度神经网络高效拟合复杂的光线传输过程，能够在不依赖繁重物理积分的情况下逼近真实世界的视觉效果。

在这一背景下，体积特效（Volumetric Effects）如烟雾、火焰、云层和爆炸等，作为构建逼真虚拟世界的关键元素，其渲染技术的革新尤为迫切。目前，工业界主要采用 OpenVDB 格式来存储和处理这些复杂的稀疏体积数据。然而，传统的高质量体积渲染严重依赖于蒙特卡洛路径追踪（Monte Carlo Path Tracing），其计算复杂度极高，往往需要数分钟甚至数小时才能渲染一帧，这限制了其在实时交互应用（如游戏、VR/AR）中的使用。

### 1.2 核心问题

随着硬件性能的提升，原本用于离线影视级渲染的 VDB 数据，正逐渐向游戏引擎等实时渲染环境迁移。然而，这一迁移过程面临巨大挑战。现有的实时体积渲染方案（如 Ray Marching）通常为了性能而牺牲画质，难以复现离线渲染中复杂的光照效果（如多次散射、各向异性散射）。同时，高精度的 VDB 数据占用的显存空间巨大，难以在消费级显卡上流畅运行。如何兼顾“电影级画质”与“实时帧率”，同时降低存储开销，是实现这一行业迁移的关键难题。

### 1.3 解决思路与意义

本课题旨在借鉴 NVIDIA “神经材质（Neural Materials）” 的核心思想，并将其创新性地应用于体积（Volume）渲染领域。通过构建一个轻量级的神经网络（神经体积着色器），将复杂的体积光传输计算（Radiative Transfer）“烘焙”到网络权重中。

本选题的意义在于：

突破性能瓶颈：利用神经网络（MLP）强大的拟合能力替代复杂的物理积分计算，结合 Tensor Core 硬件加速，实现体积特效的实时推理渲染。

提升实时画质：使实时引擎能够呈现原本仅存于离线渲染中的复杂光照细节，推动游戏画质向电影级迈进。

## 二、国内外研究现状和发展趋势

### 2.1 稀疏体积数据结构（OpenVDB & NanoVDB）

OpenVDB（Museth, 2013）是电影工业的标准体积格式，但在 GPU 上运行效率较低。NVIDIA 推出的 NanoVDB（Museth, 2021）通过线性化树结构优化了 GPU 访问性能，成为实时渲染的理想载体。然而，NanoVDB 仅解决了“数据存储与访问”的问题，并未解决“光照计算复杂”的问题。

### 2.2 神经渲染与神经着色（Neural Rendering & Shading）

近年来，神经辐射场（NeRF, Mildenhall et al., 2020）展示了神经网络在视图合成上的强大能力。然而，当前大多数神经渲染方法仍依赖图像输入，缺乏对原始几何和物理材质信息的显式支持，这种“黑盒”特性限制了其在标准图形管线中的集成与编辑。

针对这一问题，NVIDIA 的 Neural Materials（Rainier et al., 2022; Clarberg et al., 2023）提出了一种新范式：将复杂的表面材质模型压缩为小型 MLP，在着色器中实时运行。这种方法在保留影视级材质细节的同时，实现了 10 倍以上的性能提升和纹理压缩。

### 2.3 发展趋势

目前的趋势是将“神经材质”的成功经验从“表面（Surface）”向“体积（Volume）”拓展。即利用 NanoVDB 的稀疏结构来跳过空白区域（Space Skipping），利用神经网络来近似非线性的体积属性映射（Neural Shading）。这种结合了“显式结构加速”与“隐式计算加速”的混合管线，是未来实时渲染的重要方向。

## 三、研究内容、研究方法、技术路线及可行性分析

### 3.1 研究内容

NanoVDB 数据管线构建：研究 OpenVDB 到 NanoVDB 的转换流程，实现稀疏体积数据在 GPU 上的高效加载与采样。

神经体积着色器（Neural Volume Shader）设计：设计一个轻量级的 MLP 网络，用于替代传统的体积着色方程。

输入：归一化空间坐标 (x,y,z)、视线方向、光照方向 、以及 NanoVDB 采样的基础属性（密度、温度等）。

输出：物理光学参数，包括吸收系数、散射系数、自发光辐射率和相位函数参数。

混合监督训练策略：构建基于物理的损失函数，结合 L1/L2 图像损失与物理约束（如能量守恒），确保网络输出不仅视觉逼真，且符合物理规律。

Unity 实时渲染集成：在 Unity 引擎中编写 Compute Shader 或利用 TensorRT，将训练好的网络集成到渲染管线中，实现实时交互。

### 3.2 研究方法

文献研究法：深入研读 NanoVDB 源码及 Neural Materials 相关论文。

实验对比法：以 Houdini + Arnold 渲染结果为 Ground Truth（真值），对比本方法与传统 Ray Marching 的画质差异（PSNR/SSIM）及帧率表现。

控制变量法：探究网络层数、通道数对渲染质量与推理速度的影响。

### 3.3 技术路线

数据准备：使用 Houdini 制作烟雾/火焰特效，导出 .vdb 文件；使用 Arnold 渲染多角度、多光照条件下的高质图像作为训练集。

预处理：将 .vdb 转换为 .nvdb 格式，提取稀疏体素特征。

模型训练 (PyTorch)：

构建 MLP 网络（如 4层 x 64宽）。

利用 CUDA 加速的 NanoVDB 采样器进行射线步进采样。

计算预测值与 GT 的损失，反向传播更新权重。

引擎部署 (Unity)：

将训练好的权重导出为二进制或 ONNX。

在 Unity Shader 中实现 MLP 推理逻辑（前向传播）。

结合 NanoVDB 的光线求交（Ray Casting）进行实时渲染。

### 3.4 可行性分析

硬件支持：实验室配备 RTX 系列显卡，支持 Tensor Core 加速和 CUDA 编程。

软件基础：NanoVDB 已开源且支持 C++/CUDA；PyTorch 框架成熟；Unity 支持 Compute Shader 自定义渲染。

理论支撑：辐射传输方程（RTE）理论成熟，Neural Materials 已验证了 MLP 拟合着色方程的可行性。

## 四、项目特色与创新点

跨域技术迁移（创新性）：将 NVIDIA Neural Materials 在“表面材质”上的成功范式，迁移创新至“体积渲染”领域，提出“神经体积着色器”概念。

稀疏-神经混合架构与几何解耦：结合 NanoVDB 的“空间稀疏性”与神经网络的“计算紧凑性”，不仅实现了存储与计算的双重优化，更实现了几何结构（NanoVDB）与外观材质（Neural Shader）的解耦。这解决了传统神经渲染方法难以编辑几何形状的痛点，支持在保持几何不变的情况下调整材质，或在保持材质风格的情况下修改几何。

物理可解释性：网络输出的是中间光学参数（如散射系数）而非最终像素颜色，这使得渲染结果可以与动态光照环境交互（Relighting），保留了物理着色的灵活性。

## 五、进度安排

第1-2周：查阅文献，熟悉 NanoVDB 数据结构与 PyTorch 框架，完成开题报告。

第3-4周：搭建 Houdini 数据生成管线，制作数据集，完成 VDB 到 NanoVDB 的转换测试。

第5-8周：设计并实现神经体积着色器网络，在 PyTorch 中完成训练与验证，优化损失函数。

第9-12周：将训练好的模型集成至 Unity 引擎，编写实时渲染 Shader，进行性能调优。

第13-14周：撰写毕业论文，整理实验数据与对比结果。

第15-16周：论文修改定稿，准备答辩演示。

## 六、主要参考文献

1. Museth, K. (2021). NanoVDB: A GPU-Friendly and Portable VDB Data Structure For Real-Time Rendering And Simulation. ACM Transactions on Graphics (TOG), 40(4).

2. Lombardi, S., et al. (2019). Neural Volumes: Learning Dynamic Renderable Volumes from Images. ACM Transactions on Graphics (TOG), 38(4).

3. Rainier, G., et al. (2022). Neural Materials: Unified Spectral Rendering of Layered Materials. Computer Graphics Forum.

4. Clarberg, P., et al. (2023). Real-time Neural Appearance Models. SIGGRAPH 2023.

5. Mildenhall, B., et al. (2020). NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. ECCV.

6. NVIDIA. RTX Neural Shaders & Neural Materials SDK Documentation.