神經渲染是一項融合機器學習與計算機圖形學的研究領域，它利用深度神經網路對場景進行建模與渲染，以學習的方式擬合複雜的光線傳輸過程。該技術在2025年的國際消費電子展（CES）上被展示。
該領域代表性的方法包括神經輻射場（NeRF）。神經渲染技術主要可分為基於隱式神經表示、基於顯式或混合表示以及基於Transformer架構的通用渲染模型等幾大技術路線。2025年，微軟亞洲研究院提出的RenderFormer模型探索無需依賴傳統光線追蹤或光柵化過程的泛用性渲染管線。同年，上海交通大學馮宇等人的研究成果“MetaSapiens: Real-Time Neural Rendering with Efficiency-Aware Pruning and Accelerated Foveated Rendering”獲得了計算機體系結構國際會議ASPLOS 2025的最佳論文獎。神經網路渲染技術已被集成至一些超解析度技術中。2026年3月，英偉達發布DLSS 5，首次引入實時神經網路渲染模型。神經網路渲染的套用領域包括遊戲、影視、虛擬現實、工業仿真、自動駕駛以及醫療健康等，在地理信息與數字孿生領域也有套用探索。
基本介紹
- 中文名：神經渲染
- 別名：神經網路渲染
技術原理與特點,發展歷程,主要技術方法,套用領域,研究進展與產業動態,未來展望,
技術原理與特點
神經渲染是計算機圖形學與機器學習（深度學習）的交叉領域，利用深度神經網路對場景進行建模與渲染。它以學習的方式建模光線傳播過程，能夠高效擬合複雜的光線傳輸過程，而無需理解和處理底層的物理光學邏輯。區別於傳統依賴顯式光線追蹤或光柵化的方法，機器學習模型可以學習並實現一個泛用性的渲染管線。
相比傳統渲染技術，神經網路渲染通過機器學習自動最佳化光照、材質等參數，減少手工干預，並能在較短時間內生成圖像。其實時渲染模型將生成式人工智慧與傳統渲染技術結合，可在遊戲中實現高真實感的光照與材質效果。例如，英偉達於2026年3月發布的DLSS 5技術首次引入實時神經網路渲染模型，將生成式AI與傳統渲染技術融合，能根據遊戲幾何、運動信息和語義標籤實時生成全局光照、反射、材質細節等。它可以與其他人工智慧模組結合進行端到端訓練，協同最佳化特定任務表現。神經網路渲染套用領域包括遊戲、影視、虛擬現實等。
發展歷程
科研人員逐漸開始將神經網路用於渲染過程，並衍生出神經網路渲染(neural rendering)這一研究領域。自2020年研究人員提出神經輻射場(NeRF)模型以來，新視圖合成的性能得到提升。2025年，微軟亞洲研究院提出的RenderFormer模型表明，無需依賴顯式的光線追蹤或光柵化過程，機器學習模型也可以學習並實現一個泛用性的計算機圖形學渲染管線，支持任意場景的輸入以實現全局光照效果。神經網路渲染是一項由NVIDIA在2025年國際消費電子展（CES）期間公布並計畫整合至DirectX生態的圖像渲染技術。
2026年3月17日，英偉達在GTC大會發布DLSS 5技術，該技術被定義為一種生成式AI實時神經渲染，能根據遊戲幾何、運動信息和語義標籤實時生成全局光照、反射、材質細節等，被視為一項重要進展，並計畫於2026年秋季隨新驅動上線。
主要技術方法
神經渲染技術主要可分為基於隱式神經表示、基於顯式或混合表示以及基於Transformer架構的通用渲染模型等幾大技術路線。
神經輻射場（NeRF）通過隱式函式表示場景，學習從空間點到顏色和密度的映射，實現高質量的新視圖合成。它是神經渲染領域的奠基性工作之一，其影響力體現在獲得SIGGRAPH最佳論文獎並被後續諸多研究作為基礎。
基於點的神經渲染（PBNR），即3D高斯濺射算法，利用輕量級的基於點的光柵化代替NeRF中計算密集的多層感知機（MLPs），從而顯著提高渲染速度，實現實時渲染。上海交通大學馮宇老師團隊的MetaSapiens研究通過效率感知剪枝和注視點渲染等方法，在移動設備上實現了實時PBNR。
RenderFormer基於Transformer架構，將場景表達為三角形token，通過視角無關和視角相關Transformer實現全局光照渲染，支持任意場景輸入，無需依賴傳統光線追蹤或光柵化。其訓練數據基於Objaverse數據集和Blender渲染構建，模型規模為205M參數。該模型由微軟亞洲研究院提出，首次展示了全新的圖形渲染能力，可在不依賴傳統光線追蹤或光柵化的前提下，僅通過神經網路就能實現支持任意場景輸入且具備全局光照效果的3D渲染，為構建渲染領域的基礎模型邁出了關鍵一步。其基本架構將場景輸入由三維空間中的三角形格線（triangle token）表達，每個三角形包含其三維空間位置、法線方向以及物理光學材質屬性。視角輸入信息通過視線映射圖（ray map）實現。網路架構分為視角無關和視角相關兩個部分，設計了view independent Transformer和view dependent Transformer。
光場神經渲染（LFNR）與通用模型（GPNR）使用Transformer序列處理參考圖像patch以合成新視圖，致力於解決模型泛化性問題。LFNR使用兩個Transformer序列，而GPNR通過引入三個Transformer序列和規範化位置編碼，進一步提升了在新場景上的泛化能力。
高解析度神經渲染方法通過訓練兩個神經網路分別處理位置和方向數據，並快取中間結果（輻射分量和加權方案），以實現高效的體積渲染。
套用領域
在遊戲娛樂領域，神經網路渲染技術可以套用於遊戲，例如NVIDIA的DLSS技術是神經網路渲染的套用之一。2026年3月，NVIDIA公布了DLSS 5（計畫於秋季推出），引入了實時神經網路渲染模型，將生成式AI與傳統渲染技術結合，以實現高真實感的光照與材質效果，並有助於提升渲染效率。該技術已獲得部分遊戲開發者的套用，支持的遊戲包括一些大型作品。該技術有助於提升遊戲幀率與性能，並能根據玩家差異提供不同的遊戲體驗。有觀點認為，未來遊戲畫面的生成可能與AI技術進一步結合。
在影視與虛擬現實領域，神經網路渲染可以套用於影視、虛擬現實。這項技術可以在較短時間內生成圖像，提升實時渲染場景的生成效率，並能實時生成動態場景。神經網路渲染技術將整合至DirectX生態，2025年4月的Microsoft DirectX預覽版中會增加神經網路著色技術支持。
在工業仿真與自動駕駛領域，神經網路渲染的套用包括自動駕駛模擬。該技術可用於構建高真實度虛擬環境，用於自動駕駛算法訓練與測試。
在醫療健康領域，神經網路渲染的套用包括醫學成像。該技術在輔助生成或增強醫學影像方面具有套用潛力。
在地理信息與數字孿生領域，例如“奇境MAX”引擎融合了神經渲染、數字孿生等技術。該引擎基於深度神經網路和物理引擎的神經渲染技術，可生成立體場景模型，支持用戶從多時段、多角度查看場景。用戶可以通過手機地圖查看不同角度、不同時間段的景點立體模型。
在數字人與3D內容生成領域，以神經輻射場（NeRF）為代表的神經網路渲染技術是計算機圖形學的研究方向之一。該技術涉及高精度數字人建模渲染的研究。例如，視頻驅動神經面部資產（NPFA）方法將4D PBR掃描技術與神經網路表達相結合，可用於生成視頻驅動的人臉效果。這有助於降低高精度數字人的製作成本，減少部分重複性工作，拓展數字人的套用場景。
研究進展與產業動態
2025年，微軟亞洲研究院提出的RenderFormer模型被SIGGRAPH 2025接收，並在GitHub上開源。同年，上海交通大學馮宇等人的研究成果“MetaSapiens: Real-Time Neural Rendering with Efficiency-Aware Pruning and Accelerated Foveated Rendering”獲得了計算機體系結構國際會議ASPLOS 2025的最佳論文獎。神經網路渲染技術在2025年的國際消費電子展（CES）上被展示，並計畫整合至DirectX生態。2025年，英偉達發布了基於Unreal Engine 5的Zorah神經渲染技術演示。在2025年的Hot Chips大會上，英偉達展示了神經網路渲染技術。2025年，NVIDIA研究中心在SIGGRAPH大會上展示了神經渲染相關研究。
未來展望
面向真正泛化的神經網路渲染，目前仍有很多亟待探索的方向。神經網路渲染被認為將徹底改變3D圖形生成與渲染流程。例如，NVIDIA於2026年宣布的DLSS 5技術即被官方稱為遊戲圖形的“GPT時刻”，它作為生成式AI實時神經渲染，標誌著遊戲畫面從“AI渲染增強”走向“AI實時生成”，可能引領PC遊戲進入AI驅動的新時代。
研究正致力於擴展神經渲染模型的場景泛用性，以支持更大規模的場景、更多的三角形輸入、更複雜的材質屬性以及更逼真的環境光照效果。
得益於Transformer等架構的兼容性，神經渲染模型有望與視頻生成、圖像生成、具身智慧型、世界模型等其他人工智慧模型深度融合。
為滿足神經渲染巨大的計算需求並提升能效比，學術界與產業界正在開發面向神經渲染的專用處理器晶片架構，旨在實現片上全流程渲染。
未來的3D內容製作可能從依賴手工調整三角形格線和材質參數的傳統模式，轉變為更多依賴於AI對幾何、材質與場景的自動理解與生成，從而為遊戲、影視、虛擬現實、自動駕駛模擬、醫學成像等多個領域帶來更高效與智慧型的工具。
