即時渲染的技術革命; 看到亂象和希望

影視圖形的發展史本質就是圖形顯示技術的迭代史。

和遊戲領域一樣，在影視作品中，即時渲染同樣是圖像技術的最重要的應用體現。對電影行業來說，即時渲染一直都是電影拍攝前期預覽的重要組成。而其效果將直接影響到想法傳遞的準確性，間接影響到整個製作流程的工作量。而且，隨著即時渲染的效果越來越好，電影從業人員正嘗試將即時渲染引擎加入到後期製作的工作流程當中。

而對電視行業來說，如今我們很熟悉的虛擬攝影棚，就是即時渲染的成熟運用之一。近幾年特別流行的AR/VR/MR，其實早已經在廣電行業的標準工作流程中服務了十幾二十年。

圖形顯示技術的飛速發展，導致在影視行業產生持續的變革。電視虛擬攝影棚的開發廠商，早年在即時渲染中投入大量的研發資源開發渲染引擎，創造自己的工作流程。當這些廠商閉門造車，占山（電視台）為王，相互爭鬥時，遊戲渲染引擎憑藉巨大的用戶量為財力支撐，沉澱了幾十年的圖形技術，這兩年突然跨界打擊（以用戶數量來比較，也可以說降維打擊），插足於影視，建築等多個領域。當觀眾在電視上見到逼真的遊戲引擎帶來的渲染效果時，那些採用舊渲染技術的虛擬攝影棚產品，已然淪為過氣的明星，在舞台上尷尬地不知何去何從。面對船堅砲利突然來犯的外敵，並沒有時間和財力“師夷長技”。能做的唯有死地求生，比別人先抱上外敵的大腿。

我們在上週參加BIRTV，深刻體會到技術對市場的洗牌。每個虛擬攝影棚的廠商，爭相捆綁遊戲引擎Unreal到自己的產品線中。雖然Unreal引擎效果出色，但廠商們不會完全採用Unreal而放棄自己技術過氣的產品，這意味著放棄自己經營多年的產品工作流程。誰都不願意市場重新歸零，跟大批新玩家站在同一起跑線上。所以，所有廠商無奈地採用一種方案：雙引擎(例如V牌,B牌等等)，其實是兩套系統硬生生塞在一起。聽著牛逼，其實挺悲涼的。

說完現狀，我們展望一下未來。最近關注顯示技術的朋友，一定不會錯過Nvidia的大新聞：發布了圖靈架構的RTX平台顯卡，包含兩項最主要的黑科技：硬件實時的光線追踪和人工智能的加持。

光線追踪一直是電腦圖形技術所探求的“聖杯”。這項於1979年就已經提出的算法，一直廣泛應用於非實時的圖形渲染中。其主要概念就是，模擬從觀察者眼睛向每個像素點發出射線，如果遇到物體遮擋，就根據物體表面的折射反射屬性，相應改變射線方向。這樣遞歸幾次，產生最終圖像。相對於光線追踪，傳統渲染方法稱為光柵化渲染，下圖就是光柵化和光線追踪的最明顯區別：

光線追踪的優點是能讓場景渲染得更加逼真，主要是因為以下四點：陰影：在真實環境裡，由於天光的漫射，陰影離投影物體越近越清楚，越遠越模。從對比圖中可以看到，光線追踪的陰影能真實的反映出陰影的這種特性，而無光線追踪則陰影比較生硬和平均。

關於陰影，還有一個特性叫做“環境光遮蔽”（Ambient Occlusion），指的是物體和物體相交或靠近的時候遮擋周圍漫反射光線的效果，簡稱AO。 AO在近兩年遊戲中都有存在。但是光線追踪使AO效果更真實，下圖就是光線追踪AO的區別：

第一張圖是遊戲中常用的SSAO效果，好像只是簡單將物體描邊。而光線追踪的AO則更自然，AO的強弱受到光線的影響。

反射和折射：基於光線追踪算法的特性，天然能很好的表現反射和折射效果。下圖左邊為普通實時渲染效果，右邊是RTX的光線追踪效果。我們可以看到玻璃球折射率能完美的表現出來。

光線追踪在非實時渲染中的開銷巨大，在Maya中，基於場景複雜度，開與不開光線追踪可相差數百倍的渲染時間。隨著顯卡硬體的提升和軟體渲染優化，我們已經能在實時渲染中體驗到光線追踪。而這次RTX將光線追踪加入到硬件GPU渲染管道，據說可以加快6倍的渲染時間。但是，由於硬體性能的限制，估計即使是RTX，光線追踪暫時還只能選擇性局部地運用。

下面是TRX光線追踪實時渲染的技術展示，我們可以體會到渲染質量的飛躍。

接下來是名為NGX的深度學習技術。通過運用NGX，你可以將AI圖形增強技術運用到遊戲等實時渲染中。 NVidia介紹了三種運用：

AI InPainting：類似於Photoshop的內容感知功能，InPainting能將圖像或視頻中的一部分內容抹去，AI自動幫你填充內容。比如說可以用InPainting抹去建築物上的電線，而AI能預測沒有電線應該是什麼樣的，然後幫你填充。

AI Slow-Mo：該技術能將原本低幀率的視頻，計算填充為順滑的高幀率慢動作視頻。

AI Up-Res：能將視頻或圖片以2倍，4倍或8倍無鋸齒放大，AI將計算填充所需像素。與現有濾鏡算法不同的是，AI能估算哪些地方該清楚，哪些地方是景深效果，應該模糊。