Zaawansowane metody renderingu

Opis kursu:

1. Cele przedmiotu Kurs w zamierzeniu składa się z 15h podzielonych na 4 części (4 spotkania stacjonarne), stanowiących całość o charakterze wykładowo laboratoryjnym. Ze względu na ograniczenia czasowe część laboratoryjna będzie dominująco oparta na gotowych narzędziach (m.in. implementacje sieci neuronowych) i pozwoli przetestować jedynie wybrane (istotne) pojęcia z wykładu.

  1. Część 1: Ogólna teoria renderingu: podstawowe wielkości radiometryczne, funkcja BRDF i inne wielkości mierzące odbicie, równanie transportu, równanie renderingu, równanie potencjału jako równanie sprzężone do równania renderingu, wyprowadzenie głównych postaci równania renderingu.
  2. Część 2: Globalne metody oświetlenia: śledzenie ścieżek (path tracing), dwukierunkowe śledzenie ścieżek (bidirectional path tracing), śledzenie cząstek (particle tracing), śledzenie fotonów (photon tracing), współczesna algorytmika RTX (ray reconstruction, super resolution), metody Monte Carlo i quasi Monte Carlo, rendering wolumetryczny
  3. Część 3 oraz Część 4: Neural Radiance Fields (NeRF)oraz 3D Gaussian Splatting (3DGS) – sieci rekonstruujące złożone sceny 3D z obrazów 2D I umożliwiające generowanie nowych widoków (w ogólności przynależą do algorytmiki typu Image-Based Rendering). Pierwsza z nich oblicza scenę jako ciągłe pole (funkcję na dziedzinie 5D), używając sieci MLP oraz renderingu wolumetrycznego. Druga umożliwia generowanie nowych widoków w czasie rzeczywistym. W odróżnieniu od ciągłej struktury sceny generowanej przez NeRF w tym przypadku reprezentacja jest dyskretna i składa się ze skończonej ilości elipsoid reprezentujących lokalne własności sceny. W szczególności do reprezentacji koloru stosuje się w tym przypadku harmoniki sferyczne, a sam proces renderingu wykorzystuje technikę splattingu.

Wymagania:

  1. Analiza matematyczna wielu zmiennych, ), grafika komputerowa 3D (na poziomie OpenGL).
  2. uczenie maszynowe na poziomie ogólnego rozumienia sieci neuronowych (MLP, CNN)
  3. grafika komputerowa 3D (na poziomie OpenGL).
  4. Umiejętność programowania co najmniej w języku python

Literatura:

  1. Pharr M., Humphreys G., Physically Based Rendering: From Theory to Implementation, 4-th ed., MIT Press, 2023.
  2. Arvo, J.R., Transfer Equations in Global Illumination, SIGGRAPH 1993
  3. Akenine-Möller T., Haines E., Hoffman N., Real-Time Rendering, AK Peters/CRC Press, 2018
  4. Kerbl, B., Kopanas, G., Leimkühler, T., & Drettakis, G. (2023). 3D Gaussian Splatting for RealTime Radiance Field Rendering. ACM Transactions on Graphics (TOG), 42(4), 1-14. (Presented at SIGGRAPH)
  5. Mildenhall, B., Srinivasan, P. P., Tancik, M., Barron, J. T., Ramamoorthi, R., & Ng, R. (2020). NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. In Proceedings of the European Conference on Computer Vision (ECCV) (pp. 405-421).