Deep Learning Super Sampling - Deep learning super sampling

Deep Learning Supersampling ( DLSS ) ist eine zeitliche Bild Upscaling - Technologie entwickelt von Nvidia und exklusiv für Nvidia - Grafikkarten für Echtzeit - Einsatz in ausgewählten Videospielen, mit tiefen Lernen zu gehobenen Bildern mit niedriger Auflösung zu einer höheren Auflösung für die Anzeige auf höheren -Auflösung Computermonitore. Nvidia behauptet, dass diese Technologie Bilder mit einer Qualität hochskaliert, die der des nativen Renderns des Bildes in der höheren Auflösung ähnelt, jedoch mit weniger Rechenaufwand durch die Grafikkarte, was höhere Grafikeinstellungen und Bildraten für eine bestimmte Auflösung ermöglicht. Nvidia behauptet, „DLSS 2.0 bietet eine mit der nativen Auflösung vergleichbare Bildqualität“.

Ab Juni 2021 ist diese Technologie exklusiv für GPUs der GeForce RTX 20- und GeForce RTX 30- Serie verfügbar .

Geschichte

Nvidia bewarb DLSS als Schlüsselfeature der GPUs der GeForce RTX 20- Serie, als sie im September 2018 auf den Markt kamen. Damals beschränkten sich die Ergebnisse auf wenige Videospiele (nämlich Battlefield V und Metro Exodus ), da der Algorithmus speziell trainiert werden musste bei jedem Spiel, auf das es angewendet wurde, und die Ergebnisse waren normalerweise nicht so gut wie einfaches Hochskalieren der Auflösung.

Im Jahr 2019 wurde das Videospiel Control mit Raytracing und einer verbesserten Version von DLSS ausgeliefert, die die Tensor-Kerne nicht verwendet.

Im April 2020 angekündigt und Nvidia mit ausgeliefert Treiber - Version 445,75 eine verbesserte Version von DLSS namens DLSS 2.0, die für ein paar vorhandenen Spiele , darunter vorhanden war Kontrolle und Wolfenstein: Youngblood , und würde zur Verfügung steht später für die kommenden Spiele. Diesmal sagte Nvidia, dass es wieder die Tensor-Cores verwendet und dass die KI nicht für jedes Spiel speziell trainiert werden muss.

Ab Juli 2021 muss DLSS 2.0 noch pro Spiel von den Spieleentwicklern eingebunden werden .

Veröffentlichungsverlauf

Veröffentlichung Veröffentlichungsdatum Höhepunkte
1.0 Februar 2019 Erste Version, die KI verwendet und speziell für bestimmte Spiele trainiert wurde, darunter Battlefield V und Metro Exodus
2.0 (erste Iteration) August 2019 Erste 2.0-Version, auch als Version 1.9 bezeichnet, verwendet eine angenäherte KI der laufenden Version 2.0, die auf den CUDA-Shader-Kernen läuft und speziell für Control angepasst ist
2.0 (zweite Iteration) April 2020 Zweite 2.0-Version, wieder Tensor Cores verwenden und generisch trainiert

Qualitätsvoreinstellungen

Standard-DLSS-Voreinstellungen
Qualitätsvoreinstellung Skalierungsfaktor Maßstab rendern
Qualität 1,50x 66,6%
Ausgewogen 1,72x 58,0 %
Leistung 2,00x 50,0 %
Ultra-Performance seit v2.1 3.00x 33,3%

Algorithmus

DLSS 1.0

Nvidia erklärte, dass DLSS 1.0 für jedes Bild des Zielspiels funktionierte, indem es mit traditionellem Supersampling einen "perfekten Frame" erzeugte und dann das neuronale Netzwerk auf diese resultierenden Bilder trainierte . In einem zweiten Schritt wurde das Modell trainiert, um Alias-Eingaben am Anfangsergebnis zu erkennen.

DLSS 2.0

DLSS 2.0 funktioniert wie folgt:

  • Das neuronale Netz wird von Nvidia mit "idealen" Bildern von Videospielen mit ultrahoher Auflösung auf Supercomputern und Bildern mit niedriger Auflösung derselben Spiele trainiert. Das Ergebnis wird im Grafikkartentreiber gespeichert . Es wird gesagt, dass Nvidia DGX-1- Server verwendet, um das Training des Netzwerks durchzuführen.
  • Das auf dem Treiber gespeicherte neuronale Netz vergleicht das tatsächliche Bild mit niedriger Auflösung mit dem Referenzbild und erzeugt ein vollständig hochauflösendes Ergebnis. Die von dem trainierten neuronalen Netz verwendeten Eingaben sind die von der Spiel-Engine gerenderten Alias- Bilder mit niedriger Auflösung und die Bewegungsvektoren mit niedriger Auflösung aus denselben Bildern, die ebenfalls von der Spiel-Engine erzeugt werden. Die Bewegungsvektoren teilen dem Netzwerk mit, in welche Richtung sich Objekte in der Szene von Bild zu Bild bewegen, um abzuschätzen, wie das nächste Bild aussehen wird.

Die Architektur

DLSS ist nur auf GPUs der GeForce RTX 20- und GeForce RTX 30- Serie in dedizierten KI-Beschleunigern namens Tensor Cores verfügbar .

Tensor-Cores sind seit der Nvidia Volta GPU- Mikroarchitektur verfügbar , die erstmals in der Tesla V100-Produktlinie verwendet wurde. Ihre Besonderheit besteht darin, dass jeder Tensor-Kern auf 16-Bit- Gleitkomma- 4 x 4-Matrizen arbeitet und für die Verwendung auf CUDA- C++-Ebene, sogar auf Compiler- Ebene , ausgelegt zu sein scheint .

Die Tensor-Cores verwenden CUDA Warp- Level-Primitives auf 32 parallelen Threads, um ihre parallele Architektur zu nutzen. Ein Warp ist ein Satz von 32 Threads, die so konfiguriert sind, dass sie denselben Befehl ausführen.

Siehe auch

Verweise