Skalierbare Videocodierung - Scalable Video Coding

Nicht zu verwechseln mit Scalable Video Technology – Intels Software-Encoder-Familie, die SVT-AV1 , SVT-VP9 und SVT-HEVC umfasst.

Scalable Video Coding: ( SVC ) ist die Bezeichnung für die Annex-G-Erweiterung des H.264/MPEG-4 AVC -Videokomprimierungsstandards. SVC standardisiert die Codierung eines hochwertigen Video-Bitstreams, der auch einen oder mehrere Teilmengen-Bitstreams enthält (eine Form der geschichteten Codierung ). Ein Teilmengen-Videobitstrom wird durch Verwerfen von Paketen aus dem größeren Video abgeleitet, um die für den Teilmengen-Bitstrom erforderliche Bandbreite zu reduzieren. Der Teilmengenbitstrom kann eine niedrigere räumliche Auflösung (kleinerer Bildschirm), eine niedrigere zeitliche Auflösung (niedrigere Bildrate) oder ein Videosignal geringerer Qualität darstellen. H.264/MPEG-4 AVC wurde gemeinsam von ITU-T und ISO / IEC JTC 1 entwickelt . Diese beiden Gruppen gründeten das Joint Video Team (JVT), um den H.264/MPEG-4 AVC-Standard zu entwickeln.

Überblick

Das Ziel der SVC-Standardisierung bestand darin, die Codierung eines hochwertigen Video-Bitstreams zu ermöglichen, der einen oder mehrere Teilmengen-Bitstreams enthält, die selbst mit einer ähnlichen Komplexität und Rekonstruktionsqualität decodiert werden können, wie sie mit dem bestehenden H.264/MPEG- 4 AVC-Design mit der gleichen Datenmenge wie im Subset-Bitstream. Der Teilmengen-Bitstrom wird durch Verwerfen von Paketen aus dem größeren Bitstrom abgeleitet.

Ein Teilmengen-Bitstrom kann eine niedrigere räumliche Auflösung (kleinerer Bildschirm) oder eine niedrigere zeitliche Auflösung (niedrigere Bildrate) oder ein Videosignal geringerer Qualität (jeweils einzeln oder in Kombination) im Vergleich zu dem Bitstrom darstellen, von dem er abgeleitet wird. Folgende Modalitäten sind möglich:

  • Zeitliche (Bildrate) Skalierbarkeit: Die Abhängigkeiten der Bewegungskompensation sind so strukturiert, dass vollständige Bilder (dh ihre zugehörigen Pakete) aus dem Bitstrom entfernt werden können. Zeitliche Skalierbarkeit ist bereits durch H.264/MPEG-4 AVC aktiviert (auch in einigen anderen Formaten wie VP8 verfügbar ). SVC hat nur ergänzende Verbesserungsinformationen bereitgestellt, um seine Nutzung zu verbessern.
  • Räumliche (Bildgröße) Skalierbarkeit: Video wird mit mehreren räumlichen Auflösungen codiert. Die Daten und decodierten Abtastwerte niedrigerer Auflösungen können verwendet werden, um Daten oder Abtastwerte höherer Auflösungen vorherzusagen, um die Bitrate zum Kodieren der höheren Auflösungen zu reduzieren.
  • SNR/Quality/Fidelity-Skalierbarkeit: Video wird mit einer einzigen räumlichen Auflösung, aber mit unterschiedlichen Qualitäten codiert. Die Daten und decodierten Abtastwerte geringerer Qualität können verwendet werden, um Daten oder Abtastwerte höherer Qualität vorherzusagen, um die Bitrate zu reduzieren, um die höheren Qualitäten zu codieren.
  • Kombinierte Skalierbarkeit: eine Kombination der 3 oben beschriebenen Skalierbarkeitsmodalitäten.

SVC ermöglicht die Aufwärtskompatibilität für ältere Hardware: Derselbe Bitstream kann von Basishardware verwendet werden, die nur eine Teilmenge mit niedriger Auflösung (dh 720p oder 1080i ) decodieren kann , während fortschrittlichere Hardware einen Videostream in hoher Qualität ( 1080p ) decodieren kann .

Hintergrund und Anwendungen

Die Bitstrom-Skalierbarkeit für Video ist ein wünschenswertes Merkmal für viele Multimediaanwendungen. Der Bedarf an Skalierbarkeit ergibt sich aus den Anforderungen an eine anmutige Verschlechterung der Übertragung oder dem Anpassungsbedarf für räumliche Formate, Bitraten oder Leistung. Um diese Anforderungen zu erfüllen, ist es vorteilhaft, dass Video gleichzeitig mit einer Vielzahl von räumlichen oder zeitlichen Auflösungen oder Qualitäten übertragen oder gespeichert wird, was der Zweck der Video-Bitstrom-Skalierbarkeit ist.

Herkömmliche digitale Videoübertragungs- und -speichersysteme basieren auf H.222.0 / MPEG-2 TS- Systemen für Rundfunkdienste über Satellit, Kabel und terrestrische Übertragungskanäle und für DVD- Speicherung oder auf H.320 für Konversations-Videokonferenzdienste. Diese Kanäle zeichnen sich typischerweise durch ein festes räumlich-zeitliches Format des Videosignals aus ( SDTV oder HDTV oder CIF für H.320-Videotelefon). Das Anwendungsverhalten in solchen Systemen fällt typischerweise in eine der beiden Kategorien: es funktioniert oder es funktioniert nicht. [1]

Moderne Videoübertragungs- und -speichersysteme, die das Internet und mobile Netzwerke nutzen, basieren typischerweise auf RTP / IP für Echtzeitdienste (Gespräch und Streaming) und auf Computerdateiformaten wie mp4 oder 3gp . Die meisten RTP/IP-Zugangsnetze zeichnen sich typischerweise durch eine Vielzahl von Verbindungsqualitäten und Empfangsgeräten aus. Die unterschiedliche Verbindungsqualität resultiert aus adaptiven Mechanismen zur gemeinsamen Nutzung von Ressourcen dieser Netzwerke, die die zeitvariablen Datendurchsatzanforderungen einer unterschiedlichen Anzahl von Benutzern berücksichtigen. Die Vielfalt an Geräten mit unterschiedlichen Fähigkeiten, die von Mobiltelefonen mit kleinen Bildschirmen und eingeschränkter Rechenleistung bis hin zu High-End-PCs mit hochauflösenden Displays reichen, resultiert aus der kontinuierlichen Weiterentwicklung dieser Endpunkte.

Skalierbare Videocodierung (SVC) ist eine Lösung für die Probleme, die sich aus den Eigenschaften moderner Videoübertragungssysteme ergeben. Die folgenden Videoanwendungen können von SVC profitieren:

  • Streaming
  • Konferenzen
  • Überwachung
  • Übertragung
  • Lager

Geschichte und Zeitleiste

  • Oktober 2003: Die Moving Picture Experts Group (MPEG) veröffentlicht einen Aufruf zur Einreichung von Vorschlägen zur SVC-Technologie.
  • April 2004: Vierzehn Vorschläge wurden eingereicht; zwölf basierten auf der Komprimierung durch Wavelets und zwei waren Erweiterungen von H.264/MPEG-4 AVC.
  • Oktober 2004: Der Vorschlag der Arbeitsgruppe Bildkommunikation des Heinrich-Hertz-Instituts (HHI) wurde von MPEG als Ausgangspunkt für ihr SVC-Standardisierungsprojekt gewählt.
  • Januar 2005: MPEG und die Video Coding Experts Group (VCEG) haben vereinbart, das SVC-Projekt als Ergänzung des H.264/MPEG-4 AVC-Standards zu standardisieren.
  • Juli 2007: Das SVC-Projekt erhält die endgültige Genehmigung

Profile und Ebenen

Als Ergebnis der Erweiterung Scalable Video Coding enthält der Standard fünf zusätzliche skalierbare Profile : Scalable Baseline, Scalable High, Scalable High Intra, Scalable Constrained Baseline und Scalable Constrained High Profile. Diese Profile sind als Kombination aus dem H.264/MPEG-4 AVC-Profil für die Basisschicht (2. Wort im skalierbaren Profilnamen) und Tools definiert, die die skalierbare Erweiterung erreichen:

  • Skalierbares Basisprofil : Hauptsächlich für Konversations-, Mobil- und Überwachungsanwendungen.
    • Ein Bitstream, der dem Scalable Baseline-Profil entspricht, enthält einen Base-Layer-Bitstream, der einer eingeschränkten Version des Baseline-Profils von H.264/MPEG-4 AVC entspricht.
    • Unterstützt B-Slices, gewichtete Prädiktion, CABAC- Entropiecodierung und 8×8-Luma-Transformation in Enhancement-Schichten (CABAC und die 8×8-Transformation werden nur für bestimmte Ebenen unterstützt), obwohl die Basisschicht dem eingeschränkten Basislinienprofil entsprechen muss, das unterstützt diese Tools nicht. Codierungstools für Interlaced-Quellen sind nicht enthalten.
    • Die räumlich skalierbare Codierung ist auf Auflösungsverhältnisse von 1,5 und 2 zwischen aufeinanderfolgenden räumlichen Schichten sowohl in horizontaler als auch in vertikaler Richtung und auf Makroblock-ausgerichtetes Zuschneiden beschränkt.
    • Qualität und zeitlich skalierbare Codierung werden uneingeschränkt unterstützt.
  • Skalierbares High Profile : In erster Linie für Broadcast-, Streaming-, Speicher- und Videokonferenzanwendungen konzipiert.
    • Ein Bitstream, der dem Scalable High-Profil entspricht, enthält einen Basisschicht-Bitstream, der dem High-Profil von H.264/MPEG-4 AVC entspricht.
    • Unterstützt alle Tools, die in der Erweiterung Scalable Video Coding angegeben sind.
    • Räumlich skalierbare Codierung ohne Einschränkung, dh beliebige Auflösungsverhältnisse und Beschneidungsparameter werden unterstützt.
    • Qualität und zeitlich skalierbare Codierung werden uneingeschränkt unterstützt.
  • Skalierbares hohes Intra-Profil : Hauptsächlich für professionelle Anwendungen entwickelt.
    • Verwendet nur Instantaneous Decoder Refresh (IDR)-Bilder. IDR-Bilder können ohne Bezugnahme auf vorherige Frames dekodiert werden.
    • Ein Bitstream, der dem Scalable High Intra-Profil entspricht, enthält einen Basisschicht-Bitstream, der dem High-Profil von H.264/MPEG-4 AVC entspricht, wobei nur IDR-Bilder zulässig sind.
    • Alle Skalierbarkeitswerkzeuge sind wie in Scalable High Profile zulässig, aber nur IDR-Bilder sind in jeder Ebene zulässig.
  • Skalierbares eingeschränktes Basislinienprofil
  • Skalierbares eingeschränktes hohes Profil

Siehe auch

Verweise

  1. ^ Entwurf IETF, P. Westin, H. Lundin, M. Glover, J. Uberti, F. Galligan, „RTP-Nutzlastformat für VP8-Video“

Externe Links

Vorstellung und Überblick

( Wayback-Maschinenkopie )

Normungsausschuss

Sonstiges