IPP2: IMAGE PIPELINE STAGES
IPP2
Vue d’ensemble
IPP2 (Image Processing Pipeline 2) figure dans les caméras RED® avec les capteurs HELIUM®, MONSTRO®, GEMINI® et DRAGON-XTM, bien que tous les clients RED puissent bénéficier de la post-production avec REDCINE-X PRO® et du SDK R3D®. . Un pipeline de traitement d’image englobe toutes les étapes qui vont des données de capteur brutes à une image de sortie à plage dynamique standard («SDR») ou à plage dynamique élevée («HDR»).
Toutes les opérations de nivellement se déroulent désormais dans un seul et même espace de couleur de gamut large et bien défini, les rendant ainsi indépendantes de la sortie. D’autres améliorations de la qualité d’image ont été apportées pour améliorer la netteté / résolution de la démosaïque et la conservation des détails des points saillants, entre autres améliorations.
IPP2 sépare les contrôles techniques, qui sont des références normalisées qui changent rarement, des contrôles créatifs, qui sont uniques au coloriste / production et changent souvent à chaque tournage ou clip. Dans la mesure du possible, les noms et les spécifications des normes de l’industrie sont également utilisés.
ÉTAPES
STAGE |
NAME |
DESCRIPTION |
CONTROLS |
1 |
Primary Raw Development |
Conversion to REDWideGamutRGB |
Kelvin Tint |
Encode to Log3G10 |
ISO |
||
2 |
Grading |
Grading via ASC CDL |
CDL Slope, Offset, Power and Saturation |
Creative 3D LUT allows user to place creative looks (that go beyond the scope of CDL). |
Creative 3D LUT |
||
Tools for fine-tuning existing CDL and 3D LUT results within REDCINE-X PRO. |
Contrast, Curves |
||
3 |
Output Transform |
Development to output color space via gamut mapping algorithm to stop camera colors going out-of-gamut. |
Tone Map Curve (high, medium and low contrast) |
Output encoding to SDR or HDR with highlight roll-off and compression as appropriate. |
Highlight Roll-Off HDR User Nits Limit Output Gamma |
1. PRIMARY RAW DEVELOPMENT
La phase de développement primaire comprend des contrôles techniques indépendants du look, tels que la démosaïque, les ajustements d’exposition et la balance des blancs. La première étape est la démosaïque, qui utilise un nouvel algorithme qui améliore les détails et la netteté, sans chercher à exacerber les aberrations chromatiques axiales.
Après la démosaïque, les données de la caméra sont toujours dans l’espace colorimétrique de la caméra et sont converties en REDWideGamutRGB (RWG), un espace colorimétrique conçu pour englober toutes les couleurs qu’une caméra RED peut générer sans écrêtage. Pour préserver la plage dynamique de la caméra, l’image RWG est codée à l’aide de Log3G10 qui fournit une étendue de surbrillance de 10 arrêts au-dessus du gris moyen, ce qui est plus que suffisant pour une sortie HDR
10 000 nits ou développements bruts de 12 800 ISO.
Il est préférable de penser à Log3G10 comme un grand conteneur pour les données d’image sur une très large gamme de niveaux de luminosité. La «taille» de Log3G10 est suffisamment grande pour éviter l’écrêtage dans toutes les circonstances raisonnables. Il est donc normal que l’image n’utilise pas toute la plage Log3G10. Dans l’appareil photo, un histogramme de journal serait difficile à lire car les données de l’image ne se répandraient pas sur toute la largeur de l’histogramme. Pour éviter ce problème, l’histogramme intégré à l’appareil est mis à l’échelle afin que le bord extrême droit représente toujours le clip du capteur, en fonction des paramètres ISO et de gain d’exposition actuellement utilisés.
2. GRADING
La deuxième étape inclut tous les ajustements créatifs ou stylistiques de l’image. Les opérations de classement de CDL, qui sont standard et bien prises en charge, constituent le cœur de cette partie du pipeline. Pour une apparence plus créative que CDL ne peut en produire, une LUT 3D totalement créative est également prise en charge. Cela peut être utilisé de nombreuses manières, car il est placé dans le pipeline à un point où les données sont encore RWG / Log3G10. Par exemple:
Curves Courbes utilisateur (soit en luminance, soit en R, V, B)
Transformation créative des couleurs (comme l’émulation de films à 3 bandes)
L’aspect du film (soit pour correspondre au stock, ou plus extrême comme le contournement de l’eau de javel) Correction des couleurs secondaire comme le contrôle de saturation par couleur
Bien que le code ne soit pas fourni pour ces LUT 3D, ils sont relativement faciles à créer et des exemples de ces différentes apparences peuvent être fournis. Si une classification supplémentaire doit être effectuée après les CDL et 3D LUT, les outils Contraste et Courbes sont disponibles dans REDCINE-X PRO et appliqués à la fin de la phase de classification.
La section de notation est conçue pour fonctionner avec les données d’entrée et de sortie toujours au format RWG / Log3G10. Cela signifie qu’avec une conception soignée (si vous créez vos propres LUT 3D créatives), la note fonctionnera bien pour l’une des options de transformation de la sortie dans les formats SDR et HDR ainsi que dans les différents espaces colorimétriques de sortie.
3. TRANSFORMATION DE SORTIE / OUTPUT TRANSFORM
La dernière étape comprend les paramètres de sortie ou d’affichage, et ne doit donc pas être traitée dans le cadre du processus de création. La transformation de sortie convertit l’image RWG / Log3G10 en un espace colorimétrique standard prêt à être reproduit via une courbe de codage vers un affichage. La première partie du processus de transformation consiste à utiliser une courbe de carte tonale pour créer un contraste avec l’image (cette option est automatiquement désactivée pour les exportations de lumière linéaire et de journal, et peut être désactivée si vous souhaitez créer votre propre image dans le cadre du processus de transformation. creative 3D LUT), suivie de la conversion de l’espace colorimétrique avec un processus de mappage de gammes afin d’empêcher l’écrêtage des couleurs hors gamme lors de la conversion en gamut plus petit.
À la fin de la transformation de sortie, une réduction de la surbrillance est appliquée sur l’image (pour les sorties SDR et HDR, le cas échéant) et un codage gamma, HDR ou journal. Pour SDR, la désactivation est basée sur l’ensemble de la gamme Log3G10 et comporte des paramètres permettant de la modifier afin de mieux fonctionner avec des scènes très importantes ou plus faibles. Pour le HDR, la désactivation est basée sur les capacités du moniteur. Les points forts HDR peuvent être laissés dans les limites de la plage SMPTE2084 complète de 10 000 nits, ou bien être déplacés pour cartographier toute luminosité supérieure au niveau souhaité.
L’étape Output Transform peut également être encapsulée dans une table de conversion 3D pour une utilisation dans des applications de post-classement. Lors de l’évaluation en dehors des outils RED, l’image est exportée (ou accessible à partir du R3D via le SDK ou ProRes / DNxHD) en utilisant uniquement le développement brut primaire. Toutes les corrections peuvent maintenant être effectuées sur les données RWG / Log3G10 et le cube Output Transform peut être sélectionné pour produire l’image de sortie souhaitée.
3D CUBE LUTS ET IPP2
Les LUT 3D Cube constituent une partie importante des flux de travail modernes. Il est donc important de comprendre leurs types, de déterminer comment les utiliser au mieux, et comment ils peuvent s’intégrer dans un flux de travail IPP2.
TYPES DE LUTS 3D
Bien qu’il existe de nombreux formats de fichier pour les tables de correspondance 3D et que de nombreuses tailles de cube soient utilisées, «type» fait référence au contenu de la table de conversion 3D, à son incidence sur votre image et à son emplacement prévu.
DESCRIPTION |
|||
Creative |
usually log |
same as input |
Only does creative adjustments to the image. These 3D LUTs do not change color space or linearity. |
Output Transform (technical 3D LUT) |
log |
gamma or HDR encoding |
Takes a log image and does necessary color space and linearity transforms to make an image that can be viewed correctly on a specific display. |
Combined Creative and Output Transform |
log |
gamma or HDR encoding |
Combines creative adjustments and an Output Transform into a single 3D LUT. |
Étant donné que les différents types de LUT 3D fonctionnent différemment, produisent des sorties différentes et nécessitent des entrées spécifiques, il est essentiel de les utiliser correctement.
Les transformations de sortie sont souvent appelées «LUT techniques» car leur nature est la transformation «technique» ou mathématique d’un espace colorimétrique ou d’une linéarité à un autre.
UTILISATION PRÉFÉRÉE DES LITS 3D DANS IPP2
Les tables de correspondance 3D pour IPP2 doivent être soit purement créatives, soit transformées en sortie. Dans IPP2, les tables de correspondance 3D ne s’appliquent qu’aux images situées dans l’espace colorimétrique REDWideGamutRGB (RWG) avec codage Log3G10, que ce soit implicitement lorsque des tables de correspondance 3D purement créatives sont utilisées dans l’appareil photo ou REDCINE-X PRO, ou explicitement lorsque le métrage IPP2 est dégradé. dans une application tierce.
Les LUT 3D purement créatives peuvent être utilisées avec l’appareil photo et dans REDCINE-X PRO pour modifier l’aspect de l’image au-delà de ce que peuvent réaliser les contrôles de gradation de base. Comme ces LUT 3D purement créatives ne contiennent aucune conversion d’espace colorimétrique ni de linéarité, elles peuvent être utilisées sans devoir être spécialement adaptées à votre environnement de contrôle.
Par exemple, supposons qu’une LUT 3D créative soit appliquée via l’option LUT 3D intégrée à l’appareil. Cette 3D créative LUT est bien conçue et donne à l’image un aspect intéressant de contournement de l’agent de blanchiment. Etant donné que les transformations de sortie IPP2 sont indépendantes de et se produisent après l’application de cette LUT 3D créative appliquée, l’utilisateur peut surveiller la plage dynamique standard (SDR) sur l’écran LCD de l’appareil photo, mais également transmettre une image à plage dynamique élevée (HDR) via HD-SDI à son professionnel. Moniteur HDR. De la même manière, lorsque l’utilisateur introduit ses séquences dans la post-production, il peut utiliser la même LUT 3D créative qu’il a utilisé sur le plateau, en s’assurant simplement que la transformation de sortie IPP2 correcte est en place pour leur environnement de visualisation. Cette indépendance de sortie est un avantage clé du flux de travail IPP2.
Lorsque IPP2 est utilisé dans l’appareil photo ou dans REDCINE-X PRO, l’indépendance de la sortie est obtenue grâce à la possibilité de sélectionner la transformation de sortie appropriée pour l’environnement de visualisation. Cette transformation de sortie est appliquée à l’image sous forme mathématique plutôt que via une table de conversion 3D, mais pour aider à la grande variété d’environnements d’étalonnage et VFX dans lesquels IPP2 peut être utilisé, les transformations de sortie de IPP2 peuvent être transformées en tables de correspondance 3D.
IPP2 3D LUT TYPE |
INPUT |
OUTPUT |
DESCRIPTION |
Creative |
RWG/Log3G10 |
RWG/Log3G10 |
Only does creative adjustments to the image. These 3D LUTs do not change color space or linearity. |
Output Transform |
RWG/Log3G10 |
gamma or HDR encoding with user choice of color space |
Takes a RWG/Log3G10 image and does necessary color space and linearity transforms to make an image that can be viewed correctly on a specific display. |
CONCEPTION DE LUTS CRÉATIFS
Les tables de lecture créatives peuvent être conçues de nombreuses manières, mais généralement via un algorithme ou via l’action d’un ensemble de données mesurées. Dans les deux cas, mais surtout lorsque vous travaillez avec un ensemble de données pour produire une correspondance empirique avec un aspect existant, il est important de considérer ce que la LUT créative fait sur la gamme de couleurs et la plage dynamique des données RWG / Log3G10.
Lorsque vous utilisez une approche empirique, la LUT créative résultante limite souvent la plage dynamique et l’espace colorimétrique à ceux de l’image de sortie de comparaison. Par exemple, si l’image de sortie de comparaison cible une plage dynamique standard et l’espace colorimétrique REC709, le Creative LUT peut également limiter la plage dynamique et l’espace colorimétrique. Cela signifie que même si dans IPP2 vous pourrez toujours sélectionner des sorties HDR ou large gamme (REC2020 par exemple), l’image ne pourra pas en tirer parti et ressemblera à une image SDR REC709 reformatée pour ce HDR ou cette image. large gamme d’affichage. Cela limite considérablement les capacités de l’IPP2 et risque de produire des résultats insatisfaisants, en particulier en ce qui concerne le changement de l’ISO ou de l’exposition, la courbe de la carte tonale et la décoloration en surbrillance.
IMAGE FLOW
In camera or REDCINE-X PRO:
Using 3rd party grading application:
INTERPOLATION