3.2.1
Mod´elisation
En vid´eo, l’image `a afficher a longtemps constitu´e une entit´e ´el´ementaire. Cepen- dant, d`es ses d´ebuts, cette image tirait profit des propri´et´es de l’œil : la persistance r´etinienne permet de diviser l’image en deux trames ou fields. La premi`ere trame n’af- fiche que les lignes paires `a la date n tandis que la seconde affichent les lignes impaires `a la date n + 1. L’image compl`ete est reconstruite au niveau du cerveau humain.
Avec l’´emergence des normes de compression num´eriques, les ann´ees 90 ont in- troduit la notion de blocs et macroblocs dont le pavage compose l’image compl`ete. Les ´evolutions r´ecentes ont vu l’apparition des notions d’objets visuels et de composition. Une image est d´esormais segment´ee en plusieurs objets ind´ependants. Une gestion de ces objets est alors mise en place permettant `a un compositeur (logiciel ou mat´eriel) de reconstruire l’image avant de la pr´esenter. En particulier, la norme MPEG-4 supporte
High−Order Primitive Tesselation Vertex
Data
Pipeline géométrique Mélange pixel et texture Transformation and Lighting Engine Vertex Shaders Viewports and Clipping Directx 6/7 Multitexturing Pixel Shaders Fog Blending Alpha, Stencil and Depth Testing FrameBuffer Blending Balayage
Fig. 3.8 – Pipeline graphique int´egrant des parties programmables.
diff´erents types d’objets visuels : objets vid´eo, naturellement, mais aussi des objets re- group´es sous la d´enomination SNHC (Synthetic/Natural Hybrid Coding). Parmi ceux-ci, notons des objets compos´es d’un r´eseau maill´e d´eformable, des objets « texte », « tex- ture » et/ou des sprite contenant tous les pixels d’une mˆeme s´equence vid´eo [29].
3.2.2
Codage num´erique des images
Les groupes de normalisation MPEG (Moving Picture Expert Group) de l’ISO (l’organisation internationale de normalisation) ont contribu´e au d´eveloppement de nom- breuses normes de compression vid´eo dont les principes ont ´et´e repris par ailleurs. Le codage comprend trois op´erations principales :
– Estimation de mouvement. `A l’aide d’une image de r´ef´erence, elle estime des vecteurs de d´eplacement de portions de l’image afin de souligner la redondance temporelle entre les images.
– Transformation fr´equentielle. Afin de r´eduire la redondance spatiale, une trans- formation en fr´equence est effectu´ee : typiquement une transformation en cosinus discr`ete (DCT) ou en ondelettes (DWT).
– Quantification et codage. La quantification tire `a nouveau profit de l’œil humain qui est peu sensible aux hautes fr´equences en les r´eduisant de mani`ere plus ou moins forte. Un codage entropique permet enfin de compacter les informations. L’op´eration de d´ecodage op`ere alors dans l’ordre inverse ces ´etapes : d´ecodage, d´equantification, transformation inverse puis compensation de mouvement [30]. Malheu- reusement, la quantification associ´ee `a une transformation fr´equentielle comme la DCT peut introduire des effets de bloc. La boucle de d´ecodage compl`ete incorpore ´egalement
des traitements sp´ecifiques afin de r´eduire les art´efacts li´es aux techniques de codage employ´ees.
3.2.3
Post-traitements
Une fois d´ecod´ee, une image peut subir alors des post-traitements sp´ecifiques d’une application vis´ee. Un mobile comme le SH505i de Sharp, par exemple, se livre `a des traitements sp´ecifiques afin d’apporter st´er´eoscopiquement l’illusion de la 3D pour des images 2D. Ces traitements sont ´egalement d´ependants de la technologie de l’´ecran d’un tel mobile : dans le cas d’´ecran LCD n´ecessitant un r´etro-´eclairage, une diminution de la puissance de cet ´eclairage r´eclame des r´eglages de luminosit´e du flux vid´eo [31]. Dans le cas t´el´evisuel, les sp´ecificit´es des ´ecrans plasma exigent un affichage en tout ou rien `a tr`es haute fr´equence afin de profiter de la persistance du signal lumineux. Les images interm´ediaires r´eclament alors un codage par des m´ethodes de grains (dithering).
Ces post-traitements font la valeur ajout´ee d’un syst`eme par rapport `a un autre. Une part importante de ces traitements constitue ce que l’on appelle le smart-imaging. Il s’agit de traitements hautement non lin´eaires et non standardis´es. `A partir d’informa- tions sur l’image globale, des traitements pixels `a pixels permettent des modifications d’histogrammes colorim´etriques, de rehausser les contours en r´eduisant l’´etendue des zones de transitions et en augmentant le contraste entre zones.
3.2.4
Un pipeline de rendu vid´eo
De mˆeme que pour le rendu d’une sc`ene graphique, l’ensemble des traitements d’un flux vid´eo est organis´e `a l’int´erieur d’un pipeline de rendu vid´eo. La figure 3.9 offre une vision de ce pipeline de rendu vid´eo tel qu’il peut ˆetre inclus aujourd’hui dans un boˆıtier de r´eception pour la t´el´evision.
´ Elimination de codage art´efacts D´ecompr. Composition Am´elioration d’images (pixels) Sous-titres Formes . . . Interpolation temporelle d’images Vid´eo Flux Filtrage Affichage Traitements bloc
Compress´e pour la transmission, le flux vid´eo est d´ecompress´e imm´ediatement apr`es r´eception. En raison des techniques de compression fond´ees sur un codage par bloc, la primitive de base utilis´ee ici est constitu´ee de blocs de 8 × 8 pixels. Bien que tirant parti des propri´et´es de la vision humaine pour limiter la d´egradation subjective de l’image, la compression introduit parfois des art´efacts de codage. Des algorithmes d’estimations de bruits et de d´ecisions proc`edent au niveau du bloc `a l’´elimination des art´efacts. Ces traitements sont suivis par des algorithmes de conversions de format. Ils impliquent aussi bien des traitements spatiaux que des traitements temporels. Ils int`egrent ´egalement le d´esentrelacement de flux vid´eo comme pr´e-requis `a ces conversions de format.
Les images g´en´er´ees sont ensuite associ´ees avec des ´el´ements contextuels comme des sous-titres ou des formes pour ˆetre compos´ees et former les images finales. Les der- niers traitements de cette chaˆıne concernent des algorithmes d’am´elioration d’images qui s’appliquent pixel `a pixel.
Pour une pr´esentation et des discussions plus d´etaill´ees des algorithmes des diff´e- rents chaˆınons de ce pipeline, nous pourrons nous reporter aux diverses contributions de G. de Haan [32].