Systèmes de Transmission  Numérique

Systèmes de Transmission  Numérique

(Partie II du cours « Signal Information et Communication Numérique »)

Filière SEOC  (Systèmes Embarqués et Objets Connectés)

2°année, Grenoble‐INP (ENSIMAG /PHELMA) 

Mars/Avril/Mai 2020

Laurent ROS 

cours :  (10 cours de 1,5 heures) TDs : (11 TDs dont 5 sur machines)

Contexte: systèmes de  télécommunication

But : échange  d’information à travers un réseau entre différents utilisateurs

 Organisation des informations: domaine des « réseaux »

 Transmission d’information (numérique) : domaine des « communications  (numériques) » 

Processus de communication (1 utilisateur, modèle de Shannon)

Lois de la physique (propagation …) / traitement du signal (codage, modulation, détection,  estimation, …) / Electronique et optoélectronique (réalisation des dispositifs) 

source destinataire

bruit, perturbations

signal émis signal reçu

canal

Positionnement du cours dans le  modèle OSI

Couche Physique du modèle OSI :  « Transmission »

bits  bits

signal

7  Application (Interfaçage avec les systèmes utilisateurs) 6  Présentation(Syntaxe et présentation des données)

5  Session (Mise en place du dialogue entre tâches distantes, synchronisation, vérification des  droits d'accès)

4  Transport (transport des messages, constitution et contrôle des paquets)

3  Réseau (établissement et rupture des communications, routage et contrôle de flux)

2 Liaison logique (établissement d'une communication point à point, protocoles d'échanges des données et correction des erreurs, contrôle de l'accès au support de transmission)

1 Physique (modulation/démodulation, transcodage pour le support utilisé,  émission  /réception, régénération du signal)

Support de transmission Couche 

physique Couche 

physique

http://eidetec.com/wireless-communication-systems

Exemples: communication mobile (3G/4G/5G, …) ou sans fil(WIFI, Wimax, …), réseaux de capteurs, Internet des objets IoT, communication machine à machine D2D, communication filaire (ADSL, fibre optique, …) , diffusion (satellite, TNT, …), localisation (GPS, Galiléo), …

Domaines d’application:  très variés

http://www.ntt.co.jp/inlab/e/org/images/as/03_4.jpg

OBJECTIFS de l’enseignement (1)

1) Bases théoriques de la transmission numérique

permettant d’acheminer une source d’information « numérique» 

(ou numérisée) au travers d’un « support physique analogique »  dans le cas élémentaire (Canal à Bruit Blanc Additif Gaussien)

• Principe des « modulations » numériques, principaux  paramètres,  transmission sur/sans fréquence porteuse, 

• conditions d’optimalité d’un émetteur/récepteur pour un  canal « idéal » à Bruit Blanc Additif Gaussien (BBAG),  

• formats usuels de modulation numérique et performances

=> choix d’une modulation  (vs Bande, TEB, Puissance, …) 

2) ouvertures / applications:

• Mise en œuvre d’une chaine de transmission élémentaire  en simulation => 5 TDs machines 

(noté, présence obligatoire)

• Brève description  (avant cours de 3°année)  de techniques plus  avancées et leur application dans des systèmes existants:

‐

techniques à étalement de spectre (ex: réseau sans fil IEEE802.11b),  technique d’accès multiple à  répartition par code ou CDMA « Coded Division Multiple Access » (ex: réseau de téléphonie mobile 3G, GPS)

‐

techniques de « modulation » ou de multiplexage à base de sous‐

porteuses orthogonales ou  OFDM Orthogonal Frequency‐

Division Multiplexing (ex: réseau téléphonie 4G, WIFI IEEE 802.11a,  radio‐diffusion satellite DVB, terrestre TNT, transmission filaire ADSL …) 

OBJECTIFS de l’enseignement (2)

PLAN DU COURS

I‐ Introduction à la transmission numérique 

^[3h]

+ paramètres +  résultats éclairage « Théorie de l’Information – Capacité du Canal BBAG »  

II‐ “Modulation” en Bande de Base 

(“Codes en Ligne”)  [4h]

Formats Linéaires ou non,  cyclo‐stationnarité, calculs E_b, Densité Spectrale de Puissance, ...

III‐ Transmission 

^(en B.B.) 

optimale sur canal BBAG

^[4,5h]

Filtre adapté /corrélateur,  Critères de Nyquist, Transmission à Bande limitée, performances, comparaison aux limites de la Théorie de l’Information, 

IV‐ Transmission sur fréquence porteuse

^[1,5h] 

Modulation/démodulation I/Q universel,  Modulations numériques courantes (PSK, QAM, FSK, …)

V‐ Ouverture/Application vers les systèmes existants

^[2h] 

Généralités Réseaux sans Fils, techniques CDMA et OFDM, …

+ 6 séances de TD classiques et 5 de  TDs machines (compte‐rendu = ¼ note globale) [16,5h]

Références bibliographiques

• A. Glavieux, M. Joindot. “Communications Numériques, Introduction”, Coll. 

Pédagogique de Télécommunication, 1996

• J.G. Proakis. “Digital Communications”. McGraw‐Hill,   2000.

• S. Haykin. “Digital Communications”.  Wiley, 1988.

• Y. Roth, J. B. Doré, L. Ros, V. Berg.  “The Physical Layer of Low Power Wide Area 

Networks: Strategies, Information Theory's Limit and Existing Solutions”, Chapitre 7  du livre «Advances in Signal Processing: Reviews », Vol. 1, Book Series, IFSA 2018.

https://hal.archives‐ouvertes.fr/hal‐01872023/document

Basé en grande partie sur : polycopié Anciens cours du Département/filière Télécom de l’INPG :

1a :  « Système de Transmission », Ghislaine Maury , et 2a : « Transmission Numériques de Données » :  http://chamilo.grenoble‐inp.fr/courses/ENSIMAG4MMSICN/document/Archives‐anciens‐cours/TND_modu_2008_V4.pdf

Principaux outils utilisés dans le cours:

•

Traitement du signal déterministe analogique et numérique  

•

Traitement du signal aléatoire et probabilités / statistiques

I) INTRODUCTION

Systèmes de Transmission Numérique, partie I

A) Transmission Numérique : définition 

Message transmis au travers d’un  support

Numérique (physique)

(ou numérisé)  Analogique

Séquence de symboles signal continu

 Alphabet fini (taille M)  ex: ondes radio ou acoustiques câble, ondes optiques, 

Exemple du  Télégraphe (code Morse, 1832) : 

M  60 caractères,  convertis en impulsions envoyées sur un câble électrique

B) Adaptation du signal au canal:

sans /avec fréquence porteuse, Bande passante

Transmission en  Bande de Base (B.B.) 

Signal transmis réel de type  passe bas

(‘spectre’ autour de  0 Hz)

Transmission sur  Fréquence Porteuse f ₀

Signal transmis réel de type  passe bande.

(‘spectre’ autour de  ± f

₀

, 

nul en 0 Hz

)

B = Bande Passante, ou Largeur de bande (mono-latérale)

-B 0 +B

f

- f₀ 0 +f₀

f B << f₀ B

--- Transmission Analogique ---

« Canal

Analogique »

Message

Critère de Qualité ?

C) Transmission numérique vs Analogique

(illustration)

peut inclure :

Transposition de Fréq. , ou autre mod. analogique

t

...0110 =>

Message

t

--- Transmission Numérique ---

t ...0110

peut inclure

Transposition de Fréq.

(si porteuse)

décision

« Canal

Analogique »

Transmission Numérique  vs Analogique (2)

trans. Analogique

• Message: 

fonction continue du temps  avec une infinité de valeurs  possibles 

(<‐> information analogique)

• Critère de Qualité : 

fidélité, Rapport Signal à  Bruit (RSB)

trans. Numérique 

• Message: 

série de symboles (discrets), pris dans un alphabet fini (bits si M=2) connu à la réception

• Critère de Qualité :

Taux d’Erreur Binaire (TEB) 

Avantages

• faible RSB requis

• Protection « infinie »  contre le bruit possible  grâce au codage : 

C. Shannon, 1948

(Cf cours de Théorie de l’Information)

• Facilité des traitements  numériques: 

pour multiplexer, transformer,  régénérer, mémoriser,  …

Inconvénients

• Bande passante +large

… mais possibilité de compression,   de  modulation à plus grand nombre  d’états, …  

• Délai dû au codage/décodage  ou aux autres traitements 

numériques  

•

Consommation si puissance de  calcul importante

Transmission Numérique  vs Analogique (3) 

D) Numérisation d’un signal analogique (Rappel) 

• Échantillonnage :     discrétisation en temps 

pas de perte d’information (respect du théorème d’échantillonnage F_ech ≥  2.f_max)

• Quantification :  discrétisation en amplitude, 

par approximation à la valeur la plus proche parmi Q niveaux de quantification. 

perte irréversible d’information (distorsion, bruit de quantification)

Cas de la quantification uniforme sur  n bits Q = 2ⁿ niveaux

si amplitude a [‐A; +A[   =>  pas de quantification q = 2A/ 2ⁿ. Bruit de quantification : b_quantif[k] = a[k] ‐ a_quantif[k]  [‐q/2; +q/2[ , 

Modélisation : suite indépendante, même loi uniforme (=> stationnaire/ergodique) Application :   RSB_q dû à la quantification pour une sinusoïde d’amplitude A :

RSB_q = (A²/2)/(q²/12) = 1,5×2²ⁿ =>     (RSB_q)_dB   6,02×n + 1,76 dB

Exemple : signal de parole en téléphonie 

(bande 300 Hz‐3400Hz) 

fréquence d’échantillonnage Fe = 8 kHz sur 8 bits (=> (RSB_q)_dB 49,76 dB) 

Numérisation à Débit = 64 kbit/s,  mais compression avec perte  à 13 kbit/s pour le GSM)

Exemple :  transmission temps‐réel  d’un Son Haute Fidélité

Qualité Compact Disc :   ‘0‐20 kHz’ x 2  en stéréo 

(Droite / Gauche),

RSB Audio requis (destination)  ≥ 96dB

=> Comparer pour une transmission (en bande de base)  :

•

Transmission Analogique

(multiplexage fréquentiel des 2 voies D/G)

•

Transmission Numérique

(modulation binaire  filtrée, après Numérisation Audio) 

1)  la bande nécessaire de transmission B

_min

2)  le RSB requis dans la bande de la transmission 

Donnée : pour une modulation binaire polaire en bande de base, nous verrons (ch III)   que  :   B_min = Débit Binaire / 2 , et RSB (avec Bmin) = 12dB @TEB = 10^‐8

E) Probabilité d’erreur binaire (Pe) et  Taux d’Erreur Binaire (TEB)

• Pe :

probabilité d’erreur par élément binaire restitués au destinataire.

= probabilité de prendre une mauvaise décision sur un élément binaire. 

exemple téléphonie :  Pe  10^‐6 (parole)   ;   image : Pe  10^‐9 typiquement En pratique, Pe estimée par la mesure du :

• TEB (Taux d’Erreur Binaire) =

TEB est un estimateur sans biais et convergent de Pe

(hypothèse erreurs indépendantes)

Modélisation : Nerr ~ Loi Binomiale(Pe, N)

 Vérifier:  moyenne E{ TEB } = Pe, et Variance{ TEB } = Pe(1‐Pe)/N  

 Exemple: Nombre de bits pour estimer Pe = 10^‐6 avec σ_TEB  10% de Pe ?

N Nerr ansmis

de bits tr al

nombre tot

és bits erron nombre de



F)  Rapport E _b / N ₀ :

paramètre d’entrée du récepteur (ou “état” du canal)

r (t)

= x(t) + n (t)

Traitement de Réception

Bits

Décidés

( E_b, N₀ )

(TEB)

En radio‐électricité : N₀= k T,  où k = constante de Boltzmann (1,38.10^‐23 Joule/Kelvin),  

T = température «équivalente» de bruit (Kelvin)   T₀ = t. ambiante (prise à 17° = 290 Kelvin).

Pour T = T , =>   10 log(N / 1mWatt) = ‐174 dBm / Hz     (dBm: décibels relatifs au milliwatt)

E_b : Energie (moyenne) par bit du signal analogique utile en entrée du récepteur N₀ : Densité Spectrale de Puissance (DSP) mono-latérale

du bruit blanc en entrée du récepteur (donc DSP bi-latérale (f) = N₀/2)

=> Mesure de performance:   TEB = f( E

_b

/ N

₀

)

x(t) :

signal analogique utile en entrée du récepteur,

(réel passe-bas si trans. en B.B., ou réel passe-bande si trans. sur porteuse)

E _b = P / D _b

P = P(x) : puissance moyenne de x(t), en Volt^2, ou Watt.

D_b = 1/T_b : débit binaire, en bit/sec, T_b : Temps bit

---

En pratique :

En théorie : calcul à partir des outils des signaux aléatoires (x(t) = x(t; bits aléatoire))

Energie par bit E _b



^







T t

t

dt t

x P

0

0

2

T

( )

T

lim 1

n(t) : bruit aléatoire stationnaire en entrée du récepteur

• Blanc :

Densité Spectrale de Puissance indépendante de la fréquence f

<=> Auto-corrélation :

_n() = (N₀/2). ()

• Gaussien : n(t

₀

) =

Variable Aléatoire (V.A.) de « distribution » Gaussienne, avec une moyenne nulle E{n(t₀)} = 0

=> pour t₀  t₁ V.A. n(t₀) et n(t₁) indépendantes, avec E{ n(t₀)  n(t₁) }= 0

Remarque : puissance moyenne (variance car n stationnaire-ergodique centré) du bruit n(t) infinie, mais finie en sortie d’un filtre de R.I. h(t), et vaut _b²= (N₀/2). h^avec ≝

Annexe: Bruit Blanc Additif Gaussien (BBAG) 

0

f

_n(f) = N₀ /2

Autre interprétation du rapport E _b /N ₀

(E

_b

/N

₀

)

= paramètre d’entrée du récepteur, similaire à un « RSB par bit »

=> peut être obtenu comme un rapport de puissance : puissance signal utile

puissance bruit mesurée dans une bande passante D_b =1/T _b Mais ce n’est pas « le RSB d’entrée », car la bande du signal utile n’est généralement 

pas égale à D_b Hz; elle peut être très inférieure ou supérieure selon la modulation.

) .

(

) / (

0 0

b

D

b

N

x N P

E 

Efficacité énergétique d’un système de  modulation d’autant meilleure que l’énergie par bit requise (E

_b

)

_requis 

pour  fonctionner de manière fiable 

(TEB ≤ cible donnée) 

est faible.

Remarques :

• qualitatif, pas de de quantification standardisée pour l’efficacité énergétique mais pourrait être 1/(E_b)_requis en bit/Joule, …

• pour le cas usuel de bruit BBAG (N₀ fixé) : efficacité énergétique d’autant meilleure que (E_b/N₀)_requis est faible (pour TEB cible).

Sensibilité

d’un système de transmission P_requis :

niveau minimum de Puissance du signal à l’entrée du récepteur P_requis pour que le système fonctionne (à TEB ≤ cible donnée).

Attention vocabulaire: sensibilité « bonne » si niveau de sensibilité « faible ».

P_requis = (E_b)_requis × D_b : on peut baisser le niveau de sensibilité (ainsi augmenter la portée d’un système) en réduisant le Débit D_b ou/et en améliorant l’efficacité énergétique du système (diminution de (E_b)_requis).

G)  Efficacité spectrale d’un système de  modulation

rapport entre le débit binaire (en bit/sec) 

et la bande passante (en Hz) utilisée. 

Nombre de bits envoyés sur le canal de communication par

ressource temps-fréquence (unité de temps et de bande) du canal Pour une bande fixée, augmenter l’efficacité spectrale permet

d’augmenter le débit binaire (avec le même taux)

en bps / Hz

SOURCE Discrètebinaire

A_U= {0, 1}

normalisée (bits ind. équip.)

Procédé d’émission

U Procédé de DESTINATAIRE

Détection

U’

capacité ( en Sh/sec):

C_t = B.log₂(1 + RSB_in)

H_t = D_b(U) bit/sec

car U sans redondance (après codage source idéal)

Il existe un procédé de transmission (émission + détection) fiable à volonté (i.e. avec une

probabilité d’erreur après détection: Ped <   >0) au travers d’un canal à BBAG (signal de puissance P et largeur de bande B, et Rapport signal à Bruit dans la bande RSB_in = P/ N₀B) si et seulement si le débit d’information de la source ne dépasse pas la capacité du canal:

H

_t ≤ C_t = B.log₂(1 + RSB_in) bits d’information/sec (ou Sh/sec) x(t)

Signal continu

Canal continu

BBAG

r(t)

Signal continu

H) Capacité du canal continu BBAG

(2° Théorème de Shannon)

Note: en pratique le procédé Emission/Détection est le + souvent décomposé en :

Procédé d’émission  =   « Codage canal »  +  « Modulation numérique »  Procédé de Détection  =       « Dé‐modulation »  + « Dé‐codage canal » 

1) Cas d’une transmission à Bande limitée fixée à B > 0 :

Débit d’information possible augmente avec le RSB_in dans la bande.

Exemples : Modulation à grand nombre d’états, « bit loading » en trans. multi-porteuse:

ajustement du débit/taille modulation par sous-porteuse selon RSB local.

2) Cas d’une transmission à Rapport Signal à Bruit fixé à RSB

_in

> 0 :

Débit d’information possible augmente avec la largeur de bande (mais attention augmentation de la Puissance requise dans ce scénario).

Exemples : Transmission à étalement de spectre (très large bande) fiable malgré RSB_in << 1 (signal noyé dans le bruit), Quantification Sigma-delta (1bit vs 16 bits mais B=F_ech/2 >> f_max)

3) Cas d’une transmission à Puissance utile fixée P > 0 :

Etant donné dépendance entre RSB_in = P/(N₀B) et la bande B, la Capacité croit avec B mais vers une limite (saturation) : . bits d’information /sec

Conséquence : transmission fiable possible ssi  ln 2)

0,69

(soit -1,6 dB)

Interprétations (théorème de Shannon-Capacité canal BBAG)

C_t = B×log₂(1 + RSB_in) bits d’informations/sec

Compromis entre Efficacités énergétique et spectrale:

(conséquence inhérente de la théorie de l’information)

≤ B×log₂(1 + P

N₀B )  η ≤ log₂(1+ E_b

N₀.η )  ^E

N₀ η

Convers. A to N Source Coding

Mux (Line Coding) S

O U R C E (S)

Channel Coding

IF

Binary rate (bit/s) : D_b(U) < D_b(B)

IF

RF stage Trans .

Up Transp. 

Amplification filtering

RF stage Receiver

Filtering, Low Noise Amp. 

Down Transp.

AGC Symbols

mapping a_[m]

M O D I / Q

Modulator

voies I Q

Physical RF channel

signal

Transmitted Signal

Received Signal

x(t)

r(t)

bits

U

bits

B

(Line Decoding) Demux Source Decoding conversion N to A D

E S T I N A T I O N (S)

Channel Decoding bits

U’

bits

B’

* With « hard » decision channel decoding

IF: intermediar frequency, typically 70MHz to 400 MHz RF: radio-frequencies, typically 900 Mhz to 40 GHz

L I N E D E C .

L I N E

C O D .

Demodulator

D E M O D I / Q D

E C I S I O N

Synchronization processing

Annexe:     Typical Scheme * of a digital transmission (via RF carrier modulation) 

• Outils généraux : Entropies, Information mutuelle, …

• Cas du canal continu à Bruit Blanc Additif Gaussien : Capacité et 2° théorème de Shannon

=> Polycopié Sicom2a « Théorie de l’Information », chapitre IV:

http://chamilo2.grenet.fr/inp/main/document/document.php?cidReq=PHELMAA2SICO M4PMSTHI&id_session=0&gidReq=0

2 Livres de références :

T.M. Cover, J.A. Thomas, “ Elements of Information  Theory”, Wiley & Sons, 2nd edition, 2006.

Gérard Battail, « Théorie de l’information : application aux techniques de  communication », collection pédagogique de Télécom.,  MASSON, 1997

ANNEXE 1 (hors programme):

Résultats de « Théorie de l’Information »

Annexe 1: Théorie de l’Information : Historique et outils généraux

• T. Information née dans le contexte de la théorie statistique des communications - 1928, Hartley: 1° tentative de définition scientifique d’une quantité d’information - 1948, Shannon: introduit le nouveau concept de « quantité d ’information » en déduisant les principales conséquences: réel début de la « théorie de l’information »

• fournit des bornes théoriquement atteignables pour les systèmes de communications à partir d’une modélisation probabiliste, abstraction faite des moyens ou supports physiques, en termes d’efficacité de représentation (Débit d’information vs débit littéral, Compression) et de fiabilité de transmission de l’information (Capacité de canal, Protection par codage)

•

Quantité d’« information »

associée à la réalisation d’un évènement x (un message émis par exemple) est uniquement liée à la probabilité de cet évènement:

h(x) = log₂ { 1 / probabilité de (x) } en Sh (ou «

bit d’information

»)

 Quantité non négative d’autant plus grande que cet événement est improbable

(grande « incertitude » avant émission » <=> grande « information » après émission)

 Additivité pour des évènements indépendants

Annexe 1: Entropie d’une source discrète (ou d’une Variable Aléatoire V.A. )

SOURCE

Alphabet N-aire A_X = { x₁, …, x_N} Probabilités P_X = { p₁, …, p_N}

X

•

Débit littéral symbole :

D(X) symb/sec, et si symboles binaires (N=2): D_b(X) bit/sec

=> alphabet de symboles binaire A_x = {0, 1}

Théorème de Shannon-Compression : on peut faire un codage de la source (CS) tel qu’en sortie le Débit littéral binaire soit réduit au Débit d’Information (redondance = 0).

Conséquence: en sortie d’un CS idéal, les symboles sont indépendants et équiprobables.

• Débit d’information

de la source X

: H_t(X) = H(X).D(X) Sh/sec (bit d’info/sec )

 D(X).log₂(N) (débit littéral binaire équivalent)

• Entropie d’une V.A. X, par symbole :

H(X) , en Sh/symb

quantité moyenne d’information que la source délivre par symbole (incertitude moyenne) :

 ^h(X)  ^{log 1 en Sh/symb}

E

(X)

₂

1

 

 



 

 

 n

N

n

n

p

p H

- 0  H(X)  log₂(N) : max absolu ssi N symb. équiprobables (p_n= 1/N)

- 1 symbole binaire (digit, bit) transporte 1 Sh d’info ssi les 0 et 1 sont équiprobables, et 1 source binaire porte 1 Sh/digit si de plus les digits successifs sont indépendants .

Annexe 1: Entropies caractèrisant un couple de 2 V.A. (X ; Y)

Alphabet N-aire A_X = { x₁ , … , x_N } P_X = { p(x₁), …, p(x_N ) }

X

Alphabet M-aire A_Y = { y₁ , … , y_M } P_Y = { p(y₁), …, p(y_M ) }

Y Probabilités conjointes:

p(xi ; yj)

pour i = 1 …N, j= 1…M

Probabilités conditionnelles:

p(yj | xi )

pour j= 1…M et i fixé

p(xi | yj )

pour i= 1…N et j fixé

•

Entropie conjointe : H(X ; Y)

= E{ h(X;Y) } avec h(x,y) = log

₂

{ 1/p(x;y) } symboles) 2

(de Sh/mot en

)

; ( log 1

)

; ( Y)

(X;

₂

1 1

 





 



 

 

  i j

N

i

M

j

j

i

y p x y

x p H

avec : 0 ≤ max{ H(X) ; H(Y)} ≤ H(X ; Y) ≤ H(X) + H(Y)

= ssi X, Y indépendants

•

Entropie conditionnelle : H(Y | X)

= E{ h(Y | X) } avec h( y | x) = log

₂

{ p(y|x)

^}

Sh/symb

en )

( log 1

)

; ( )

X

(Y

₂

1 1

 





 



 

 

  j i

N

i

M

j

j

i

y p y x

x p H

avec : H(X ; Y) = H(X) + H(Y |X) et 0 ≤ H(Y | X) ≤ H(Y)

règle de chainage = ssi X, Y indépendants ³¹

Annexe 1: Information Mutuelle entre 2 variables aléatoires: I(X;Y)

• Donne une mesure de l’écart par rapport à l’indépendance entre X et Y;

Quantité d’information partagée par X et Y;

•

Définitions équivalentes de I(X ; Y)

en Sh/symb :

I(X ; Y) = H(X) - H(X |Y) ou I(X ; Y) = H(Y) - H(Y |X) Ou encore : I(X ; Y) = H(X) + H(Y) - H(X;Y)

H(X) H(Y)

H(X |Y) I(X,Y) H(Y |X)

•

Propriétés :

I(X ; Y) = 0 ssi X et Y sont indépendants 0 ≤ I(X ; Y) ≤ min{ H(X) ; H(Y)}

• Cas particulier : X entrée et Y sortie d’un canal bruité

H(X) : Information à l’entrée du canal; I(X;Y) : part d’information bien transmise;

H(X|Y) : part d’information non transmise; H(Y|X) : incertitude en sortie due au bruit

Annexe 1: Capacité d’un canal discret sans mémoire : définition

Canal discret (avec perturbations) SOURCE

Alphabet N-aire

{x₁, ..x_N} de distribution P_X

X Y

alphabets binaires pour N = M = 2 Alphabet M-aire

{y₁, ..y_M}

• le canal est caractérisé (indépendamment de la source) par les probabilités de transition, i.e. par la matrice de canal P(Y|X) d’éléments pr{Y= y

_j

| X= x

_i

}.

Exemples:

- Canal Binaire sans bruit: N = M = 2 et

^{1 0} 0 1

- Canal Binaire Symétrique (CBS): N = M = 2 et

¹

pr(Y=1|X=0) = pr(Y=0|X=1) = Pe => probabilité d’erreur

1

•

Capacité d’un canal

(par symbole) :

C max ;

} Sh

/symbole

ou Capacité par unité de temps:

C_t

= C D(X) Sh/

seconde

- maximum calculé vis-à-vis de toutes les distributions d’entrée Px possibles (V.A. X) - C est une grandeur intrinsèque au canal, indépendante de la source (calcul avec s. simple) - Utilité de C ? => théorème du codage canal (ou de Shannon-Capacité) !

Annexe 1: Capacité du Canal Binaire Symétrique (CBS)

X

0 1 P

_X

p(x

₀

) 1-p(x

₀

) = p(x

₁

)

Y

0 1

pr{Y= y_j| X= x_i}.

Pe Pe

1-Pe

1-Pe

P

_Y

p(y

₀

) = [1-Pe].p(x

₀

) + Pe.[1-p(x

₀

)]

p(y

₁

) = Pe.p(x

₀

) + [1-Pe].[1-p(x

₀

)]

= 1 – p(y

₀

)

Annexe: démarche pour calculer la capacité du CBS :

1) on montre que pour ce canal doublement uniforme (vs entrée et vs sortie) : - H(Y|X) est indépendant de Px (donc maximiser I(X;Y) revient à maximiser H(Y)), - l’entropie de sortie H(Y) est maximisée lorsque H(X) est maximum

2) On en déduit que I est maximal pour des entrées équiprobables p(x₀)=p(x₁) =1/2 , C

(Sh/digit)

0 0.5 1

Pe

1 0.5 0

Capacité du canal CBS:

C = 1 + Pe.log

₂

(Pe) + (1-Pe). log

₂

(1-Pe)

Exemples: C= 0 pour Pe = ½ ; C= 1 pour Pe = 0 C = 0,92 Sh/digit pour Pe=10^-2

Annexe 1: Codage de canal (1): rendre la liaison fiable

SOURCE discrète

Codage Canal

U B

DESTINATAIRE

Décodage Canal B’ U’

Normalisée (i.e. après compression)

Canal discret

avec perturbations

normalisé

C : capacité

Dc = D(B) = D(B’) : Débit symbole (symb/sec) dans canal

Alphabet Q-aire Alphabet

Q-aire : {u₁, ..u_Q}

• Objectif du codage de canal : protéger les messages contre les perturbations du canal en

rajoutant de la redondance « intelligente » (loi de codage connue du récepteur).

N.B: après codage canal, les symboles en B ne sont pas indépendants (B ≠ source simple), H(B) = (K_bloc/N_bloc).H(U) => 1 digit en B portera en moyenne (sur 1 bloc) moins d’1 Sh.

si on veut H(B |B’) → 0⁺ et I(B ; B’) → C^-, il faut : H(B) ≤ C (≤ log2(Q) )

Exemple du codage par bloc (N_bloc, K_bloc) systématique (avec des éléments binaires : Q=2):

K_bloc bits de données (N_bloc - K_bloc) bits de contrôle

un mot code = 1 bloc de taille

N

_bloc bits

=> 1 code = 1 jeu de 2^Kbloc mot-codes parmi 2^Nbloc mots possibles

Taux de redondance:  = ( N_bloc - K_bloc) / N_bloc et Rendement du code:  = K_bloc / N_bloc < 1 Sur-Débit (pour transmission temps réel): débit littéral après codage Dc = (N_bloc/K_bloc ).D(U)

Annexe 1: Codage de canal (2): théorème de Shannon-Capacité

Thèorème de Shannon-Capacité (encore appelé: th. du codage de canal, th. du codage avec bruit, ou th. fondamental de la théorie de l’information )

Il suffit (et il faut) que le débit d’information de la source U soit inférieur à la capacité du canal exprimée par seconde, H_t(U) ≤ C_t Sh/sec, (équivalent en termes d’entropie à H(B) ≤ C) , pour qu’ il existe un codage de canal permettant une fiabilité de transmission aussi bonne que l’on veut, c’est à dire avec une probabilité d’erreur après décodage: Ped <   >0

Autrement dit, il est possible d’avoir une transmission fiable à volonté avec seulement un taux de

redondance   1-C/lb(Q) (ou un rendement ≤ C/lb(Q) ). Le bruit du canal n’impose pas de limite à la qualité de la transmission, mais seulement au débit d’information permis.

• Exemple de redondance « simpliste » pour améliorer la qualité mais en détériorant le débit d’information: répéter Rep = 2r+1 fois chaque symbole binaire de la source U : code (Rep, 1)

Pour CBS et R=3 répétitions: Ped = pr. de 2 ou 3 erreurs/ bloc = 3Pe²(1-Pe) + Pe³ . A.N: Pe = 10^-2=> Ped = 3.10^-4

 la probabilité d’erreur après décodage Ped diminue, mais le rendement du code est en 1/Rep.

Si Rep  , Ped 0 mais rendement  0 (taux de redondance 1) donc intérêt très limité!

Mais C. Shannon démontre l’existence de codes efficaces (résultat remarquable et inattendu en 1948) :

Exemple CBS (Q=2) avec Pe = 10^-2, D_b(B) = 34Mbit/s et H(U) = 1 Sh/digit (digits iid à la source) :

 C = 0,92 Sh/digit => codes permettant fiabilité à volonté avec un taux de redondance de  8 % seulement ! Ou encore ssi le débit d’information de la source H (U) est ≤ C = 0,92.D(B) =31.3 Mbit d’info/ sec.

Annexe 1: Codage de canal (3): commentaires et précisions

•

Clef de la démonstration du 2° théorème de Shannon :

On démontre une Borne

pour Ped atteignable en fonction de la taille du bloc N_bloc:

 codes tels que : Ped  2 ^{–Nbloc. f( Ht )}

où f( Ht ) = fonction « de fiabilité » qui est non-négative décroissante, et nulle pour Ht >Ct

Autrement dit, pour un taux de redondance fixé (ou un débit d’information fixé), augmenter la taille des blocs N_bloc permet de réduire Ped, du moins lorsque H_t(U) < C_t .

=> permet Ped  0 lorsque N_bloc 

!

Prix à payer = Retard dans la liaison et Complexité dû au codage / décodage ;

f

C_t

H_t

• le 2° théorème de Shannon est un théorème d’existence, qui ne dit pas comment construire des codes (efficacement) => a alimenté la recherche durant une cinquantaine d’années!

• Ce n’est que depuis 1993 que les limites énoncées par Shannon sont approchées de très près avec un codage/décodage réalisable en pratique, avec l’invention des Turbo-codes par des chercheurs de l’ENST Bretagne (Claude Berrou, et Alain Glavieux).

0

Annexe 1: Cas du canal continu BBAG (à Bruit Blanc Additif Gaussien)

• Théorie de l’Information se généralise au cas des lois de probabilités continues:

=> Entropie différentielle d’une V.A. continue X de d ensité d e p robabilité p

_X

(x):

H

_d

X p

_X

(x)log

₂

{ p

_X

(x) }dx

(en bits d’Information)

•

En particulier, le théorème de Shannon-Capacité se généralise au cas du canal bruité sans mémoire à entrée/sortie continues de type BBAG: la transmission de manière fiable d’information discrète est toujours possible tant que la

quantité d’information ne dépasse pas une valeur critique (capacité de ce canal continu Ct).

•

Plan:

- Modèle(s) du canal BBAG (pour signal complet analogique/ pour 1 échantillon), - Formules de capacité C pour 1 échantillon, et Ct pour 1 seconde de signal.

- exercices d’applications

Annexe 1: Modèle(s) du canal continu BBAG

sortie

r(t)

= x(t)+n(t)

entrée

x(t)

bruit BAG

de DSP bilatérale N₀ / 2

(indépendant du signal)

n(t)

signal réel analogique, (aléatoire stationnaire) de Puissance moyenne P, de bande limitée B

(support spectral [-B; B]) de moyenne nulle.

Canal BBAG

Pré-traitement limitant à la bande B

du signal utile:

Passe-bas idéal

y(t)

= x(t)+b(t)

•

À Amplitude Continue et Temps continu

(modèle complet pour signaux analogiques)

•

À Amplitude Continue et Temps discret

(puis pour 1 échantillon)

:

x(t) et y(t) « échantillonnable » sans perte d’information à la fréquence : Fe = 2B ech/sec

=> Modèle pour 1 seul échantillon:

où X, Y, Z : 3 V.A. continues X et Z indépendants,



_X²

= P ; 

_Z²

= N

₀

.B

et 

_Y²

= 

_X²

+ 

_Z²

Z

X Y = X + Z

39

Annexe T.I (3): Capacité du Canal continu BBAG

Démarche : calcul de C max ; } Sh/ech 1) Information Mutuelle :

I(X; Y) = H

_d

(Y) – H

_d

( Y | X) = H

_d

(Y) - H

_d

(Z)

D’où

C max H

} -

H ^,

obtenue en choisissant la d.d.p. d’entrée qui maximise

H_d

(Y) (obtenue dans ce cas de symétrie de la ddp en maximisant

H_d

(X)).

2) Résultat : l’entropie différentielle

H_d

(X) d’une V.A. continue X de d.d.p. (x) et de variance 

_X^

est bornée par

H_d

(X) ≤ log2(

σ_X 2

) , ce maximum étant

atteint si X~

N

(0; 

_X^

) : V.A. Gaussienne centrée, (x)

X exp

X

. 3) Il en résulte :

.

log

₂

(

1

RSB

_in

) Sh/ech avec RSB

_in

=

^X

Z .

Et Capacité par seconde

. 2

du canal BBAG complet (signaux analogiques):

.log

₂

(

1

RSB

_in

) Sh/sec

(ou bits d’information/sec)

H(Y) H(X)

H(X |Y) I(X,Y) H(Y |X)

Annexe 1: Exercices

Exercice 1: Entropies (différentielles) de V.A. continues

On considère une V.A. continue X de d.d.p. p

_X

(x), de moyenne nulle (E(X) =0) et de variance finie 

_X^

. Exprimer l’Entropie différentielle vs 

_X^

pour les cas :

- d’une loi Uniforme (X étant alors distribuée entre 2 bornes –M et M) - d’une loi Gaussienne. Conclure.

Exercice 2: Transmission de photos numériques au travers d’un canal BBAG Une sonde spatiale doit transmettre par voie RF vers la terre 22 photos numériques  de la planète Mars (1 photo = 500000 pixels codés sur 16 bits,  mais le taux 

d’information est seulement de 10%

, soit 90% de redondance). On considère un  modèle équivalent (en bande de base) simplifié de la transmission, où le signal réel  reçu sur terre r(t) =  a.x(t) + n(t)  est une version atténuée (d’un facteur a tel que a

²

= 10

^‐19

, soit –190dB ) et bruitée  (n(t): bruit thermique BBAG de DSP mono‐latérale 

N₀ = 4.10^‐18 mW/Hz, soit ‐174 dBm/Hz) du signal émis x(t), construit à partir des 

photos, de support fréquentiel [‐B ; +B] et puissance Pemise = 40W.

Calculer la quantité d’information Q (bit d’information ou Sh) à émettre. Déduire le  temps d’émission   t minimal pour qu’une transmission fiable soit possible

^. 

Rep:  Q = 17,6 MSh;  Avec Débit d’info Ht _max ≤  Ct_max= 1,44 kSh/sec => t_min=  Q /Ct_max≈ 4 heures !

• Classification des signaux: déterministes / aléatoires

• Propriétés Energétique et fréquentielle

Livre de référence : Frédéric de Coulon, « Théorie et Traitement des Signaux », presses Polytechniques Romandes, 5°édition, 1998

ANNEXE 2:

Synthèse sur quelques propriétés des signaux

(Note: notions non traitées ici mais dans le cours de traitement du signal dédié,

transparents laissés en annexe car incluant des tables utiles pour le cours)

Annexe 2: Classification des signaux: déterministes/aléatoires (1)

(ici à temps continu t, c’est-à-dire « analogique »)

•

Signal déterministe (ou certain, non aléatoire): évolution en fonction du  temps peut‐être parfaitement prédite par un modèle analytique.

Exemples:   

1

0

,  

cos 2

,  …

•

Signaux aléatoires : dont le comportement temporel (valeur à l’instant t)  est imprévisible mais dépend d’une certaine manière des lois du hasard         

=> ils sont caractérisés par leurs propriétés statistiques. 

Exemple:  

; cos 2

où  est une Variable Aléatoire.

Autres exemples: bruit thermique, signaux de communication, …

Notes: Une « observation » d’un signal aléatoire doit être considérée comme une « réalisation particulière » ; ₀ d’un ensemble de signaux susceptibles d’être produits par le même phénomène. Ainsi, ; désigne une famille de fonctions à 2 variables où la variable est un élément de l’espace des épreuves. Notations : ; est noté plus simplement .

Annexe 2 : Propriétés énergétique et fréquentielle (1)

pour signaux  déterministes (et analogiques ici) 

À énergie finie  À Puissance moyenne finie 

•

h(t) tel que Energie de  h :

≝ ∞

•

Fonction d’auto‐corrélation:

≝ ^∗

;

•

Densité Spectrale d’Energie 

(DSE):

où  H f

TF h τ

}

•

Relation de Parseval:

0

•

x(t) tel que Puissance moy :

≝ lim

→

1 ^/ ∞

/

•

Fonction d’auto‐corrélation:

≝ lim

→

1 ^/ _∗

/

•

Densité Spectrale de Puissance :

avec ainsi

Notes sur la DSP:

‐ aussi pour x aléatoire (Wiener‐Khintchine)

‐ limite de la DSE/T du signal limité à T

Annexe 2 : Classification des signaux (2)

Signaux aléatoires

•

Pour

fixé: ; ₀ est une fonction déterministe du temps.

•

Pour

fixé:

₀;

se réduit à une Variable Aléatoire dont le comportement statistique est décrit par sa densité de probabilité p( x _,

₀

_).

=> une moyenne calculée le long de l’axe

correspond à une moyenne

statistique sur l’ensemble des états possibles (espérance mathématique) Exemple: moyenne 

(moment d’ordre 1):  ₀ E{ ₀; . , ₀

•

Stationnarité : signal aléatoire est stationnaire si toutes ses propriétés statistiques sont invariantes dans le temps.

•

Ergodisme : signal a. stationnaire est de + ergodique si l’on peut identifier  les valeurs moyennes statistiques aux valeurs moyennes temporelles.

Notes: 

‐ stationnarité et ergodisme sont souvent considérés jusqu’à l’ordre 2 (stat. faible).

‐ pour un signal stationnaire (ergodique) à l’ordre 2, le moment statistique d’ordre 2,  E{x²}, coïncide avec la puissance moyenne temporelle de chaque  réalisation.

•

Fonction d’autocorrélation: aux temps t

₁

, t

₂ ou instant t=t₁ et retard  = t₁‐t₂)

1 ∗

2

} = 

^∗

≝ ;

•

Fonction d’ autocovariance: auto‐corrélation des variables centrées:

_{1 2} ^∗

}

≝ _{1 1} . _{2 2} ^∗

) }

=   ; ‐

^∗

=> variance (à l’instant t) si =0.

•

Stationnarité (jusqu’) à l’ordre 2: si moyenne et fonction d’auto‐

corrélation (statistiques) sont indépendantes du temps t.

•

Cas d’école de référence: bruit blanc à temps discret (ou source simple) :   Soit  a

₁

, a

₂

, … a

_N

une suite de variables aléatoires indépendantes et de       même loi, alors  a

₁

, a

₂

, … a

_N

est un processus stationnaire et ergodique.

Annexe 2: Classification des signaux (3)

Signaux aléatoires

•

Soit un membre (la réalisation n°i=1,2,…)

x(t; i)

d’un processus aléatoire:

‐ en général, la Transformée de Fourier (TF) n’existe pas (≠ énergie finie),

‐ mais existe pour la version limitée à une durée finie T (énergie finie):

; ≝ ;

0

de TF

; _/^/ ; exp 2

•

Périodogramme =

DSP de  ; ; , différent pour chaque  i !

‐ obtenue pour durée finie T, mais  ; lim

→ ;

.

‐ Pour chaque fréquence f => ensemble de valeurs aléatoires => moyenner  selon i:

•

Densité Spectrale de Puissance (DSP) du signal aléatoire:  

limite quand T‐> 

∞ de la moyenne sta s que des périodogrammes:  lim

→

;

En pratique: 

mesure d’un périodogramme (ou plusieurs moyennés) ,  mais bonne  estimation de la DSP si T grand pour signal  stationnaire et ergodique  (jusqu’à ordre 2) 

Annexe 2 : Propriétés énergétique et fréquentielle (2)

Périodogramme et Densité Spectrale de Puissance 

d’un signal aléatoire  :  approche physique

Annexe 2 : Propriétés énergétique et fréquentielle (3)

pour signaux  aléatoires stationnaires x (à puissance moyenne finie) 

À temps discret  (indice k, pas T

_e

) 

À temps continu

•

Puissance moyenne :

≝ ∞

•

Fonction d’auto‐corrélation:

≝ ^∗ }

•

Densité Spectrale de Puissance :

(théorème de Wiener‐Khintchine)

avec ainsi = 

0

•

Puissance moyenne :

≝ ∞

•

Fonction d’auto‐corrélation:

≝ ^∗

}

•

Densité Spectrale de Puissance :

T_e

période 1/T_e , avec 

Grace au Théorème de Wiener‐Khintchine, définition unique de la densité spectrale (d’énergie ou de puissance selon le cas) d’un signal qu’il soit déterministe ou aléatoire stationnaire, comme la Transformée de Fourier de la fonction d’auto‐corrélation.

Annexe 2 ‐ exemple :

où  est une Variable Aléatoire  

1) Dans le cas où est une V.A. de loi uniforme sur [0 2[ :

–

Le signal aléatoire est‐il stationnaire (jusqu’à l’ordre 2) ? Si oui :

–

est‐il ergodique ?

–

quelle est la Densité Spectrale de Puissance (DSP) de ? Retrouver la puissance moyenne P x à partir de la DSP.

2) Et dans le cas où est une V.A. discrète à 2 états

équiprobables {0 ; } ?

II) “MODULATION” EN BANDE DE  BASE  (“CODES EN LIGNE”) 

Systèmes de Transmission Numérique

contenu

2.1 Codes en Ligne :  cas général

modèle, exemples, distance eucilidienne minimale

2.2 Cas de la Modulation d’une Impulsion en Amplitude  (“PAM” : Pulse Amplitude Modulation), 

(ou modulation linéaire en Bande de Base)

2.1 Codes en ligne : en général

source Codeur en

Ligne

Filtre g₂(t)

bits de suite

x(t)

« Émetteur » ou « Modulateur » numérique en Bande de Base 

s(t)

_vers

canal

Un synoptique possible (à titre illustratif …) de la chaîne d’émission en bande de base

N.B : La plupart du temps le « filtrage de R.I. g₂(t) » n’est pas une opération supplémentaire après le codeur en ligne mais les 2 opérations sont réalisées simultanément (+ avantageux !).

(optionnel)

signal analogique

(par défaut)

Séquencement pour une modulation de taille M = 2

ⁿ 

:  

émission d’1 signal parmi M possibles par intervalle de temps T

_s

,  en correspondance à 1 groupe de n bits. 

n bits

M log

1

2 b b

s

s

D

n D

D  T  

^temps

Rapidité de modulation R ou Débit Symbole D

_s

= R

(Bauds, ou signaux/sec, ou symb/sec),

T

_b : temps bit

T_s :

Temps symbole ))

( (m k

s

Débit Binaire

D

_b

= 1/T

_b ( bits/sec)

)) 1 ( (m k

s s

_(m(k2))