fronti `ere de d ´ecision: F ={x|g(x

•

• g₁(x),g₂(x),...,g_N(x): R^d → R

• fonction de d ´ecision:

f(x) =C_i si g_i(x) ≥g_j(x) pour tout j = 1,...,N

• r ´egions de d ´ecision: R₁,R₂,...,R_N

x∈ R_i si f(x) =C_i

• fronti `ere de d ´ecision: F ⊂R^d

F = {x|∃i, j : i = j,g_i(x) = g_j(x)}

• Deux classes {−1,1}

• g(x) =g₁(x)−g₋₁(x)

• fonction de d ´ecision: f(x) =signe(g(x))

• r ´egions de d ´ecision: R₁ = {x : g(x) ≥ 0},R₋₁ = {x : g(x) < 0}

• fronti `ere de d ´ecision: F ={x|g(x) = 0}

•

p(x) = 1

(2π)^d/2|Σ|^1/2 exp

−1

2(x−µ)^tΣ⁻¹(x−µ)

• µ: vecteur de moyenne

• Σ: matrice de covariance (positive semidefinite)

• |Σ|: d ´eterminante (≥ 0)

• Σ⁻¹: inverse (existe)

• Fonctions discriminantes

• g_i(x) = ln p_i(x) = ln p(x|Y =C_i) +ln P(Y =C_i)

• g_i(x) = −1

2(x−µ_i)^tΣ⁻_i ¹(x−µ_i)− d

2ln 2π−1

2ln|Σi|+ln P(Y =C_i)

• Cas 1: Σi = σ²I (matrices de covariance sph ´eriques)

• |Σⁱ| = σ^2d

• Σ⁻¹ = _σ¹²I

g_i(x) = −x−µ_i²

2σ² +ln P(Y =C_i) +const.

= − 1

2σ²(x^tx−2µ^t_ix+µ^t_iµ_i) +ln P(Y =C_i) +const.

• =

• fonctions discriminantes lin ´eaires: g_i(x) =w^t_ix+w_i0

• vecteur de poids: w_i = 1 σ²µ_i

• seuil ou biais: w_i0 =− 1

2σ²µ^t_iµ_i+ln P(Y =C_i)

• fronti `ere de d ´ecision lin ´eaire entre R_i et R_j (µ_i−µ_j)^t(x−x₀) = 0

• x₀ = 1

2(µ_i+µ_j) +

σ²

µ_i−µ_j²ln P(Y =C_i) P(Y =C_j)

(µ_j−µ_i)

• P(Y =C_i) = P(Y =C_j): classifieur de plus proche moyenne

• Cas 2: Σi = Σ (matrices de covariance identiques)

• g_i(x) = −1

2(x−µ_i)^tΣ⁻¹(x−µ_i) +ln P(Y =C_i) +const.

• g_i(x) = w^t_ix+w_i0

• vecteur de poids: w_i =Σ⁻¹µ_i

• seuil ou biais: w_i0 =−1

2µ^t_iΣ⁻¹µ_i+ln P(Y =C_i)

• Cas 2: Σi = Σ

• fronti `ere de d ´ecision entre R_i et R_j:

Σ⁻¹(µ_i−µ_j)^t(x−x₀) =0

• x₀ = 1

2(µ_i+µ_j) +

1

(µ_i−µ_j)^tΣ⁻¹(µ_i−µ_j)ln P(Y =C_i) P(Y =C_j)

(µ_j−µ_i)

• P(Y = C_i) = P(Y = C_j): classifieur de plus proche moyenne selon la distance de Mahalanobis:

d(x,µ) =

(x−µ)^tΣ⁻¹(x−µ)

• Cas 3: Σi = arbitraire

• g_i(x) = −1

2(x−µ_i)^tΣ⁻_i ¹(x−µ_i)− 1

2ln|Σi|+ln P(Y =C_i) +const.

• fonctions discriminantes quadratiques: g_i = x^tW_ix+w^t_ix+w_i0

• vecteur de poids: w_i =Σ⁻_i ¹µ_i

• W_i = −1 2Σ⁻_i ¹

• seuil ou biais: w_i0 =−1

2µ^t_iΣ⁻_i ¹µ_i−1

2ln|Σi|+ln P(Y =C_i)

• fronti `ere de d ´ecision entre R_i et R_j: hyperquadriques