0 et XOR(0,1) =XOR(1,0

(1)

UNIVERSIT´E DE BRETAGNE OCCIDENTALE Ann´ee 2009 - 2010 EURIA, Master 1

R´eseaux de neurones

Examen du 7 Janvier 2010 (Dur´ee : 2h) Cours, ordinateur portable et logiciel R autoris´es.

I- Montrer que la fonction XOR, de {0,1}² dans {0,1}, d´efinie par

XOR(0,0) =XOR(1,1) = 0 et XOR(0,1) =XOR(1,0) = 1, est réalisable par un Percep- tron à une couche cachée formée de deux unités et tel que chaque neurone du réseau ait pour fonction d’activation Φ(u) =1{u≥0}.

II - Nous consid´erons la m´ethode SVM de fonction noyau polynomial k(x, x⁰) = (x.x⁰)² = (x₁x⁰₁ +x₂x⁰₂)²,

pourx= (x₁, x₂) et x⁰ = (x⁰₁, x⁰₂) dans IR².

1) D´eterminer Φ : IR² −→IR³ telle que Φ(x).Φ(x⁰) = k(x, x⁰), pour tousx, x⁰ ∈IR². 2)SoientA ={(−1,1),(−2,3),(4,−1),(2,−2)}etB ={(−2,−3),(−1,−1),(3,3),(3,1)}.

Montrer que les ensembles Φ(A) = {Φ(x), x ∈ A} et Φ(B) = {Φ(x), x ∈ B} sont lin´eairement s´eparables dans IR³.

III - Dans cet exercice, nous étudierons le tableau de donnéescpus à l’aide du logicielR.

La base de données cpus se trouve dans le package MASS. Chacun des 209 processeurs d’ordinateurs (CPU) répertoriés est caractérisé par les variables suivantes : sa performance (perf), ainsi que six variables techniques (syct, mmin, mmax, cach, chmin, chmax) (taper

“? cpus” dans R pour plus de d´etails).

1) Calculer le coefficient de corr´elation entre la variable perf et chacune des variables syct, mmin, mmax, cach, chmin et chmax.

2)- Nous souhaitons construire un modèle de régression linéaire simple entre la variable perf et une des variables syct, mmin, mmax, cach, chmin ou chmax. Laquelle de ces variables est la mieux adaptée ? (On pourra s’aider de la question précédente).

- Donner une estimation des paramètres de ce modèle linéaire, ainsi qu’un intervalle de confiance à 95%, en précisant les hypothèses faites sur le modèle.

- Quelle est la valeur du R² ajust´e pour ce mod`ele ?

3)- Nous cherchons maintenant à expliquer la variable perf à partir des deux variables mmax et chmin à l’aide d’un modèle de régression linéaire multiple.

- Donner une estimation des paramètres de ce modèle linéaire.

- La variable chmin a-t-elle un effet significatif sur la variable perf ? On r´epondra `a l’aide d’un test statistique.

- Ce modèle est-il meilleur que celui de la question précédente ?

4) - Nous cherchons maintenant à expliquer la variable perf à partir des six variables syct, mmin, mmax, cach, chmin et chmax à l’aide d’un modèle de régression linéaire multiple.

- Donner une estimation des paramètres de ce modèle linéaire.

- La variable chmin a-t-elle un effet significatif sur la variable perf ?

1

(2)

5)- A l’aide d’un algorithme de sélection de variables (package leaps dansR), déterminer le modèle de régression linéaire multiple exprimant la variable perf en fonction de variables choisies parmi syct, mmin, mmax, cach, chmin et chmax ayant le coefficient de R² ajusté le plus élevé parmi les modèles possibles.

- Donner une estimation des paramètres de ce modèle et la valeur du R² ajusté.

6) Pour cette dernière question, pour simplifier le problème, nous rempla¸cons les variables explicatives par les mêmes variables centrées réduites, à l’aide des commandes suivantes :

x = cbind(syct, mmin, mmax, cach, chmin, chmax)

xs = data.frame(scale(x, center = TRUE, scale = TRUE))

Nous rempla¸cons ´egalement la variable perf par une variable qualitative C, permettant de classer les CPU en trois classes de performance : “mauvaise”,“moyenne” ou “bonne”.

Voici les commandes correspondantes : n = 209

C = rep(’moyenne’, n) for (i in 1:n)

{if (perf[i] >72) C[i] = ”bonne”

else

if (perf[i] <32) C[i] = ”mauvaise”}

6.a) Ex´´ ecuter l’algorithme suivant et expliquer ce qu’il r´ealise : T = class.ind(C)

library(nnet) set.seed(11)

samp = c(sample(1:n, 105))

logis = multinom(T∼., data = xs, family = binomial, subset = samp) applog = predict(logis, xs[samp,], type = ”class”)

table(C[samp], applog)

testlog = predict(logis, xs[-samp,], type = ”class”) table(C[-samp], testlog)

6.b)En utilisant les mêmes bases d’apprentissage et de test qu’à la question précédente, proposer deux algorithmes pour prédire la variable C à partir des six variables centrées réduites :

- par une méthode utilisant un réseau de neurones, - par une méthode SVM.

Décrire les modèles choisis, expliciter les commandes utilisées et les éxécuter.

Comparer les performances de ces modèles à celles du modèle de la question précédente (en particulier, calculer les taux de mal classés sur les bases d’apprentissage et de test).

2