2 Évaluer la performance

2.1 Horizon de prédiction

Comme nous l'avons discuté plus tôt, les approches de pronostic développées ici sont destinées à des prises de décisions liées à de la maintenance ou de la re-planication de mission (cf. Figure 8). On souhaite donc avoir des prédictions à moyen ou long terme. La problématique est de quantier ces notions de moyen et long termes. De quelle durée de temps a-t-on besoin pour agir entre la prédiction et la prise de décision ? Raisonnons sur les deux applications qui sont les plus contraignantes en termes d'organi- sation de la maintenance : le transport et le stationnaire. On suppose dans ce raisonne-

ment que la re-planication de la mission peut s'eectuer à distance, de sorte que seules les contraintes de maintenance sont prises en compte.

On suppose que les contraintes à prendre en compte sont : le délai de planication des opérations (1-2 jours ouvrés), le délai d'obtention des pièces de rechanges (10-20 jours ouvrés), la réalisation de la maintenance (1-7 jours ouvrés). On obtient un horizon mi- nimal de prédiction situé entre 12 et 29 jours. Cela correspond à un horizon situé entre 300 et 700 heures pour le ramener à l'unité qui est utilisée plus tard dans les expérimen- tations de pronostic. Cet ordre de grandeur reste bien sûr à vérier dans la réalité, mais il donne déjà une base d'évaluation des travaux à suivre.

2.2 Précision des résultats

Le terme de précision fait appel à une dénition précise dans le cadre du PHM, il est donc important de dénir ce que nous entendons ici par précisions des résultats. Dans ces travaux, la précision fait référence à une erreur, relative ou absolue, entre les données et les estimations. Plus l'erreur tend vers un seuil d'acceptabilité , plus les résultats sont considérés comme précis. La dénition du seuil d'acceptabilité dépend essentiellement de l'horizon de prédiction. La valeur de  varie également en fonction l'objectif de l'estima- tion. On distingue trois cas représentés en Figure16 : (1) l'estimation de l'état de santé courant 1, (2) l'estimation de l'état de santé futur 2 et (3) l'estimation de la durée de vie résiduelle 3. Les cas (2) et (3) sont évidemment étroitement liés mais il convient de dénir un  pour chacun, les grandeurs considérées étant diérentes.

Les valeurs de 1 et 2 sont dicilement identiables. D'abord, parce qu'elles dépendent de l'indicateur choisi pour dénir l'état de santé du système. Ensuite, l'erreur peut évoluer dans le temps et les résultats devenir dicile à interpréter. Pour résoudre ce problème, on se propose d'utiliser une mesure globale de la concordance entre l'estimation et les don- nées : le coecient de détermination R2. Pour mémoire, le coecient de détermination est donné par :

R2 = 1 − somme des (erreurs de t=T1 à T2)

2

somme des (écarts à l'erreur moyenne)2 (5)

Dans le cas de l'estimation de l'état actuel, T 1 est égal 0 et T 2 à date de la dernière données d'apprentissage. Tandis que dans le cas de l'estimation de l'état de santé futur, T 1 est égal à date de la dernière données d'apprentissage plus un et T 2 est la date de n de la prédiction.

Le R2 est compris entre 0 pour une concordance nulle et 1 pour une concordance par- faite. Les estimations d'états de santé courant et futur seront donc jugés comme précises si elles sont supérieures au seuil d'acceptabilité R2≥ 0, 9.

Concernant l'erreur sur le RUL, deux cas sont possibles, soit l'estimation est inférieure au RUL réel (early prediction) soit elle lui est supérieure (late prediction). L'erreur ac- ceptable ne sera pas la même dans les deux cas. En eet, accepter une prédiction avec

un retard conséquent signie prendre le risque de se retrouver sans source d'énergie, ce qui est intolérable dans la plupart des systèmes à base de PEMFC. On propose que dans ce cas le seuil d'acceptabilité soit inférieur à une journée et on choisi 3late = 24 h. Ceci

représente une erreur de 8% sur un horizon de 300 heures.

La cas de la early prediction permet plus de souplesse dans la dénition du seuil. En- treprendre une maintenance anticipée est beaucoup moins pénalisant même si cela peut générer des coûts dûs au remplacement de systèmes encore opérationnels. Il serait inté- ressant dans le futur de quantier ces coûts pour choisir un seuil avec une justication solide. En attendant, nous proposons de xer 3early = 16%.RU Lreel, ce qui équivaut à

48h (2 jours) pour un horizon de 300 heures ou encore 112h (un peu plus de 4 jours) pour un horizon de 700 heures.

ε1 ε2 ε3 État réel État estimé État prédit Date courante Indicateur de santé Temps 

Figure 16  Erreurs observées pour dis- cuter la précision ε1 ε2 ε3 État réel État estimé État prédit Date courante Indicateur de santé Temps  300 h RUL Temps  24h soit 8% Erreur acceptable 48h soit 16%

Figure 17  Erreur acceptable sur le RUL

2.3 Incertitude autorisée

Comme introduit en section 3 du chapitre précédent, toute prédiction doit être fournie avec un intervalle de conance. Cet intervalle provient de la quantication de l'incertitude présente tout au long des processus d'estimation d'état et de prédiction. En l'absence de données provenant de l'industrie et du bouclage pronostic/décision qui pourraient permettre une discussion, nous tentons de faire un parallèle avec des normes en matière de production d'électricité.

Actuellement les fournisseurs d'électricité en Europe sont tenus de fournir une tension de 230 V ±10% (à 50 Hz) [30]. Cette exigence varie suivant les régions du globe. En Amérique du nord, le standard impose une tension nominale de 120 V avec une tolérance de ±5% (à 60 Hz) [183]. Bien qu'il n'existe pas d'uniformisation de ces standards au niveau mondial, nous pouvons utiliser les tolérances dénies pour proposer un intervalle de conance. On constate que la tolérance est plus faible de moitié à 120 V qu'à 230 V. Dans des applications réelles, les stacks utilisés empilent des centaines de cellules pouvant produire une tension de 1 V pour atteindre ces valeurs. En revanche, dans les expérimentations dont sont issues les données exploitées dans cette thèse, les stacks ont au maximum 8

cellules donc une capacité de 8 V. Il pourrait donc être intéressant de choisir l'évaluation des résultats suivante :

 résultats compris dans un intervalle de conance de ±5% → très satisfaisant,  résultats compris dans un intervalle de conance de ±10% → satisfaisant,  résultats hors de l'intervalle de ±10% → médiocre.

2.4 Vitesse d'exécution

Étant donné les échelles de temps précédemment dénies pour le pronostic, la vitesse d'exécution (apprentissage + prédiction) des algorithmes de prédiction ne semble pas être une contrainte au premier abord. Il faut cependant nuancer quelque peu cette armation. Tout d'abord, le pronostic est souvent précédé par une estimation de l'état de santé courant du système qui peut être bouclée avec le pronostic (cf. Chapitre1-Figure6). Cette estimation d'état peut également être utilisée à des ns de diagnostic, reconguration de commande ou autres. Il peut donc être intéressant que les algorithmes s'exécutent en quelques secondes. De plus, à long terme, on peut imaginer que ces processus seront réalisés sur un système embarqué avec des capacités de calculs et/ou de stockage inférieurs aux ordinateurs classiquement utilisés en recherche.

Bien que ce ne soit pas une contrainte prioritaire dans les travaux proposés ici, nous essayons tout de même de proposer des solutions d'estimation d'état de santé et de pronostic limitant la durée d'exécution à quelques secondes ainsi que la quantité de données à stocker.