Évaluation sémantique d'informations symboliques : la cotation

HAL Id: tel-01559975

https://hal-univ-paris8.archives-ouvertes.fr/tel-01559975

Submitted on 11 Jul 2017

HAL is a multi-disciplinary open access

archive for the deposit and dissemination of

sci-entific research documents, whether they are

pub-lished or not. The documents may come from

teaching and research institutions in France or

abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est

destinée au dépôt et à la diffusion de documents

scientifiques de niveau recherche, publiés ou non,

émanant des établissements d’enseignement et de

recherche français ou étrangers, des laboratoires

publics ou privés.

Public Domain

cotation

Adrien Revault d’Allonnes

To cite this version:

Adrien Revault d’Allonnes. Évaluation sémantique d’informations symboliques : la cotation.

In-telligence artificielle [cs.AI]. Laboratoire d’informatique de Paris 6 [LIP6]; Paris 6, 2011. Français.

�tel-01559975�

´

Ecole Doctorale d’Informatique, T´

el´

ecommunication et ´

Electronique de Paris

´

Evaluation s´

emantique d’informations

symboliques : la cotation

TH`

ESE

pr´esent´ee et soutenue publiquement le 11 juillet 2011

pour l’accession au grade de

Docteur de l’Universit´

e Pierre et Marie Curie – Paris 6

(sp´

ecialit´

e informatique)

par

Adrien Revault d’Allonnes

Composition du jury

Rapporteurs :

Salem Benferhat

Laurence Cholvy

Examinateurs :

Herman Akdag

Bernadette Bouchon-Meunier

Philippe Capet

Marie-Jeanne Lesot

Olivier Poirel

Invit´

e :

Michel Goya

La onan e en une information est une mesure de la foi qu'on peut lui apporter, 'est-à-dire qu'elle indique ombien on peut la roire. Si la onan e onstitue un sujet

de re her he très étudié, dans la plupart des as sa mesure témoigne plus de la qualité de laprodu tion de l'information sur laquelle elle porte qu'elle ne révèle si l'on peut s'y er.Commeonne sesatisfaitpasdufaitqu'une nouvelle émaned'unesour esûrepourla

roire,l'évaluationautomatiquede la onan ené essiteunmodèleplusri he, apablede dé rirepourquellesraisonssonobjetestoun'estpas rédible.C'està etteproblématique quenousnoussommes atta hé dansnostravaux.

Après avoir étudié la per eption d'un mode de représentation de la onan e, nous proposons d'aborder séparément son expression et lepro essus gouvernant son établisse-ment,de distinguerla otede la otation.Nousétudionslesprérequisà ladénition dela

oteeten déduisonslesdimensions in ontournables àsa onstru tion. Nousenproposons un dé oupagepermettant de regrouperles diérents ritères d'évaluationselon leur objet et leur inuen e et assurant leur indépendan e et leur non-redondan e. Nous nous

atta- honségalement àassurer lalisibilité desmesures parti ipant à l'évaluation dela oteen proposant de lesappré ier surdesé hellesdis rètes expli itéesd'étiquetteslinguistiques.

Une fois etteséle tion des dimensionsee tuée, nousnousposons laquestion deleur

ombinaisonpourmodéliserlepro essusd'établissementdela onan e.Anderépondreà eproblème,nousproposonsunephilosophiedel'intégrationdesdimensionsàla onan e: nous façonnons une ar hite ture à la otation. Nous fournissons à ette ar hite ture une

représentation sous la forme d'une haîne de otation, elle- i mettant en avant l'ordre de prise en ompte des dimensions d'intérêt et leur inuen e sur la hausse ou la baisse de la ote. Nous montrons également omment la souplesse de notre modèle permet de représenter diérentes postures de rédulité de l'utilisateur, adaptabilité essentielle à la

modélisationde prin ipessubje tifs.

Suite à es dénitions, nous proposons une formalisation théorique du pro édé de o-tation ainsi quede la ote, sonmode d'expression. Exploitant l'expressivité de lalogique

multivaluée, nous hoisissons e formalisme pour exprimer nos propositions. An de pré-server la nuan e importante entre l'impossibilité de mesurer et la mesure neutre, nous l'étendons enlui adjoignant un nouveau degréde vérité. Dans e adrede logique

symbo-lique étendue, nous dénissons les opérateurs de ombinaison permettant de représenter l'ensemblede nospropositions etformalisonslamodélisationde la rédulité.

Nous onsidérons ensuite la mise en pratique de notre modèle dans l'extra tion et la

otationd'informations symboliques. Dans unpremier temps nous examinonsla transpo-sitiondela otationauproblème del'extra tionde onnaissan esà partir detextes.Nous détaillons su essivement la otation de l'extra tion d'informations, puis elle de leur

fu-sion,en examinant pour ha unelatransposition desdimensionsqui la onstituent. Nous implémentons, ensuite, undémonstrateur pour lamise en÷uvre de nospropositions. En-n,nousappliquons modèle etdémonstrateurà un as réeld'extra tion etde otationde

réseau so ial.

Conden e in information should represent how far one an believe it, how mu h faith to put in it. Trust is a thriving eld of study yet, in general, it tends to measure quality of the pro ess responsible for produ ing the information rather than advise on whethertobelieveitornot.Inthesamewaythathearingafa tfromatrustworthysour e

isinsu ient to fullybelieve it,automati evaluationoftrustinaninformation requiresa ri hmodel apable ofexpli itly putingforwardwhywhatitqualies shouldor should not

be believed.Thisisthe problem wehave ta kled inour work.

Froma areful studyofan existingrepresentationof onden e, we hooseto splitthe problemintwo:theen odingoftrust,i.e.howitisrepresented,andtherulesgoverningits

appraisal,i.e.howitisevaluated.Wederivethequintessential dimensionsparti ipating in the buildingof trust from theprerequisites imposed on thedenition ofits en oding.We oera ategorisationofthesedimensionswhi hgatherstheevaluated riteriaa ordingto

their obje t and inuen e and thus ensures their independen e and non-redundan y. We alsotakegreat areofensuringthereadabilityofthemeasuresinvolvedintheassessmentby proposing theirexpressionalongdis rete s alesmadeexpli itthroughtheuseoflinguisti labels.

Afterthesedimensionshavebeensele ted,we anaddresstheproblemoftheir ombina-tionto modelthetrust-building pro ess.Wesolve thisproblembyproposingaphilosophy of integrationfo thedimensions, thatis, weshapethe ar hite ture ofinformation s oring.

Weprovide thisar hite ture witharepresentationasa s oring- hain whi hhighlightsthe order inwhi h dimensions are onsidered and the inuen e they have on the in rease or de rease of the onden e evaluation. We also show how the exibility of our model an

be used to represent dierent user gullibility-postures, an essential adaptability for the modelingof subje tivematters.

On e these denitions are set, we propose a theoreti al formalisation of the s oring

pro ess and of its expression, the s ore. Using the expressiveness of multivalued logi s, we hoose to setour solutions inthisformalism. Toreintrodu e theimportant distin tion between impossibility of measure and a neutral, yet expressed, measure, we extend this

formalism byaddinganewtruth-degree. Withinthis newframework ofanextended sym-boli logi ,we dene ombinationoperatorsto represent theentire olle tionof proposals weoered and formalise redulity-modeling.

We then onsider the implementation of our model in the extra tion and s oring of symboli information. We rst examine the transposition of information s oring to the problem of knowledge extra tionfrom text. We des ribe su essively thes oring of

infor-mationextra tionandthatoftheirfusion,examiningforbothhowthes oringdimensions translate.Wethendevelopaprototypeforimplementingourmodel.Finally,weapplyboth modeland prototype to a real-world use ase onsistingof theextra tion and s oringof a

so ial-network froma orpus ofpublished texts.

Keywords: Information s oring, trust, information quality, information fusion, many-valuedlogi , information extra tion, so ial-network extra tion

Si vousme voyiez, Grand'mère!

Themind isnot avessel tobe lledbuta reto bekindled. Plutar h

Granny,you'd havebeen hued.

Il fautinventeren même tempsquel'on apprend. Plutarque

Remer iements

J'airêvédenombreusesannéesdere her he.Jetiensàremer ierparti ulièrement deux

personnes de m'avoir permis de réaliser e rêve. Bernadette Bou hon-Meunier m'a reçu, alors que je ne faisais en ore que rêver, a peut-être vu quelque hose hez moi qui l'a intriguée et, après que letemps lui a permis de onrmer sonintuition, m'a prodigué un

indéfe tiblesoutien,uneaides ientique,unré onfortintelle tueletémotionneletm'afait onan epour devenir e que jevoulais être,dansdes onditions queje n'osais imaginer. Je suis heureux d'avoir pu  etde pouvoir en ore  ollaborerave Bernadette et d'avoir

mérité sa onan e, presqu'autant queje lesuis qu'elleait a epté de présider lejury de mathèse.

Mon aventure de her heur a aussi été façonnée par mon dire teur de thèse, Herman Akdag.Hermanaa ompagnémespremierspasdanslemilieuetm'aenseignéqu'ilnesut pas de réé hir ou de trouver, en ore faut-il transmettre. Il m'a montré omment passer

de mes feuilles pleines d'équations à des arti lesbien arti ulés qui, en plus d'exposer des résultats, ra ontaient e qu'une démonstration veut dire. Durant tout le reste de notre ohabitation,Herman m'a témoignéune immuableassuran e delavaleurqu'il mevoyait.

Parfoismalassurédansmonnouvelélément,j'ai toujourspu omptersursonestimeet sa onvi tion delaqualité montravail.

Je remer ie aussi haleureusement Lauren e Cholvyd'avoir a epté de rapporter mon travail. Son in ontournable ompéten e sur le sujet de la otation et des logiques non- lassiques font de ses ommentaires une ritique experte, expertise qui m'a permis de

défendreave onvi tion mespropositions etmafaçon de voir leproblème.

Toute ma re onnaissan e va également à Salem Benferhat, se ond rapporteur de ma

thèse. Ses ommentaires avisés sur les aspe ts théoriques de mes propositions me per-mettent d'envisager de nouveaux pans d'études à mener et m'en ouragent dans leur ex-ploitation. Peut-être que es extensions formelles à venir nous permettront de nouvelles

ollaborations.

J'ai partagé nombre de dis ussions ave Olivier Poirel, tant sur le sujet sur lequel

il m'en adrait à l'ONERA que sur n'importe quel autre, eux qui le onnaissent savent qu'Olivier parle aisément de n'importe quel sujet. Je le remer ie pour sa disponibilité

lorsquej'allais levoiretpour l'ensembledesvibrionnantsé hanges quenousavonseus. Depuis que j'ai rejoint le Laboratoire d'Informatique de Paris 6, Marie-Jeanne Lesot

m'a a ordé une aide ontinue. Je me suis enri hi de nos dis ussions, tant sur le plan s ientique que littéraire ou ulturel, et lui sais gré d'avoir a epté d'être examinatri e dansmonjurydethèse.Je rendségalementhommageàsafaçondepartager sans ompter

ses apa ités intelle tuelles ethumaines, re onnuesde tous eux quila onnaissent. Mesremer iements sin ères vont aussià Philippe Capet, pour l'intérêt qu'il amontré

pour montravail,poursale tureattentiveetl'ensembledesremarquesqu'ilm'afaites.Je meréjouisàl'idéequenotreatta hement partagépour e sujetnouspermettra,peut-être, de ollaborer.

Je remer ie enn le olonelMi helGoya d'avoir a epté de s'éloignerde sondomaine dere her he habituel,l'histoire,pour donnersonavisd'expertès hosesmilitairessurmes

travaux. Je me doute de l'eort qu'il a dû fournir et lui suis d'autant plus re onnaissant del'intérêt qu'il ya trouvé.

Je remer ie en vra les personnesque j'ai otoyées à l'ONERA, desthésitifs etfuturs do teursAntoine,Joseph,Évangeline,Anne-Marieettouslesautres,auxpermanentsdont

tous les moments, bonsetmoinsbons, passésensemble. Sousses airs d'éternelredresseur de torts Jérme a une é oute etune ompréhensiondes autres parti ulières qui, ajoutées

à sonpragmatisme etsesqualitéss ientiques, enfont unamer 1

onfortableetrassurant etun ami...étonnamment atta hant.

Aulaboratoire, j'aieula han ed'êtredansuneéquipesoudéeetri hedepersonnalités

variées.Je repenseae tueusementà euxquinousont quittés,Javier,Jason, Thomas(B &D),ThanhHà,TriDu etlesautres.Jeremer ieMariaetChristophedem'avoirfaitune pla e etMar in dem'in lureà la onversation. Mer iaussiàFrédéri P.pour sonami ale

surveillan e de mes derniers pas. Un mot parti ulier pour eux qui ont tant parti ipé à mefa iliter lavieJa queline, Ghislaine,Catherine,Boubou,BenoîtetAndré. LeLIP6 ne serait paslemême sanseux.

La listede mes pro hesqui m'ont soutenu eten ouragé tout au longde e péripleest trop longue. Je ne peux, néanmoins, faire autrement que dire à mes parents omme leur aide et leur onan e étaient essentielles dans e hemin. J'espère être à la hauteur des

attentesde mas÷uretde monfrère,lesremer ie d'êtrevenusà masoutenan eetd'avoir tempéréleur impatien eauxderniers dîners defamille.

J'aidébutémare onversionsuiteàuneremarqueironiqued'uneamietrès hère.Après

lasoutenan edeMar -Antoine,j'expliquaisàClaire ombienjel'enviaisetellemerépondit C'est sûr que toi tu es trop on pour faire une thèse. Je la remer ie de me onnaître assez pour savoir où sa remarque m'emmènerait. Je les remer ie tous les deux et le reste

de la bande,ThomasetMaytal,de m'avoir(presque) toujours supporté, dansleshauts et les bas. Je remer ie aussi Juliette d'avoir été là au début etde n'avoir essé de roire en moi. Je termine par lesamisren ontrés depuis ledébutde mathèse, patients, aimants et

toujours là, Claire etStefane,Lot ettousles autres.

Enn, je dédie e mémoire à ellequi m'aporté àbout de brasen nousinventant des trésorsdefor einsoupçonnés,m'apousséquandilfallait,m'a hériquandj'enavaisbesoin etm'a aussimontré quejepouvaisrêveràl'après. ÀMarie.

1 . (2)II.AMER(r sepronon e)n.m.XVIIesiè le.Dérivédunormandmer ,bornedeséparation, empruntédunéerlandais.

Point xesurla teouenmer,visibledeloinetservantderepèreauxnavigateurs.Prendre ses amers. Cephareet e lo her serventd'amers.

Introdu tion générale 1

Cadre destravaux . . . 3

Organisation dumémoire . . . 4

I La otation : ontexte, problématique et état de l'art 5 Introdu tion à la première partie 7 1 Contexte et problématique 9 1.1 Introdu tion . . . 9

1.2 Contexteappli atif :évaluationpour lerenseignement . . . 10

1.2.1 Motivations . . . 10

1.2.2 Constitution de onnaissan es :le y ledu renseignement . . . . 11

1.2.3 Desinformationsbrutesaurenseignement:laphased'exploitation 12 1.2.4 Enquêtede ertitudesinsaisissables:l'évaluationdel'information 14 1.2.5 La otation, une notionessentielle maisobs ure . . . 16

1.3 La otation, un problèmegénéral . . . 18

1.3.1 Comprendre la otation . . . 18

1.3.2 Formalisation du problème . . . 19

1.4 Con lusion . . . 21

2 Conan e, ertitude et qualité omme inuen es pour la otation 23 2.1 Introdu tion . . . 23

2.2 La onan e ommeobjetd'études. . . 25

2.2.1 Aperçu dela onan e dansle adre ta tique . . . 25

2.2.2 Aperçu delapropagation de onan e . . . 28

2.3 Qualité des données . . . 32

2.3.2 Problématiques. . . 34 2.4 Représentationsde l'in ertitude . . . 36 2.4.1 In ertitude probabiliste . . . 37 2.4.2 In ertitude ognitive . . . 37 2.5 Fusion d'informations . . . 39 2.6 Con lusion . . . 40

II Nouveaux ritères, méthode et formalisme pour la otation 43 Introdu tion à la deuxième partie 45 3 Dimensionsde la otation 47 3.1 Introdu tion . . . 47

3.2 Évaluationgénéralede lasour e :laabilité . . . 50

3.3 Évaluation ontextuellede lasour e :la ompéten e . . . 52

3.4 Évaluationgénéraledu ontenu:laplausibilité . . . 54

3.5 Évaluation ontextuelledu ontenu:la rédibilité . . . 56

3.6 Expressionglobalede la onan e . . . 58

3.7 Con lusion . . . 59

4 Combinaisondes dimensions : une ar hite ture modulable 61 4.1 Introdu tion . . . 61

4.2 Ar hite ture de la otation: ara téristiques . . . 62

4.3 Ar hite ture de la otation:des ription . . . 64

4.3.1 Fiabilité de lasour e . . . 65

4.3.2 Compéten e etplausibilité . . . 65

4.3.3 Crédibilité . . . 67

4.4 Personnalisation de la otation:modélisationde rédulités variables . . 67

4.4.1 Fiabilité de lasour e . . . 68

4.4.2 Compéten e etplausibilité . . . 69

4.4.3 Crédibilité . . . 71

4.5 Dis ussion . . . 72

4.6 Con lusion . . . 73

5 Formalisation multivalente de la otation 75 5.1 Introdu tion . . . 75

5.2.2 Raisonnement : ombinaison de degrésde vérité . . . 79

5.3 Ignoran e multivalente :propositiond'extension . . . 80

5.3.1 Problématique . . . 80

5.3.2 Proposition:introdu tion d'undegré additionnel. . . 81

5.3.3 Dis ussion . . . 83

5.4 Opérateur de ombinaisons àlabaisse . . . 84

5.5 Opérateur de ombinaisons dere oupement . . . 87

5.5.1 Prin ipes . . . 88

5.5.2 Crédibilitéimmédiate . . . 89

5.5.3 Crédibilité umulée . . . 93

5.5.4 Crédibilité, dynamiqueetuxd'informations :exemple illustratif 97 5.6 Con lusion . . . 102

III Mise en pratique du modèle de otation 103 Introdu tion à la troisième partie 105 6 Cotation de onnaissan es extraites de données textuelles 107 6.1 Introdu tion . . . 107

6.2 Organisation de l'extra tionde onnaissan es otées . . . 108

6.3 Intégration dela otation . . . 110

6.3.1 Cotationde l'extra tiond'informations . . . 110

6.3.2 Cotationde lafusion d'informations . . . 112

6.4 Cadre expérimental . . . 113

6.4.1 Données . . . 114

6.4.2 S énario d'usage . . . 114

6.5 Con lusion . . . 115

7 Mise en ÷uvre de la otation pourl'extra tion de réseau 117 7.1 Introdu tion . . . 117

7.2 Modules d'extra tion d'informations . . . 118

7.2.1 Extra tion d'informations géographiques . . . 120

7.2.2 Extra tion denoms propres . . . 121

7.2.3 Extra tion etdé hiraged'a ronymes . . . 123

7.2.4 Extra tion derelations . . . 126

7.3.1 Cotation de l'extra tiond'informations . . . 130

7.3.2 Cotation de lafusiond'informations . . . 132

7.3.3 Éditeur de stratégies. . . 134

7.4 Exemple illustratif . . . 135

7.4.1 Cotation de l'extra tiond'informations . . . 136

7.4.2 Cotation de lafusiond'informations . . . 137

7.5 Problématique de l'évaluation. . . 140

7.6 Con lusion . . . 141

Con lusion générale et perspe tives 143

Bibliographie 151

Table des gures 161

Liste des tableaux 163

ANNEXES 165

A Types de renseignements 167

B Dénitionsdes étapes du y le du renseignement, selon l'AJP 2.1 169

C Qualité de l'information, quelques dénitions 171

DansLeFigaro:portraitduGénéralRondot,lavedettedujouraupro èsClearstream.

Danslemondedel'espionnage, 'estunmaître. ArrestationduterroristeCarlos,libération

des otages au Liban : ses faits d'armes sont dans toutes les mémoires. Surnom : Max,

ommeJeanMoulin.C'est aussil'un desmeilleurs onnaisseurs duMoyen-Orient [...℄

Une desquestions- lés, 'est omment un homme de satrempe s'est laissé gruger par

ImadLahoud,présenté ommelefaussaire deslistings Clearstream...À sadé harge, é rit

StéphaneDurand-Souand, legénéraln'est paslaseule dupe deM.Lahoud, quiditavoir

personnellement ren ontré le hef d'Al Qaïda dans le bureau d'un ministre libanais. A

peine s'ilne prétend pasqueleterroriste luia laisséun doubledes lés de sagrotte.

Bruno Duvi , revue de presse du lundi 5 o tobre 2009, Fran e Inter

Pendant le déroulement du pro ès de l'aaire Clearstream 2, la question qui taraude

lejournalisteest omment une personne réputée able etaguerrieauxmanipulations

a-t-elle pu roire à une information peu plausible provenant d'une personne douteuse? Nous

voyons par là ombien la question de la onan e est universellement présente dans les

hoix, dé isions et appré iations de la vie ourante. Il est également à noter l'inuen e

admise, et i i déçue, de la réputation de la sour e sur la onan e faite à e qu'elle dit.

Lasuite montrera enfait, etsansjugerd'uneaairepénale,quela onan eportéepar le

Général RondotàImadLahoud età sesinformations était touterelative.

Commentseforme-t-onuneopinion?Parquelpro essusenarrivons-nousàêtre ertains

de notre avis? Le pro édé est simple et à peu près universel : trouver des sour es sûres,

roiser leurs allégations, puis en extraire le point de vue qui onvient le mieux à nos

onvi tions,nos onnaissan esetnosintérêts.Dèslors,desquestionsfontsurfa e.Comment

estimer lasûretéd'unesour e?Comment réglerleséventuels onitsentresour essûres?

À partirde ombiende re oupements sommes-nous onvain us?Ces ertitudes sont-elles

révisables?Sidansle asgénéral esnotionssont variablesd'unepersonneàl'autre, dans

du al ulde e degré de onan e pour des sujetssensibles, laformalisationdu problème

devient essentielle.

En e qui on erne l'information générale, nombrede personnesaviséesfont onan e

à e quis'appelleengénéral lesmédiaset,dans ertains milieux,les`sour es ouvertes'. De

manière quotidienne des ompendia de sour es ouvertes sont ee tués par desopérateurs

spé ialisés surdessujetsspé iques.Les journalistes, représentantsdu quatrièmepouvoir

selon To queville (1835), se hargent de synthèses etautres revues depresse à l'intention

du reste du monde impatient. Les uns omme les autres appliquent e même pro édé :

tout d'abord trouver l'information, puis la vérier (Baud, 2002; Simon, 2005). S'assurer

qu'elle provient d'une sour e sûre et ompétente est la première étape. Trouver d'autres

personnes, d'autres points de vue an de l'étayer vient par la suite, an de renfor er

la onan e initiale (Borden & Harvey, 1998). Les s ientiques eux-mêmes her hent à

déterminer lesréféren es de qualitépour fonderleurs travaux(Chen et al.,2007).

La onan e est, don , un sujet d'intérêt apital. Elle s'applique, dans son a eption

usuelle, aussi bien aux personnes (Croyan e spontanée ou a quise en la valeur morale,

ae tive,professionnelle...d'uneautrepersonne,quifaitquel'onestin apabled'imaginer

de sa part tromperie, trahison ou in ompéten e) et à soi-même (assuran e que l'on

peut avoir en ses ressour es propres ou en sadestinée), qu'à un objet ou une

informa-tion : Crédit, foi [...℄ a ordé à quelqu'un ou à quelque hose 2

. Qu'il s'agisse de la

onan eentreindividusoula onvi tion qu'uneinformation estjuste,toutedé ision

l'in-tègred'unemanièreoud'uneautre.Letraitementdesujetssensiblesetlesdé isionsquien

dé oulent augmentent en orelané essitéd'unindi ateurde onan esûr, ompréhensible

etrévisable.

L'évaluationde laperforman e desalgorithmes,te hniqueset méthodesinformatiques

estpeupléede s oresde onan e.Ceux- iontpourtant engénéral pour objetlaméthode

plutt que le résultat. S'il est admis que les traitements automatiques produisent

in er-titudes ou impré isions, les mesures usuelles représentent la façon dont les données sont

onstruites plutt que de qualier la onan e en l'information produite. S'ilest

généra-lement susant de savoir qu'un algorithme d'extra tion est e a e huit fois sur dix ou

que sa produ tion est onforme aux attentes dans les mêmes proportions, dès que l'on

s'intéresse àdesdonnéessensibles, àlabasededé isions potentiellement néfastes, on

sou-haiterait disposerd'une onan equaliant l'informationplutt qu'undouteuniformesur

sa onstru tion. Si,quiplusest, laméthode d'élaboration d'untelindi ateur de onan e

estjustiée,lisiblevoire modiable,l'utilisateurpeutalors envisager d'apprendreà

henderlesystème etutilisersesindi ations danslereste de sonintervention.

Cadre des travaux

Notre travail dethèse sesitue au ÷urdesmultiples questionsposéesdansle ontexte

dé rit i-dessus et s'intéresse au pro essus d'établissement de la onan e, la otation.

Celle- i dé rit la méthode d'a quisition de la onvi tion qui permet de qualier la foi à

apporter à une information. L'obje tif de nos travaux est de proposer une formalisation

exploitablede e pro essus.

Notre travailde thèse aétéréalisé en ollaboration entre l'O eNationald'Études et

Re her hes Aérospatiales (ONERA) et le Laboratoire d'Informatique de Paris 6 (LIP6),

nan éinitialement parunebourseONERApuisparunemploid'ingénieurdere her hesà

l'UniversitéPierreetMarieCurie(UPMC,ParisVI).Ilsepla edansle adredel'assistan e

aux servi es de renseignement militaire dans lequel la problématique de otation est une

onstante:l'évaluationdela onan eenune information dans e adreestindispensable

etse pose de manière a rue pour le traitement automatique d'informations symboliques

provenant desour es ouvertes.

Nousrépondonsàl'obje tifdeformalisationdela otationennousatta hantàsatisfaire

des ritères de lisibilité, de fa ilité d'interprétation, de possibilitéde justier les résultats

fournis etd'adaptabilité.Nospropositions embrassent troisniveaux, on eptuel, formelet

pratique.

Notreanalyse on eptuelle s'appuiesurl'étudedel'existantetlere ueildebesoinsqui

nous onduisent à proposer de distinguer la manière de représenter la onan e, la ote,

d'unepart,etlepro essuspermettantsonétablissement,la otation,d'autre part.Pour la

otenousétudionsles prérequisà sadénition, endéduisons lesdimensions surlesquelles

elledoitreposeretnousatta honsàassurersalisibilitéparle hoixdesareprésentation.En

e qui on erne la otation, nous proposons une ar hite ture de la ombinaisondé rivant

laproje tion surla ote de laprise en ompte desdimensions retenues.

Auniveauformel,nousfaisonsle hoixd'unelogiquenon- lassiqueexpressive,lalogique

multivalente, pour modéliserla oteetla otation. Andepréserverlanuan eimportante

entreimpossibilitéde mesureretmesureneutre, nousproposonsune extension à e adre

théorique, en lui ajoutant un nouveau degré de vérité. Nous proposons ensuite des

Enn,nousmettonsenpratiquenospropositionsenlesappliquant àunproblème

d'ex-tra tion et de otation d'informations symboliques à partir de données textuelles. Nous

étudions su essivement la otation de l'extra tion d'informations, puis elle de leur

fu-sion,en examinant pour ha unelatranspositiondesdimensions quila onstituent.Nous

avons développé un démonstrateur pour appliquer nos propositions à un problème réel

d'extra tion et de otation de réseau so ial. Ce adre expérimental soulève le problème

spé ique de la multimodalité de la otation, a teurs et relations étant qualiés par une

ote.

Organisation du mémoire

Ce mémoire est omposé de trois parties. La première formalise les obje tifs visés

par nos travaux en les positionnant à la fois par rapport au adre appli atif d'origine

( hapitre 1)etpar rapportaux problématiquess ientiques liées( hapitre 2).

La deuxième partie présente nos ontributions on eptuelles puis formelles en trois

hapitres. Le hapitre 3 est onsa ré à l'analyse on eptuelle de la ote, le hapitre 4 à

elle de la otation. Le hapitre 5 dé rit leur formalisation théorique dans le adre hoisi

de lalogique multivalente étendue.

Enn, latroisièmepartie présente lamiseen ÷uvredenospropositions. Le hapitre 6

présente la transposition du modèle à la otation de onnaissan es extraites à partir de

textes de façon générale. Le hapitre 7 onsidère le problème de l'extra tion et otation

La otation : ontexte,

Lapremièrepartiede emémoires'atta heàformaliserl'obje tifdestravauxprésentés

i i, la modélisation de la otation omme pro essus d'établissement de la onan e. Elle

propose une mise en ontexte de la problématique de la otation partant de son adre

appli atif prin ipal, le renseignement militaire. Après avoir dé rit les usages de e adre,

elle examine les problématiques s ientiques liées à leur formalisation puis présente les

dis iplines voisines del'établissement de la onan e.

Le hapitre 1 détaille le pro essus de onstru tion de onnaissan es dans le adre du

renseignement militaire,auseinduquel la otationde l'informationjoue unrle entral.Il

proposeuneanalysedesusagess'appuyantsurdesentretiensmenésave desprofessionnels

du domaine. À partir de ette étude de l'existant, il établit les di ultés etaboutit à la

formalisation duproblème de la otation tel que les propositions présentées dans lasuite

dumémoire s'atta hent àlerésoudre.

Le hapitre 2 étudie les problématiques s ientiques liées à l'établissement de la

onan e. Il ommen e par rappeler diverses per eptions existantes de la otation ainsi

quediérentes manières d'aborderla onan e. Au-delà de estravaux traitant

expli ite-ment de onan e, e hapitre présente la otation omme se situant à l'interse tion de

troisdomainesdere her he:laqualitédesdonnées, lareprésentation del'in ertitudeetla

fusiondedonnéesin ertaines.Ilétudielesoutilsque esdis iplinesorentàlamodélisation

L'Artde laGuerre

VI ème

Contexte et problématique

Résumé

Ce hapitre est laprésentation etlamiseen ontextedela otation. Lapremière

partie ore un panorama des usages dans le renseignement militaire et elle

dé- rit les di ultés de la modélisation de la onan e. La se onde partie aborde

la otation omme un problème plus général, puis présente les prin ipes de la

formalisationquenousproposons en réponseauxdi ultésde samodélisation.

1.1 Introdu tion

Nousprésentons dans e hapitre le adrede nostravauxqui lesa à lafoismotivéset

orientés. L'obje tif de ette étudeest de proposer une formalisationde l'établissement de

la onan e.Nousdébutons e hapitrepar uneprésentation du adreappli atifdenos

re- her hes,la otationdanslerenseignementmilitaire.Àpartir de etteproblématiquenous

formalisonsleproblème général dela onstru tion de la onan eàpartir d'informations,

appli able dansdemultiples ontextes.

An de repla er nosre her hesdans leur ontexte d'origine, nousprésentonsles

prin- ipesgénérauxdela onstru tionderenseignements.Laproblématiquedel'évaluationdela

onan eestune onstantedudomainedurenseignementoùlesinformationssontsensibles

etlesdé isionsqu'ellesinduisentlourdesde onséquen es.Ainsi,la otationd'informations

pro- édure d'a quisitionde onnaissan es, nousdétaillons enparti ulier laphased'analyseoù

lesdonnéesbrutessont enri hies puisfusionnées.Nousnousattardonsplusspé iquement

sur l'évaluation des informations et approfondissonsles prin ipes de la otation telle que

pratiquée dansledomaine.

Aprèsavoirdé ritlapro édured'évaluationa tuelle,nousexposonslesdiérentes

pro-blématiques quenousidentions.De ettesynthèsenousdégageonsles points entraux de

laformalisationquenousnousproposonsd'établir.Dansladeuxièmepartiede e hapitre

nousposonsla otation ommeunproblème plusgénéral etorons unepremière esquisse

desréponsesquenousproposonsdanslasuite dumémoire auxquestionsessentielles

iden-tiéespré édemment.

1.2 Contexte appli atif : évaluation pour le renseignement

Le monde de l'après-guerre froide ède très vite lapla e à un monde plus mobile, plus

in ertain etimprévisible, exposéà desvulnérabilités nouvelles.

Ni olasSarkozy,préfa e auLivreblan surla défense etla sé uriténationale

(Com-mission du Livre Blan , 2008)

1.2.1 Motivations

Depuislandelaguerrefroideetladisparitiondel'arontementdessuper-puissan es,

l'évolutiondes for es etdes intérêts a entraîné une modi ation des onits etdes rises

nationaux etinternationaux. Lessituationsàsurveiller sontdevenues terrorismeet

yber- riminalité, les missionsle maintien de lapaixet lasé urité ivile. Ce ia donné lieuà un

a roissement desbesoinsd'analyseamont etde prévisiondessituationsà risques.

Ces évolutions et leur appréhension ont motivé nombre de re her hes spé iques :

notamment les travaux de Mouillet (2005) et de Delavallade (2007) ou de Delavallade

et al.(2007)surladéte tionde onitsintra-étatiques, euxdeCou harière(2010)traitant

de la propagation d'in ertitude dans la tenue de situations terrestres, ainsi qu'un projet

retenu dans le adre de l'appel annuel de l'Agen e Nationale de la Re her he (2008) sur

les  on epts, systèmes etoutils pour lasé urité globale.

L'évolutionde es besoinsse traduit par una roissement desinvestissementsversles

servi esgouvernementauxderenseignement.Dansson ommuniquédejuin2008,exposant

d'unenouvelle fon tion stratégique onnaissan e etanti ipation 1

 etmotivéle

nan e-ment a rudes servi esde renseignement.

Ces besoinsont fourni l'objet de ette thèse, réalisée à l'ONERA 2

, en ollaboration ave

leLaboratoired'InformatiquedeParis 6,surl'étudedel'évaluationdela onan edansla

manipulationde donnéessensibles. Dans lasuite de ette se tionnousprésentons le y le

durenseignement, en nous on entrant par étapessurlaphasede otation.

1.2.2 Constitution de onnaissan es : le y le du renseignement

L'a tivitédeservi esderenseignement,qu'ilssoientmilitaires,é onomiques,publi sou

privés,estdé rite ommelasuited'opérationsparlesquellesdesinformationssontré oltées,

assemblées puis enri hies et, enn,mises à disposition du ommanditaire (Ministèrede la

défense  Commandement de la Formation de l'Armée de Terre (CoFAT), 2001). À la

livraison de es réponses, il est possible que de nouvelles questions émergent. C'est pour

etteraisonquel'onparlede y le durenseignement.Ce y le omporte,selonles ultures

ethabitudes,unnombrevariabled'étapes.Laversionprésentéei i,àlagure1.1, omporte

les quatre étapes que l'on retrouve dans toutes ses formulations et que nous dé rivons

su in tement i-dessous.

Orientation

Diusion Colle te

Exploitation

Figure 1.1 Le y ledurenseignement

Laphaseinitialed'orientationest elleoùl'utilisateurexprime lebesoin.Dansle adre

du renseignement militaire, le ommanditaire établit les zones d'intérêt, qu'elles soient

géographiques ou thématiques (é onomiques ou politiques, par exemple) et le plan de

olle te, 'est-à-direla liste desservi es à solli iter. Le plan de travail ainsi établifournit

1. Lafon tion onnaissan e etanti ipation seraprioritaire. J'aidé idéd'uneortmassif,massif,

d'investissementsurlerenseignement[...℄etquibéné ieraaussibienaux hefsmilitairesqu'auxdé ideurs

politiques.Leprésident delaRépublique,dis ourssurlaDéfenseetlaSé uritéNationale,le17juin

l'orientation de lare her he d'informations.

Dansundeuxième temps,laphasede olle te durenseignement,opéréepar desagents

humainsdesservi esduplande olle te del'étape pré édente, ommen eparlare her he

de sour es pertinentes. On distingue généralement des sour es do umentaires, le

rensei-gnement d'originesour eouverte(ROSOouOSINT, OpenSour eIntelligen e),humaines

(ROHUMouHUMINT,HumanIntelligen e)ette hniquestellesqueleROEM,

renseigne-mentd'origine éle tro-magnétiquerépertoriant lesémissionsd'ondes, omme elles émises

par lesinstrumentsde ommuni ation radiooulesradars.Une listedétailléedesdiérents

typesde renseignements estdisponibleà l'annexe A,page 167.

Lerenseignement desour esouvertes,quinousintéresseplusparti ulièrementdans e

tra-vail,regroupetouteinformation publiquementdisponible:journaux,statistiques,rapports

diplomatiques, re ensements. Des besoins a tuels de onnaissan es générales permettant

l'analyse,éventuellement endehorsde onitsdé larés,desituationsgéopolitiquesdé oule

une né essité de traiter des volumes toujours roissants de données. Cette onstatation

engendre à sontourlané essitéde systèmes automatiques ou semi-automatiques.C'est à

l'utilisation de e type desystèmes quenousnousintéressons.

Après l'extra tion de données brutes, la phase d'exploitation intervient pour leur

en-ri hissement.Il s'agit,d'unepart, defusionnerlesinformations dé ouvertes, généralement

dans le but de les ompléter ou de les onrmer, et, d'autre part, de les présenter dans

un modèle interprétable par l'utilisateur. C'est i i quel'opérateur évalue les informations

re ueillies, les regroupe an d'en extraire un maximum de onnaissan es et les re oupe

ave des éléments déjà onnus pour en faire des renseignements exploitables. Cette étape

entrale au y le du renseignement est elle où s'ins rit la problématique de l'évaluation

de la onan e, la otation, qui nous intéresse i i. La se tion 1.2.3 la dé ritdon plus en

détails an d'endégagerles pointsquenousproposons de traiterpar lasuite.

Lors de l'étape nale de diusion, les renseignements onstruits en réponse à

l'inter-rogation initialesont fournis au ommanditaire ainsi qu'auxéventuels servi es on ernés.

Ces destinataires peuvent alors être amenés à réorienter la re her he, aboutissant à une

nouvelle itération du y ledu renseignement.

1.2.3 Desinformationsbrutesaurenseignement:laphase d'exploitation

Une fois les informations initiales glanées, les servi es d'analyse interviennent an de

renseignementsexploitablesetdénieparl'AJP2.1 3

ommelaprodu tionde

renseigne-mentsàtraversl'agrégation,l'évaluation,l'analyse,l'intégrationetl'interprétation

d'infor-mations et/oud'autres renseignements 4

 (North Atlanti Treaty Organization (NATO),

2002).Nous détaillonslesétapesde eranage danslasuite de ette se tion.Notons que

nousdistinguons, à dessein, orrélation d'informations  leur miseen relation  et fusion

d'informations  la réationd'unnouveau produità partir d'informations orrélées.

L'agrégation dé rit l'assemblage et la onsignation de faits orrélés dans le but de

fa iliter la suite de l'exploitation. À ette étape intervient une nuan e importante : la

granularité de l'information. En eet, dans le adre du renseignement, on distingue les

informations brutes, ou données, des renseignements, interprétés et enri his. Il onvient

don , an de mieux envisager la suite, d'introduire les deux dénitions suivantes, issues

de la littérature liée au renseignement mais que nous adaptons au adre de l'extra tion

d'informations à partirdetextes :

Dénition 1 : Information

Uneinformationestunfaitatomique,

di-re tement disponible dansletexte

d'ori-gine, dont on peut supposer qu'elle

re-présente un fait du monde réel. Une

in-formation peutêtre,danslemonde réel,

vraie,fausseouae téedetoutautre

de-gré devérité intermédiaire.

Dénition 2 : Renseignement

Un renseignement est un agglomérat

d'informations extraites du texte. C'est

le produit du re oupement, de

l'enri- hissement et de la fusion

d'informa-tions,apporté en réponseà unerequête.

Un renseignement est une onnaissan e

onstruite.

L'étape suivante,l'évaluation, est ellequinousintéresse i i:lors de elle- i, les

infor-mationssont assorties d'undegréqualiant,selon les informations olle tées, la onan e

que leur réateur onseille de leur faire, e degré est appelé leur otation. Nous revenons

danslase tionsuivante, lase tion1.2.4,surl'expression de ette otationetsadénition

a tuelle.

L'analyse, qui intervient ensuite, onsiste pour l'opérateur à séle tionner les

informa-tions et les éventuels renseignements parti ipant à la réponse à la question d'origine. Il

s'agitd'untravail desynthèse etderegroupement sémantiquequ'unsystèmeautomatique

peinerait à ee tuer dans un adre général. Il n'est, en revan he, pas déraisonnable de

3. AlliedJointPubli ation2.1,do umentOTANdé rivantlespro éduresderenseignement.Le

le omparer aux règles régissant le rappro hement etla séle tion de données, préalable à

toute fusion.

En eet, laphase suivante d'intégration revient à la ombinaison des données

préala-blement séle tionnées, dans le but d'établir des renseignements enri his et pertinents. Il

est question de fusion d'informations, potentiellement de granularités diérentes, tenant

omptedeleur otation.Ils'agit,bienentendu,defusiondedonnéeshétérogènes,puisqu'il

existe ungrand nombre de typesderenseignements ( f. annexeA,p.167).

Enn, lorsde laphased'interprétation, lerenseignement onstruit estmis en ontexte

et sa portée évaluée. Cette étape vérie, avant saremise au ommanditaire, la réponse à

laquestion initialeen fon tion des onnaissan esdisponibles.

1.2.4 En quêtede ertitudes insaisissables:l'évaluation del'information

L'étapedu y ledurenseignementquinousintéresseestdon laphased'évaluationqui,

danslesusagesdurenseignement,s'appliqueauxinformationsplusqu'auxrenseignements

proprement dits, selon ladistin tion proposée aux dénitions 1 et 2 (voir, notamment, le

support de formation aux métiers du renseignement britanniqueDISS &DISC (2001) 5

).

Cette se tion introduit la grille de otation existantepuis présente la prise en ompte de

la onan e en unrenseignement.

Cotation d'une information

L'annexeduSTANAG2022 dénitpour lapremièrefoislagrillede otationdu

renseigne-mentpour lesfor esdel'OTAN(NorthAtlanti TreatyOrganization(NATO), 1997).Elle

proposeune é helle à deux dimensionsetsixdegrés de vérité, dé ritsà l'aided'étiquettes

linguistiques( f.tableau1.1),danslaquellela onan eenuneinformationestreprésentée

par la ombinaisonde laabilité desasour e etde sapropre rédibilité.

La première dimension d'évaluation de la otation, la abilité, ara térise la sour e

indépendamment de l'information onsidérée : toute information fournie par une même

sour ebéné iedelamêmeabilité.Celle- iestestiméeparl'opérateurhumainenfon tion

de sonhistorique d'intera tions ave lasour e en question.

Le se ond axe de otation évalue la rédibilité de l'information. Le degré maximal de

et axeest ae téaux informations onrmées par d'autres sour es. Ce itendà suggérer

que la ertitude de l'information se mesure omme un degré de onrmation : plus une

Fiabilité Dénition Crédibilité Dénition

A

Complètementable

1

Conrméepard'autressour es

B Habituellementable 2 Probablementvraie C Pluttable 3 Possiblementvraie D

Habituellementpasable

4 Douteuse E Pasable 5 Peuprobable F

Fiabiliténepeutêtreestimée

6

Crédibiliténepeutêtreestimée

Table 1.1Grille de otation durenseignement

elleest rédible.Nousreviendronsdanslase tionsuivantesurl'interprétationde e ritère

etde l'é artentreles valeursproposées et equ'il représente.

La oted'uneinformation s'exprimedon ommeune lettresuivied'un hire,

évalua-tionsde esdeuxdimensions.Ilestànoterquelesopérationnelsquenousavonsren ontrés

ont pris l'habitudede n'utiliser quequelquesdegrés.Il est, parexemple, habituelde oter

uneinformation issued'un apteur

B2

suivante revientsur ertaines desraisonsde ette utilisationlimitée.

Évaluation d'un renseignement

Commenousl'avonsvuplushaut,unrenseignementestleproduitd'unefusion

d'informa-tionset,éventuellement, d'autresrenseignements. Bienqu'ilnesoit pas otéselon lagrille

de otation présentée i i,l'évaluationd'unrenseignement estee tuéeet proposée sousla

forme de remarques d'a ompagnement. Elle s'exprime omme une annotation textuelle

indiquant lamesuredanslaquellel'opérateur hargédesaprodu tion pensequele

rensei-gnement estable. Ellerésultedesonsavoir-fairemétieretestestimée grâ eaux otesdes

diérentes informations, ainsiqueles évaluationsdesrenseignements, le omposant.

Les ara téristiques dela otation dansle adrede e ontexteappli atif peuventêtre

résumées par ladénition3 i-dessous:

Dénition 3 : Cotation

Selon les usages du STANAG 2022, la otation est la mesure de la onan e pouvant

 une information :elle est expriméepar un ouple ombinant lamesurede laabilité

delasour eàla rédibilitédel'information, onformémentauxvaleursdutableau1.1

 un renseignement : elle est alors fournie sous forme d'une annotation textuelle, à

l'appré iation de l'opérateur hargé desaprodu tion.

La otationestun desrésultatsde l'étape d'interprétation, lors de laphase

d'exploita-tion.

1.2.5 La otation, une notion essentielle mais obs ure

Nousproposonsdans ettese tionunesynthèsed'entretiensquenousavonsmenésave

desprofessionnels du renseignement etde notreétudede lado umentation disponible sur

leurs a tivités.L'obje tif de es entretiens était de nousaider à omprendre l'importan e

et le fon tionnement de la otation dansleurs a tivités mais leur apport s'est également

manifesté par une meilleure appréhensionde leurs attentes.

Les remarques lefs onsé utives qui ont orienté nos re her hes par la suite s'arti ulent

autour de la grille de otation : de façon générale es observations ré lament moins la

omparaison dela otationretournéeave desrésultatsattendus quel'augmentationde sa

lisibilité. Ellespeuvent êtreorganisées autourdesquatrepointssuivants:laabilité de la

sour e, la rédibilité de l'information, la ombinaison de es deux dimensions qui fournit

l'évaluation et,enn,lagranularité desobjets manipulés.

La dimension abilité

L'utilisationdelagrillede otationreposesurl'hypothèsequelapremièredimension,

puis-qu'elle dé rit la sour e, est indépendante de l'information. Envisagée ainsi, omme nous

l'avons dit plus haut, la valeur de la abilité est supposée stable pour toute information

quelasour efournit.Cependant,d'aprèslesre ommandationsd'utilisation(DISS&DISC,

2001), elle doit reéter la onan e que l'opérateur fait à la sour e mais peut également

indiquer la onvi tion que lasour e a en l'information qu'elle propose, ainsique sa

apa- itéàjugerde equ'elleavan e.Toutes esdimensionssemblent,eneet,judi ieusespour

l'évaluation de la onan e mais sont ontradi toires ave les étiquettes linguistiques du

tableau 1.1 qui, elles, dé rivent seulement les diérents niveaux de abilité. Cette

onfu-sion a été soulignée par les opérationnels que nousavons ren ontrés qui préfèrent, don ,

se rabattresur desvaleurspar défaut. Ainsi une abilité de

B

A

La dimension  rédibilité

Delamêmemanièreque elledelaabilité,l'interprétationdela rédibilitéposeproblème.

Cette dimension est ensée représenter la mesure ave laquelle l'information est rédible,

omme l'indiquent son nom et les étiquettes des quatre derniers niveaux déterminés de

l'é helle (notés de 2 à5). Cependant, puisquele niveau maximal est réservé aux

informa-tions ` onrmées par d'autres sour es'  etsans aborder leproblème de lagranularité de

l'information surlequelnousrevenons i-dessouson onstateque la rédibilitépeutêtre

onsidérée omme un indi ateur de onrmation. Ces déli atesses d'appréhension de la

dimension,potentiellement àl'originede manquesd'obje tivité,sont,sansdoute,résolues

par lesavoir-faire desspé ialistes,néanmoinsles opérateurs quenousavonsinterrogés sur

la question peinent à s'en aran hir. Dans les as où la rédibilité peut être estimée, ils

n'utilisent queles quatreniveaux qualiant le doute(notés de 2 à 5) et laissent

l'intégra-tion de la onrmation (niveau 1) aux servi es responsables de l'analyse qui ee tuent le

re oupement d'informations diverses. Ainsi les spé ialistes de apteurs te hniques

attri-buent,pardéfaut,une rédibilitéde2,indiquantparlàquel'informationestsûremaispas

onrmée.

Combinaisondes dimensions pourexprimer la onan e

La otationsurdeuxdimensions,enplusdegarantirqu'ellereprésentebienlesdimensions

souhaitées,est enséeaugmenterlalisibilitéimmédiatedesonévaluation. Ilsemble,

pour-tant,quelesopérateursnesoientpastousde etavis:enplusdeladi ultéd'attribution

d'unniveaude onan e,leproblèmedesale tureseprésenteen onséquen ed'unmanque

de omparabilité. En eet,il est di ile de dire quelle information est la plus rédible si

l'uneest otée

B3

C2

etdon interprétables. Une information provenant d'undrone, don sûre, est évaluée

B2

Un autre handi ap de la otation exprimée ommeune telle ombinaison provient de

l'interprétation de la rédibilité. En eet, onsidérée omme indi ateur de re oupement,

l'é helle qu'elle par ourt vade l'inrmation àla onrmation. Il s'agitdon d'uneé helle

signée, onstruiteautour d'unevaleurneutre.Laabilité,enrevan he, dé ritune

progres-siond'unea tivationfaibleouinexistante,jusqu'àunmaximumabsolu.La ombinaisonde

valeurssur es deuxé helles onstituéesdiéremment augmentelamarge d'interprétation

par lesutilisateurs et,ave elle,lerisque d'in ohéren es entre leurs per eptions.

Granularité

renseigne-de ne pas mesurer la onan e de manière uniforme sur es objets de granularités

dié-rentes provient sans doute, en partie au moins, de onséquen es du système de notation.

Eneet,lanotiondeabilitédelasour eposeproblèmepour unrenseignement,puisqu'il

est leproduit de lafusion d'informations provenant de sour es distin tes. Pourtant, ette

dimension reste pertinente pour l'établissement de la onan e. De plus, les évaluations

des informationsn'étant pas, ommenousl'avonsvu, omparables, onstruire la otation

d'unrenseignement àpartirde leuragrégationn'estpasuneopérationformalisée. En

pra-tique,l'analyste responsablede etteagrégationdémontresonsavoir-faire enrédigeant ses

remarques d'a ompagnement. Ces opérations sont en ore ompliquées lors de la

onsti-tution derenseignements ombinant à lafoisdesinformationset d'autresrenseignements.

L'analysteseforgealorsunavissurla onan eàpartird'indi ateursdenaturesdiérentes

et, par là-même,in omparables.

Aborder leproblème de la granularité soulève, par ailleurs, l'in ohéren e du niveau 1

de la rédibilité. En eet,faire dépendrela rédibilitémaximale d'une information, avant

omparaison et fusion, de onrmations par d'autres sour es suppose la prise en ompte

d'autres informations, prise en ompte ontradi toire pour un tel élément atomique.

No-tons,quiplusest,que ettedivergen eintroduitégalementla ombinaisondesour esdont

noussoulignions ladi ulté.

1.3 La otation, un problème général

Lesobservationssurla otationfaitedanslase tionpré édentenousorentunpremier

aperçu des problématiques liées à l'évaluation de la onan e en une information. Dans

ette se tion nous examinons le problème de la otation de façon générale, au-delà du

adredu renseignement militaire.Aprèsavoirétudié les auses desonmanque delisibilité

etd'interprétabilité, nousprésentonslaformalisationdela otationquenousproposons et

indiquons les prin ipesdesréponses quenousapportons auxproblèmes soulevés.

1.3.1 Comprendre la otation

Bien que nous abordions le problème de la otation omme émanant du ontexte

ap-pli atif présenté i-dessus, la question de la onan e en des données onstruites se pose

de manièreplus large. Qu'il s'agisse de traitements automatiques, de relations humaines,

onséquentàessayerd'enorienterlaré eption.Dansledomainequinousintéresse en

par-ti ulier,lare her hed'informations, pouvoirqualier demanièreprévisiblelamesureave

laquelleune information est de onan efait partie de laréponse àlaquête de méthodes

d'évaluationidéales. Ce problèmed'évaluation s'énon eleplussouvent diéremment,soit

à l'aide d'une mesure des han es de l'algorithme de fournir une bonne réponse, soit en

ombinant un fa teur de onan e ou de qualité à une mesure de l'adéquation de la

ré-ponse.Lesoutilspermettantdereprésenterla onan esefo alisent,eux,surlamesurede

la réalité de faits. Celle- i est supposée indis utable alors qu'évaluer la onan e dépla e

esmesuresversledomainedusubje tifetnotreétuded'un adres'yattelantnouspermet

d'enexprimerles désparti uliers.

L'étude denotre adreappli atifnousa,eneet,permisd'identier,àlase tion1.2.5,

lesé ueilsquenousrésumonsen l'expressionduproblèmefondamentaldela otationtelle

qu'elleexiste:ladi ultéde ompréhensiondel'évaluationdela onan e.Nousproposons

de onsidérer que ette opa ité se manifeste sur deux axes distin ts et omplémentaires :

d'une part, la méthode selon laquelle la onan e est évaluée et, d'autre part, la façon

dont etteévaluationestexprimée.Commeladénitiond'unvo abulaire ommunpermet

de s'entendre, au moins sur les termes, une méthode mettant en avant, sans équivoque,

omment et à partir de quoi la onan e est établie est né essaire an d'harmoniser son

utilisation,de s'assurerquetous sesutilisateurs l'envisagent,lamesurentet l'interprètent

delamême manière, évitantque ertains évaluent ombien une information est onrmée

là où leurs le teurs lisent les han es qu'elle se réalise. Lever les doutes de ette manière

né essite, ependant, que la méthode soit a essible et a eptée par eux à qui elle te

les degrésde liberté etl'interprétation onséquente.An d'assurer l'utilité de l'indi ateur

de onan e, elui- i doit également être expressif. Si son pro essus de onstitution en

garantit la ompréhension, sonutilisation dans la omparaison de faits n'est possible que

sisonexpression lepermet.

Nous nous sommes atta hé, dans e travail, à es deux problèmes en proposant une

formalisation dela otation, où nous distinguons la valeur, la ote, du pro essus, la

ota-tion, selonles dire tionsexposées àlase tionsuivante.Nous avonségalement veillé, dans

l'ensemblede nostravaux,à répondreauxbesoinsidentiés pré édemment, enparti ulier

lafa ilité d'interprétation etlapossibilité dejustier lesrésultatsfournis.

1.3.2 Formalisation du problème

de larier nos obje tifs et façons de onsidérer le problème, les notions ouvertes par

la dénition 3 ( f. p. 15) : dans la ontinuité de nos observations, nous arti ulons nos

travaux autour de la dénition d'un pro édé d'évaluation de la otation, d'une part, et

de la formalisation du système de son expression, d'autre part. Nous présentons i i, de

façon synthétique, les prin ipes sur lesquels s'appuient les réponses que nous proposons

auxproblèmesexposésdans e hapitre.Pour efaire,nousproposonslesdénitions4et5

suivantes:

Dénition 4 : Cote

La ote d'une information est l'indi ateur de la onan e que l'on peut lui faire.Pour

quela ote soitappréhendable sansambiguïté, il estné essairede :

 dénir lesdimensions selonlesquelles elle estévaluée

 hoisirun formalisme pour sareprésentation favorisant salisibilité

Dénition 5 : Cotation

La otationdel'information désignelepro édépar lequella oteestévaluée.Elledé rit

la manière dont les dimensions hoisies pour le al ul de la ote sont ombinées. La

otation doit être ompréhensible an d'assurer l'uniformité de son utilisation. Pour

parvenir à e but, sa formulation doit garantir soninterprétabilité, 'est-à-dire ne pas

laisserde doutessurlaraison del'aboutissementà une ote.Sila otationrépond à es

exigen es, elleore également la possibilitéde justierune onan eexprimée.

Nousproposonsderépondreà esexigen esen nouspen hant,dansunpremiertemps,

sur la ote puis sur la otation de manière distin te et, par la suite, en introduisant un

formalisme permettant l'expression etlaréalisation de l'ensemble. Revenons,don , sur la

premièreexigen edeladénition4,ladénitiondesdimensionsselonlesquellesl'évaluation

doitêtrepratiquée.Le hoixde esdimensionsdoittenir omptedel'existantainsiquedes

études attenantes. Ennousinspirant d'uneinterprétation dupro essusd'établissement de

la onan e, nous déterminons les fa teursparti ipant à sa onstitution. Nous proposons

un dé oupage de es dimensions d'intérêt permettant de regrouper les diérents ritères

d'évaluation selon leur objet etleur inuen e et assurant leur indépendan e et leur

non-redondan e.Nousproposonségalementd'évaluer ha unede esdimensionssuruneé helle

dis rète ena ordave l'espritdutableau1.1etveillons àenfavoriserl'interprétabilitéen

portant une attention parti ulière auxétiquettes linguistiquesles illustrant.

l'éta-An de répondre à e problème, nous proposons une philosophie de l'intégration des

di-mensionsàla onan e, l'ar hite turedela otation.Nousproposonset justionsunordre

deprise en ompte desdimensionsqui nousmène àladénitiond'une haînede otation,

synthèsedenospropositionspourl'évaluationdes ritèresetdeleurimpa tsurla otation.

Nous examinonsen détails et dis utons ette inuen e à la hausse ou à labaisse de

l'in-tégrationdesdimensions.Nousdé rivons,deplus, lasouplesse onférée aumodèlepar es

propositions de ombinaison, souplesse permettant l'adaptabilitéà diérentes per eptions

sanspour autant introduire lané essitéd'interprétationetlesrisquesdenon- on ordan e

quien dé oulent.

Enn, nousproposonsuneformalisationthéorique dupro édéde otationainsiquede

la ote,sonmoded'expression.Celle- igagneenlisibilitégrâ eàunereprésentationparun

indi ateur unique,les dimensionsla omposant étant intégréesselon laméthode proposée

pré édemment. L'indi ateur ainsi produit permet de omparer des niveaux de onan e

entre faits et d'ordonner es faits selon la onvi tion du le teur. En outre, l'ordre fourni

entrelesniveauxd'expression dela onan e luioreune lisibilitétotale qui s'ajouteà la

lisibilité du pro édé de otation. Nous proposons également d'uniformiser les évaluations

des dimensions an d'augmenter en ore l'interprétabilité du résultat en garantissant la

ommensurabilité desé helles, évitant par là la ombinaison de mesures de natures

dié-rentesévoquée plushaut.

Nous hoisissonsd'exprimer etteformalisationdansle adredelalogiquemultivaluéeque

nous étendons an de préserver l'expressivité de la distin tion entre l'impossibilité de la

mesureetunemesureneutre maisexprimée.Dans e adreformelétendu nousproposons

les opérateurs de ombinaison permettant lareprésentation de la otation telle que nous

la dénissions auparavant et montrons également la formalisation de la modélisation de

per eptions.

1.4 Con lusion

Dans e hapitre, nous avons introduit les notions sous-ja entes à la problématique

de la otation. Nous avons ommen é e tourd'horizon par une présentation du ontexte

appli atif denosre her hesqu'est l'évaluation dela onan edansle adredu

renseigne-mentmilitaire.Andesituerlesproblèmes,nousavonstoutd'aborddé ritlepro essusde

onstru tion de onnaissan esasso ié.Dans epro essusnousnoussommes attardésurla

phased'analysepuis,en parti ulier, surl'étape d'évaluationdesinformations. Nousavons

Danslase onde partie du hapitre,nous avonsprésentélafa ette généralede la

ota-tionetdesproblématiquesasso iées.Noussommes revenusurlesobsta les pré édemment

dé rits et en avons oert une dé omposition en deux problèmes omplémentaires. Enn,

nousavonsprésenté les prin ipesdessolutionsquenousproposonspour résoudre ha une

de esquestions etque nousdétaillonsdanslasuite de e mémoire.

Nete sou iepas de tatra e. Tuesle seulàne pouvoir l'ea er.

Conan e, ertitude et qualité

omme inuen es pour la otation

Résumé

Nousproposons i i un panorama desdis iplines voisines de l'établissement de la

onan e. Nous ommençons par une étude de domaines traitant de onan e,

parmi lesquels se situent les travaux existants sur la otation. Con evant ette

problématique ommeunglissementde l'évaluationdel'information vers ellede

la foi à lui asso ier, nous nous intéressons ensuite à deux domaines étudiant la

naturede ette information :laqualité desdonnéespuis lathéoriede l'in ertain.

Enn,enraisondesdiéren esdegranularitédesélémentsà oter,nousabordons

lesujetde lafusion.

2.1 Introdu tion

Nous présentons dans e hapitre les dis iplines qui ont inuen é nos re her hes sur

l'établissementdela onan eenuneinformation.Tellequenousl'avonsdénie, ette

pro-blématiquerassembledeuxobje tifs:fournirunmodèlelisibled'expressiondela onan e

et établir le pro essus guidant son évaluation. Ces problèmes omplémentaires ont des

réponses disséminées dans diverses ommunautés. Les premières que nous étudions sont

travaux sur le sujet dans le adre de la re her he militaire, où se trouvent quelques

per- eptionsdiérentes dela otationainsiqued'autresformulations dela onan e. Dansun

deuxième temps, nous regardons du té de la réputation dans les réseaux de onan e,

où nousidentions desméthodesd'évaluationde la onan e etl'in ontournable né essité

de l'adaptationà lasubje tivité del'évaluateur.

Dans la poursuite de la re her he de formalisation de l'établissement de la onan e,

nous présentons ensuitele domaine de laqualité desdonnées. Celui- i s'intéresse à lafois

à l'évaluationdesmodèles dedonnéesetàladénitiondesdimensionsde etteévaluation

pour garantir lamanipulation de onnaissan esaux normesdansles traitements

automa-tiques.Certainesexpressionsutilisées dans estravauxsemblent orientées verslaséle tion

de dimensions de mesure de la onan e en l'information. Les outils et modèles

propo-sés portent sur desfa teurs dont nous re onnaissons l'importan e dans ette mesure. On

trouve également unintérêt pour lapersonnalisation, l'adaptation dessolutions proposées

aux attentes de leur destinataire. Cependant, la qualité des données qualie l'objet sur

lequel elle porte et non sa per eption. Nous on evons don la otation omme une

for-mulationparti ulièreduproblème, résultantd'unglissement sémantiquede este hniques

vers une abstra tion subje tive.

Cemêmebesoind'abstra tionseprésentelorsquenousenvisageonsdiérentesméthodes

de représentation de l'in ertitude. En eet,par e que la foien une information peut être

mère de doutes,nous l'envisageons omme une forme de degré d'in ertitude.Néanmoins,

l'in ertitudequalieelleaussigénéralementle ontenuinformationneld'unélément.Ande

pouvoirbéné ierde lapalettedesoutilsdereprésentation et expressioninterprétables de

l'in ertain,nousdevonsprendre soindesouligner leglissement opéré. Dansletableauque

nous proposons de es théories, nous distinguons l'in ertitude mesurable de l'in ertitude

ognitive.Nousexpliquonspourquoilapremièrenesemblepas onvenirà laformalisation

de la otationtelle que nousl'entendons,alors quela se onde,ri he d'outils représentant

des on epts deraisonnement humain,nousarme pour lareprésenter.

Enn, nous revenons aux problèmes présentés au hapitre pré édent de mélanges de

onstitutionde onnaissan es.Celle- iné essitel'assemblaged'informationsdegranularités

potentiellement diérentes. Ces questionsfont partie de ladénition de laproblématique

de lafusion, par laquelle nous terminons e panorama, en nous on entrant surla fusion

d'informations in ertaines qui ore, elle aussi, des outils interprétables de ombinaison

d'indi ateurs de onan e.

Con evant l'expressiondela otation ommené essitantl'adaptation d'outils de es

théma-Informationsin ertaines

-Formalisationthéorique

-Modèlesinterprétables

-Représentation ognitive

Fusiondedonnéesin ertaines

-Gestiondel'in ertitude

-Opérateursd'agrégation

-Formalismesinterprétables Qualitédesdonnées

-Modèlesetdimensions

-Méthodologiesetmesures

-Outils

Cotation d'informations

Figure 2.1  La otation aux onuents des domaines de la qualité des données, des

informationsin ertaines etde lafusion

2.2 La onan e omme objet d'études

Telle que nous la dé rivons, la otation est une représentation de la onan e en une

information. Sile sujet n'est pas toujours évoqué en estermes, la onan e est présente

dansdenombreuxdomainesdere her he.Cettese tionprésentequelques-unesdes

problé-matiquesabordéespar estravaux.Parmi eux- isesituent,don ,lalittératuretraitantde

otationappartenant aux problématiques de lare her he militaire qui propose également

d'autres appro hes de la question. Nous présentons aussi une formulation alternative du

problèmede la onan eprovenant des ommunautés quis'intéressent au`Trust

Manage-ment', lagestionde la onan e.

2.2.1 Aperçu de la onan e dans le adre ta tique

Commenousl'avonsvupré édemment,lare her hemilitaireengénéraletlare her he

surles problématiquesliéesaurenseignement enparti uliersont enpleinessor.Nous

om-mençons ette présentation par les arti les abordant spé iquement la otation telle que

déniepar leSTANAG2022.Cependant,la otationne représentepasledomaine leplus

étudié dans e adre. Nous nous pen hons don , ensuite, sur des travaux onsidérant la

sé urité omme parti ipant à la onan e. Nous terminons ave une appro he formulée

Extensions du STANAG 2022

Nous avonsdéjà dé rit omment l'a ord de standardisation dé rivant la otation du

ren-seignementestouvertàla ritiqueetàl'interprétation( f.se tion1.2.4,p.14).Une partie

desremarquesquenousfaisonsestprésenteenintrodu tion de ha un desarti lestraitant

de otation. Cependant, si ette partie du problème est formulée de manière analogue, la

per eption générale de latâ he et, don , les solutions proposées dièrent. La plupart des

auteurs onsidère la otation omme une indi ation sur la rédibilité, 'est-à-dire

mesu-rant la réalité de l'information. Envisagée ainsi, lesméthodes qu'ilsproposent tiennent le

plus souvent du maintien de ohéren e dans un système ou de la ombinaison de degrés

d'in ertitude, lafusiond'informations in ertaines.

Ainsi, CholvyetNimier (2003) s'intéressent essentiellement au maintien de ohéren e

dans une base de onnaissan es, en pondérant les distan es entre mondes possibles par

les abilitésdessour es. Cholvy(2004) reprendlagrille de otationinitialepour qualier

les élémentsinsérés dansune basede donnéessto kantl'historique desinformations etde

leurs sour es. Les réponses aux requêtes sur labase de données sont hoisies par un vote

entre lesalternativesen onit. Cethistorique ontribue à la onstru tion d'une

informa-tion enri hie par la fusion des éléments sto kés. Dans et esprit, la majorité des arti les

présentée i i onsidère le problème de la otation omme un problème de fusion. Nimier

(2004), par exemple, en propose une des ription par desopérateurs de ombinaison dans

trois formalismes, le premier probabiliste, le se ond possibiliste et le dernier basé sur la

théorie de Dempster-Shafer. De manière plus détaillée, Besombes et Cholvy (2009)

pro-posent unear hite ture omplète d'unsystèmedefusion d'informations.Ande pro éder

à la fusion, les informations sont orrélées entre elles, la mesure de orrélation ouvrant

toutel'é helledel'inrmation àla onrmation.Lesauteursintroduisentensuiteun al ul

de lamise à jour de la otationen fon tion de ette orrélation. S'ils ne détaillent pasle

pro essusde fusion,ils examinent diérentes méthodesde al ulde la orrélation.

Ces arti les envisagent don la otation omme une estimation, dans un monde plus ou

moins los, de la ontradi tion entre faits onnus. Nous avons vu que la rédibilité peut

êtreenvisagée ommeunindi ateurde onrmationessentielàl'évaluationdela onan e.

Néanmoins, nousavons également notéque ne onsidérer que e fa teurn'est guère

satis-faisantet ompte aunombre desproblèmesde la otationexistante.Enoutre, es

modéli-sations, pour ri hesqu'ellessoient,assimilent la otationd'uneinformation àsa ohéren e

ave la onnaissan e du monde, faisant l'impasse sur sonmode de produ tion ou le

résu-mant à l'importan e relative de la abilité de sasour e. En ohéren e ave ertaines des