Qualité de l’information

Les enjeux d'amélioration de l'intervention sociale et économique qui sous-tendent un observatoire imposent d'obtenir un niveau de qualité irréprochable des informations produites. Il est impensable de prendre des décisions impliquant des individus, leur vie, leur famille, sur la base d'informations douteuses voire erronées. Tout observatoire doit donc se faire un devoir d'assurer cette qualité, par ses méthodes, ses outils, ses interprétations, ses sources, et son respect à la fois de l'être humain pris dans sa globalité, et des règles institutionnelles qui prévalent dans la société concernée.

3.4.3.1 Respect des règles déontologiques

C'est un sujet sensible sur le terrain que celui du respect des usagers, en particulier de leur vie privée. A l'heure actuelle, de plus en plus de systèmes d'informations voient le jour, même le principe des cartes de fidélité commerciales est géré de manière informatique. Nos noms et adresses sont maintes fois stockés, et servent très souvent de produit commercialisé à des entreprises de marketing ou de vente par correspondance (les fameuses

VPC) qui nous sollicitent trop régulièrement. Cette sorte de "spam" (courrier non désiré) existe aussi sous la forme de relances téléphoniques. Le milieu des acteurs territoriaux, à juste titre, estime qu'il est logique d'éviter aux bénéficiaires ce genre de dérive, à partir de notre travail. Il est donc convenu, parfois par écrit, et bien stipulé aux individus, que leur participation première est d'expliquer leur situation, afin d'améliorer la prise en charge et le suivi, et que ces données ne servent au niveau individuel qu'aux acteurs chargés de ces actions ; que d'autre part elles ne sont utilisées que de manière totalement anonyme à des fins statistiques. Ainsi, dès que d'autres personnes, qui ne sont pas concernées par la situation de quelqu'un, ont besoin d'examiner sa situation, elles auront accès à des informations anonymes, dans lesquelles aucune référence n'est possible aux noms et adresses entre autres. Ce qui est préconisé, dans Catalyse, est d'appliquer un principe simple : la situation d'un usager est toujours décrite dans le système d'information de l'observatoire de manière anonyme. Ainsi, plusieurs observateurs – analystes peuvent se pencher sur une même situation sans avoir à veiller à la confidentialité, la nature même des données la garantissant. D'ailleurs, la diversité des intervenants l'impose : non seulement des acteurs sociaux auront besoin de consulter une situation, mais des techniciens (statisticiens la plupart du temps) peuvent avoir besoin d'ausculter une situation afin de comprendre un cas spécifique: être étudiant et inscrit au chômage : dans quel cas est-ce possible, par exemple ? Avoir droit au RMI avant 26 ans ? On ne peut répondre à des questions précises de ce type qu'en décortiquant précisément une situation, ce qui peut se faire sans aucune référence personnalisée. En revanche, des intervenants spécialisés dans l'accompagnement socio-économique auront certainement besoin d'avoir accès à toutes les informations, dans l'optique d'améliorer le suivi de la personne : entre professionnels, on se retrouve dans la même situation de deux médecins parlant du suivi d'un patient. C'est normal, indispensable, tout le monde le comprend et l'encourage. Pourquoi en irait-il autrement dans le domaine socio-économique ?

Pour alimenter la polémique, il est parfois amusant d'assister à une charge véhémente d'un travailleur social prétendant que l'anonymat n'est qu'un prétexte car beaucoup de systèmes permettent de retrouver au final l'usager concerné. Encore une fois la question est envisagée sous un angle déontologique plus que pratique. Avant l'aide des systèmes d'informations informatisés, ces mêmes travailleurs sociaux conservaient les dossiers de leurs usagers en vue, sans surveillance sur la table de leur bureau non fermé. Bref, la situation personnelle d'un usager était plus facilement accessible avant l'arrivée de

l'informatique dont les systèmes de gestion des accès en garantissent malgré tout une plus grande confidentialité.

Il incombe à l'acteur, lors de son entretien avec l'usager, d'expliquer la démarche d'observation et le cadre déontologique, pour qu'il n'ait pas l'impression de se faire enfermer dans des cases, de devenir un chiffre de plus dans une colonne d'un tableau statistique. On peut effectivement légitimement avoir parfois l'impression de n'être qu'une unité de plus dans un monde kafkaïen.

Il s'agit alors de présenter la méthode de travail d'une manière claire, en mettant en évidence le respect individuel et le souci déontologique de confidentialité. Il est important de préciser, par exemple, l'intérêt de la structuration choisie dans un SIM de type Catalyse : il est possible de naviguer constamment de la situation générale de la population concernée, à la situation individuelle, en passant par les contours des groupes de profils proches. Il sera toujours possible de comparer la situation individuelle d'un usager au bilan général, afin de savoir comment il se situe, s'il présente ou non les mêmes problématiques que tel groupe… L'objectif est d'arriver à positionner l'individu dans un groupe, puis dans des sous-groupes (principe de classification), afin de rationaliser l'intervention sociale selon l'identification des tendances observées.

Le graphe suivant illustre ce positionnement d'un individu dans un espace contextuel spécifique.

Figure 31 : Optima, Seraing, AFC2000, Suivi d'un usager

On voit par exemple dans ce nuage de points, graphe de compris réalisée sur les données de 2000 collectées par l'observatoire Optima de Seraing, en Belgique (à côté de Liège), que se visualise une répartition spatiale en trois dimensions (un axe z non visible ici est en prolongement de l'origine des axes, en profondeur), dans laquelle se distribuent les points représentant les positions moyennes des observations (usagers) et des caractères (qui ont servi à la description des situations)37).

En rouge, se distingue un usager : nous pouvons donc interpréter, en le travaillant, le nuage de points dans son ensemble, nous pouvons aussi nous focaliser sur cet usager, et analyser son comportement par rapport à tous les autres, ou par rapport à un groupe précis, comme le montre le schéma suivant :

Figure 32 : Optima, Seraing, AFC2000, usager dans le groupe des jeunes sans emploi

L'usager fait partie ici du groupe des jeunes sans emploi, on peut voir en outre les caractères qui font partie du même groupe. On peut dire que cet usager est plus proche des personnes qui se trouvent dans ce groupe, et de ceux qui partagent avec lui les mêmes caractéristiques. Ainsi, du particulier au général, on peut aussi analyser l'étape intermédiaire, celle des relations qu'entretiennent les groupes entre eux :

Figure 33 : Optima, Seraing, AFC2000, usager et groupes

D'un point de vue purement déontologique, des données non nominatives seront utilisées lors de ces diverses étapes d'analyses et d'interprétation. Il faudra aussi faire preuve de prudence dans les commentaires à porter sur les tableaux statistiques (bilans, tris croisés principalement) et sur ces graphes. On représente ici des tendances, et non une vérité absolue qui correspondrait absolument à tous les individus concernés. Enfin, on ne peut oublier que nous travaillons sur des situations réelles vécues, de personnes ou de familles qui connaissent des difficultés justifiant un accompagnement socio-économique38_{. Il s'agit de se}

comporter avec un respect professionnel et simplement mais justement humain.

3.4.3.2 Homogénéité de l’information

Même si le contexte joue un rôle déterminant, nous allons, dans les traitements des données que nous opérons, utiliser une notion prépondérante en statistiques, celle de

l'homogénéité de l’information, qui sera garantie par celle des données collectées et

analysées : elles devront être formées d'éléments de même nature.

Dans un souci de qualité de l'information, il semble nécessaire d'affecter aux individus les mêmes descripteurs, présentés dans le même ordre, afin de diminuer les risques d'influences d'un processus d'étude sur les données en jeu. Comme nous l'avons évoqué précédemment, et afin de pouvoir comparer des situations individuelles, la nature égale des "objets" étudiés va dépendre du contexte, de la localisation, de multiples facteurs qu'un dispositif d'observation rigoureux garantira, en fonction des objectifs du projet. Par exemple, un observatoire Catalyse recueillera des données sur des usagers de services proposés par les partenaires : ces données identifient un collectif d'individus qui ont en commun ce statut spécifique d'usagers de ces services et structures. Comme l'objectif est de connaître justement ces individus précis, le groupe est homogène. On ne pourra y introduire, par exemple, un échantillon selon une des méthodes de techniques d'enquêtes "classiques" (tirage au sort, méthode des quotas, méthode des sondages multiples), sans obtenir fatalement des données concernant un public tout à fait différent de celui de l'observation.

Dans le même ordre d'idées, les descripteurs servant à la collecte des données doivent être scrupuleusement organisés et définis de la manière la plus large possible. Dès qu'un ensemble de descripteurs ne peuvent être renseignés que par un seul sous-groupe d'individus, peut se créer potentiellement et théoriquement un biais statistique qui va remettre en cause la fiabilité, donc la qualité des informations. Dans la pratique, les faits amènent à composer avec le terrain. Nous verrons dans le déroulement du montage d'un observatoire Catalyse que l'étape de la définition du questionnaire, donc des descripteurs et modalités qui le composent, est l'étape par laquelle débute le réel travail avec les partenaires. En termes de compréhension de la méthode, et d'appropriation des concepts, il n'est pas aisé d'assimiler tous les paramètres en deux ou trois réunions de deux heures. Il est quasiment impossible de gérer la maîtrise de la nouveauté méthodologique et de la technique scientifique.

Lors de cette étape, toute l'énergie est focalisée sur le montage et la consolidation du partenariat. Une avalanche de théories et de techniques produirait l'effet inverse, celui d'un

discours rapporté et dogmatique, propriété d'intellectuels (qu'ils soient experts ou universitaires peu importe) au sens péjoratif du terme, donc dévalorisant, et forcément démobilisateur. Attitude qu'il faut donc proscrire… Ainsi, nous sommes amenés, la première année du lancement d'un observatoire, à composer avec les partenaires, lors de la définition des descripteurs : chacun voudra voir "sa" thématique apparaître, souvent sur bases d'intuitions plus ou moins justes, mais rarement vérifiées, avec une intention souvent mal cachée de reconnaissance (individuelle et structurelle). Ce qui entraîne des difficultés d'organisation du questionnaire.

Tout l'art de l'expert accompagnant le projet sera de ne pas perdre son partenariat en devenir, par des explications allusives et floues, ou au contraire d'une technicité rébarbative, ou encore d'un niveau scientifique trop "éloigné" : on rejoint ici les théories déjà citées de Chambers39 _{sur l'horizon d'attente, où un mode opératoire possible est celui de l'exploration}

de l'espace interstitiel entre les partenaires et la méthode Catalyse par les acteurs eux- mêmes, dans une visée d'appropriation (thème que nous développerons plus loin). Composer avec les desiderata des partenaires, sans pour autant nuire à la qualité de l'information, est un dilemme qu'un savoir méthodologique et technique, nourri par l'expérience, peut résoudre en partie : il est souvent possible, lorsqu'un point devient source de blocage avec un acteur, d'accepter des modifications, tout en les structurant dans le questionnaire de manière à minimiser leur impact, d'une part, ou en prévoyant d'ores et déjà leur mise à l'écart lors de l'analyse qualitative. Il faut cependant rester intransigeant sur les points les plus litigieux, qui compromettent à coup sûr l'homogénéité des informations.

3.4.3.3 Représentativité de l’information

La demande de terrain porte souvent sur les modalités qui garantissent la représentativité des informations collectées. Envahis de sondages au coup par coup, d'études expédiées par des cabinets peu scrupuleux, d'enquêtes délayées à toutes les thématiques possibles (consommation de chewing-gum en Europe, pour ou contre les OGM, proportion de propriétaires de chiens habitant au-delà d'un troisième étage…), nos contemporains sont quotidiennement confrontés à des informations faites de grotesques comparaisons, dont on

39 _R

ne connaît ni les dispositifs méthodologiques, ni les aspects déontologiques. Relayées par les médias, ces informations deviennent données descriptives de notre monde.

Il en va autrement lorsqu'il s'agit de s'impliquer soi-même dans une démarche participative d'observation. La représentativité doit être assurée. Que sait un intervenant social de cette notion ? Certains, lors de leur formation, ont pratiqué les techniques d'enquêtes. Dans le meilleur des cas, ils en ont quelques souvenirs, les raviver ne sera pas trop complexe. Mais la plupart du temps, la connaissance se limite à celle de l'homme de la rue : à l'alinéa, en écriture très petite, en italique, posée sous le graphique dans le magazine (quand la mention existe), précisant "sondage effectué sur un échantillon représentatif auprès de

X personnes, le tant". Donc confusément, l'expérience quotidienne laisse penser qu'il faut :

1) qu'il y ait un échantillon, même si ce terme reste vague pour la plupart des acteurs 2) qu'il soit représentatif, même si on ne sait pas comment

3) et qu'il soit quantitativement important : pour qu'il soit représentatif, on pense qu'il faut nécessairement qu'il soit imposant.

Autant d'idées reçues qui forment le contexte dans lequel nous intervenons. Les théoriciens du changement insistent sur l'analyse de la situation de départ : nous voyons ici combien le référentiel culturel joue un rôle important dans une démarche participative. L'une des fonctions de l'expert accompagnant sera encore une fois de jongler entre un discours trop pointu, perçu comme élitiste, et une non-réponse évasive et floue, attitudes qui auront toutes deux un effet démobilisateur, producteur de défiance.

Nous sommes aussi confrontés à un double souci : respecter les règles de techniques d'enquêtes, qui imposent des normes statistiques, et respecter également la prédétermination de l'échantillon par l'objet même de l'observation : si une structure seule suit une quarantaine d'individus par an, les statistiques ne sont pas signifiantes. L'information obtenue ne pourra être vérifiée à grande échelle, les tendances observées n'auront pas une grande fiabilité. Mais un partenariat composé de dix structures s'occupant chacune du suivi de quarante personnes pourra composer un groupe de référence d'une taille acceptable d'un point de vue purement quantitatif. On estime généralement qu'en dessous d'un groupe de 300 individus composé comme vu précédemment, il n'est pas recommandé d'utiliser les techniques que nous employons : les conclusions seront à manier avec précaution.

Lors de la préparation de l'analyse qualitative, nous opérons une sélection des caractères dits représentatifs, en nous fiant à une règle de statistique (loi du chi2) qui veut

qu'une donnée atteignant moins de 5% des réponses sur la totalité des usagers n'est pas représentative de l'ensemble et est alors sujette à caution : en dessous de ce seuil, la probabilité d'erreur est trop forte pour qu'on puisse scientifiquement en tenir compte. On parle d'ailleurs de "seuil de représentativité". Surgit de nouveau la problématique des descripteurs propres à un sous-groupe dans un questionnaire global : si l'on accepte de telles spécifications, on s'expose à obtenir ensuite des données purement inutilisables, ni d'un point de vue quantitatif, ni qualitatif.

Ce point est souvent sensible à tracter avec les opérateurs de terrain. La complexité de l'explication vient à la fois du degré de technicité nécessaire, et de l'expérience indispensable pour appréhender l'importance relative qu'il faut donner ou non à cette notion. Or, répondre à un travailleur social ou à une infirmière que "c'est en forgeant qu'on

devient forgeron" est certes souvent tentant mais cavalier, et certainement impossible, tant

professionnellement, qu'humainement, car grossier voire humiliant.

3.4.3.4 Pertinence de l’information

On peut parfois perdre beaucoup de temps à tenter de collecter un indicateur spécifique, à en organiser la structuration et le traitement, en oubliant de se poser une question logique, tellement basique qu'elle passe inaperçue : cette donnée a-t-elle un quelconque rapport avec l'objet de notre travail ? Est-elle en adéquation avec nos besoins ? Est-il pertinent de demander aux usagers quelle est leur taille, et quel est leur poids, par exemple ? Si l'observatoire ne s'intéresse pas aux questions d'équilibre de santé, le calcul du poids idéal40 _{leur sera complètement inutile. Cette information aura une pertinence qui sera}

dictée par les objectifs même de l'observatoire (thématiques abordées, besoins nouveaux…). C'est aussi une question qui peut provoquer des débats houleux : en général, c'est un argument utile qui sert à débloquer une confrontation entre deux partenaires sur la présence ou non d'un descripteur. C'est alors que peut s'installer un peu de méthode dans le déroulement des discussions, par un rappel des concepts qui permettent de qualifier l'information.

40 _{Indice de masse corporelle, ou "Body Mass Index" (BMI) = Poids / (Taille} 2_{). Pour information, le poids idéal}

La qualité de cette pertinence vient des analyses préalables de l'objet de la recherche, du contexte de son déroulement, et de la conception générale du projet. En conservant ces divers aspects comme guides tout au long de l'élaboration des outils et du traitement de l'information, on peut se garantir d'un bon niveau de qualité de l'information. Lors des travaux de terrain, le plus difficile est de régulièrement prendre du recul sur ce qu'on est en train de faire, afin de se reposer des questions d'évaluation du type : ne sommes-nous pas en train de perdre du temps sur tel point ? Les concepts que nous sommes en train de parcourir servent alors de formulaire d'interrogation, et peuvent montrer les activités en cours sous un autre éclairage. C'est ainsi que ces principes sont utilisés non seulement comme indicateurs de qualité avant collecte, mais aussi pendant le traitement, et encore comme éléments d'évaluation.

3.4.3.5 Utilité de l’information

Après la pertinence, on est en droit de se demander si une donnée est simplement utile, est-ce qu'elle donnera lieu à un information utile : elle peut être dans le "droit fil" des besoins exprimés, et remplir les conditions voulues pour être qualifiée de pertinente, mais finalement inutile car redondante, ou trop commune. De nos jours, par exemple, posséder une télévision n'est plus vraiment un indicateur d'aisance économique, en tout cas ne signifie absolument pas que le propriétaire n'a aucun problème d'ordre économique. Or un observatoire socio-économique aura ce genre de donnée à sa disposition, l'INSEE par exemple la fournit très facilement. Devra t'il pour autant s'en préoccuper ? C'est la question qu'il faudra trancher à chaque fois, et surtout, en fonction des besoins d'observation : l'exemple de possession d'une télé est symptomatique. C'est effectivement un indicateur du niveau de vie général. C'est en fait un taux bas qui donnerait une information importante, dans la mesure où pratiquement tous les ménages en sont équipés. Il ne faut donc pas complètement l'éliminer, car cet item peut éventuellement stigmatiser une spécificité locale. En revanche, le caractère étant commun à presque tout le monde, il ne sera d'aucune utilité d'un point de vue qualitatif : il ne permettra aucune structuration (organisation des individus entre eux), ni discrimination (individus bien distincts, séparés).

Dans un observatoire Catalyse, on pourra décider de conserver cet indicateur comme une donnée contextuelle, à utiliser si besoin, mais elle ne sera pas collectée auprès des usagers des structures, et ne sera pas non plus traitée. Il est parfois des données plus