La fiabilité et la validité de l’instrument de mesure

De manière générale, nous vérifions si l’instrument de mesure – les entretiens semi-directifs individuels dans notre cas – mesure les bons indicateurs par rapport aux concepts théoriques que nous souhaitons mobiliser. S’agissant d’entretiens semi-directifs, nous nous attacherons surtout à discuter de la fiabilité des entretiens.

a. La fiabilité des entretiens

S’assurer de la fiabilité d’un instrument de mesure consiste à vérifier que, si l’on mesure plusieurs fois le même objet ou le même phénomène avec le même instrument de mesure, on obtient des résultats les plus similaires possibles. Dans notre cas, nous avons réalisé le terrain seul et ne pouvons donc pas comparer les résultats des entretiens avec un autre chercheur. Nous avons préparé avec attention chaque entretien, avons été très vigilant aux formulations que nous employions afin d’être clair. Nous avons été attentif aux réactions des interviewés pour vérifier

152

qu’ils comprenaient toujours la question posée et avons reformulé la question si nécessaire. De même, nous avons toujours demandé à l’interviewé de reformuler les éléments que nous n’avions pas compris. L’objectif de ces précautions était de lever tout risque de doute quant à la compréhension des échanges, notamment lors de la phase de codage.

Afin de fiabiliser la démarche de codage, nous avons demandé à un collègue chercheur de coder un entretien et d’en formuler son interprétation afin d’évaluer les écarts entre nos deux interprétations. Les résultats et l’analyse du double codage sont expliqués dans le paragraphe qui suit.

b. Focus: Démarche et résultats double codage

La méthode de réalisation du double codage

Le double codage a été effectué par Nino Tandilashvili, Docteur en gestion à l’Université de Paris Nanterre, au laboratoire CEROS au mois d’août 2017. Nous lui avons fourni la liste de codes de niveau 2, à partir de laquelle elle a codé les deux entretiens de Pauline, responsable projets transverses chez Ubisoft. Nous lui avons aussi expliqué le contexte général, les objectifs et la méthode générale de la recherche. Sa méthode de codage diffère donc de la nôtre sur les points suivants. Tout d’abord, elle a codé à partir d’une liste de codes déjà préétablie alors que nous avons créé les codes au fur et à mesure du codage des entretiens. Ensuite, son codage est réalisé sur la base des codes de niveau 2, niveau de regroupement / abstraction intermédiaire, alors que notre codage initial était beaucoup plus descriptif.

Les règles d’analyse des résultats du double codage

Nous n’analysons que les textes codés par Madame Tandilashvili. Les textes qu’elle n’a pas codés ne sont pas comparés. Des codes sont considérés comme identiques (CI) si le codage de niveau 2 est strictement identique. Des codes sont considérés comme proches (CP) si le codage de niveau 3 est identique et que le sens des codes est proche.

Nous illustrons ce point avec l’extrait suivant : « Bah, ce que j’aime, c’est que…c’est difficile,

parce que, il faut, potentiellement aller à l’encontre de ce que la société a fait depuis 30ans. Mais, en même temps, quand la société arrive à bouger, c’est très satisfaisant et surtout, ça porte immédiatement ses fruits. Donc, c’est une espèce de cercle vertueux en fait…Il faut pousser, beaucoup, au début et puis après, normalement, bon, après, ça recoince de temps en temps sur certains sujets, mais, quand certains sujets sont débloqués, normalement, c’est définitif et, et on peut passer au suivant. » Madame Tandilashvili a codé ce texte comme « motivé par le contenu », nous l’avons codé comme « motivé par la finalité ». Dans les 2 cas, le

153

sujet indique qu’il est motivé (Code de niveau 3 commun), l’interprétation est divergente quant à la source de motivation (code de niveau 2).

Dans tous les autres cas, les codes sont considérés comme différents (CD) Les résultats du double codage et leur interprétation

La synthèse des résultats du double codage sont présentés dans le tableau 16 ci-après.

Tableau 16 Synthèse des résultats du double codage

Nombre de

codes ^%

Nombre de

mots ^%

Codes identiques (CI) 33 44% 4069 47%

Codes proches (CP) 29 39% 3777 44%

Codes différents (CD) 13 17% 801 9%

TOTAL 75 100% 8647 100%

Les résultats détaillés du double codage sont proposés en annexe 11. Le codage est identique ou proche pour 83% des codes qui représentent 91% des textes codés. Concernant les 44% de textes qui donnent lieu à des codes proches mais pas identiques, nous proposons l’explication suivante : nous avons réalisé les entretiens et avons donc eu accès à une quantité d’informations importante permettant de nous guider dans notre interprétation (tonalité, langage corporel…) et nous avons ensuite codé en nous aidant des notes prises en entretien ainsi que des enregistrements qui permettaient de nous remémorer la tonalité du discours. Le double codeur a codé exclusivement à partir des retranscriptions et n’a pas eu accès à toutes ces informations pour son interprétation. Par ailleurs, lorsque nous avons codé l’entretien de Pauline, nous avions déjà codé un nombre élevé d’entretiens auparavant, ce qui nous a guidés dans notre interprétation.

Finalement, nous constatons une convergence de nos codages respectifs puisque 91% des textes des deux entretiens ont été codés avec des codes proches ou identiques et estimons que c’est un indicateur de bonne fiabilité des entretiens.

c. La validité des entretiens

S’assurer de la validité d’un instrument de mesure consiste à s’assurer que l’instrument mesure ce qu’on souhaite qu’il mesure et qu’il donne les mesures exactes de l’objet étudié. Nous avons

présenté dans le chapitre 3.5.les principales précautions prises lors de la constitution des guides

d’entretiens et lors de la réalisation des entretiens afin de réduire les risques d’erreurs ou de biais pouvant remettre en cause la validité des entretiens.

154

5.3 La validité interne de la recherche

Il s’agit ici de vérifier la pertinence et la cohérence interne des résultats générés par l’étude et notamment s’assurer que notre inférence est exacte et qu’il n’y a pas d’explications rivales. Nous proposons dans le tableau 17 d’étudier les principaux risques de biais et de s’interroger sur les précautions méthodologiques prises pour les limiter (Campbell D.T. et Stanley J.C., 1966). Ces biais sont relatifs au contexte de la recherche, au recueil des données ou à l’échantillon lui-même.

Tableau 17 Analyse et traitement des principaux risques de biais

Biais limitant la validité interne Précautions méthodologiques mises en œuvre Effet d’histoire : des événements

extérieurs pourraient-ils avoir faussé les résultats de l’étude ?

Lors de la deuxième vague d’entretiens, nous avons échangé avec les sujets sur d’éventuels événements exogènes pouvant influencer les perceptions au travail. Nous avons testé avec les sujets, en entretien, d’éventuelles explications rivales à des changements attribués par eux à la pleine conscience.

Par ailleurs, nous avons échangé avec les sponsors avant la deuxième vague d’entretiens sur d’éventuels événements marquants survenus pendant la période et qui devaient être pris en compte.

Effet de maturation : les objets d’analyse pourraient-ils avoir changé pendant le cours de l’étude ?

La période d’étude se déroulant sur trois mois, nous avons identifié ce risque. Il pouvait notamment concerner les managers juniors, pour lesquels il pouvait y avoir un effet d’apprentissage du métier difficile à distinguer des effets de la pleine conscience dans l’analyse des résultats. Pour ces cas-là, nous avons insisté sur la discussion concernant l’origine d’éventuels

changements de pratiques et d’expériences

managériales, en évoquant explicitement cette possibilité quand cela nous paraissait pertinent.

Effet de test : des réponses à un test risquent-elles d’être biaisées quand il se déroule une seconde fois ?

S’agissant des entretiens semi-directifs, il nous semblait que ce risque était faible, vu la quantité d’informations et la richesse des échanges réalisés lors du premier entretien.

Ce risque pouvait concerner le questionnaire MAAS que nous demandions aux managers de remplir lors des deux entretiens. D’une part, il s’est écoulé trois mois entre les deux entretiens et nous avons constaté que les interviewés ne se souvenaient pas de son contenu. Par ailleurs, nous avons été volontairement évasif sur l’objectif du questionnaire, afin d’éviter, d’une part, des réponses orientées et, d’autre part, qu’en en comprenant la mécanique, les interviewés s’en souviennent mieux au deuxième entretien.

Effet d’instrumentation : les questions risquent-elles d’être mal formulées ?

Comme indiqué plus haut, nous avons été très vigilant quant à la formulation des questions. Nous avons aussi été très attentif à leur bonne compréhension, n’hésitant pas à reformuler si nécessaire.

155

Effet de régression statistique Non concerné

Effet de sélection : l’échantillon étudié est-il représentatif de la population étudiée ?

Comme expliqué dans le chapitre 3.3. consacré à l’échantillonnage, nous avons constitué l’échantillon avec un double objectif de réplication littérale et théorique. Nous avons décrit les précautions pour que l’échantillon effectif corresponde à la population cible de managers.

Effet de mortalité expérimentale : des sujets ont-ils disparu pendant l’étude ?

Effectivement, un manager et quatre collaborateurs ont disparu de l’étude. Nous ne les avons pas remplacés pour deux raisons : il n’était matériellement pas possible d’intégrer de nouveaux sujets dans l’étude pendant le terrain et nous avons estimé qu’il nous restait un échantillon de taille suffisante pour continuer l’étude : treize managers au lieu de quatorze, vingt-huit collaborateurs au lieu de trente-deux.

Effet de contamination : les résultats de l’étude pourraient-ils être faussés par des

informations circulant entre les

individus ?

Nous avons détaillé dans les chapitres 3.3. et 3.5. respectivement consacrés à la constitution de l’échantillon et à la collecte des données les précautions méthodologiques mises en œuvre pour limiter ce risque. Nous avons notamment demandé aux managers et aux collaborateurs de ne pas communiquer entre eux sur le projet pendant la durée du terrain. Nous avons aussi conduit les entretiens afin de limiter ce risque. Notons enfin que nous n’avons eu aucun contact avec les participants pendant toute la durée de la formation, entre les deux entretiens.

De manière générale, nous avons tenté de renforcer la validité interne de l’étude en multipliant les sources de données. Nous avons croisé les discours des managers avec ceux des collaborateurs et tenté de développer une compréhension approfondie du contexte du terrain. (cf. présentation du terrain en introduction de la troisième partie consacrée à l’analyse des résultats). Par exemple, nous avons introduit les entretiens en discutant avec les participants de manière approfondie sur leur métier et leur contexte professionnel. Nous avons aussi tenté de décrire de manière détaillée les éléments méthodologiques qui ont présidé à la réalisation de la recherche, en mettant en lumière les interrogations que nous avons pu avoir, afin d’en donner au lecteur la vision la plus claire et complète possible, lui permettant, nous semble-t-il, de se positionner par rapport à la validité interne de la recherche.