Dans le cas d’une enquête classique par sondage, il est évident que ces méthodes doivent être utilisées, puisque l’ensemble des individus constitue un échantillon tiré aléatoirement au sein de la population d’intérêt. Par contre, quand on s’intéresse à un ensemble de pays, l’utilisation de ces méthodes pose question. En effet, les pays comparés ne constituent pas, au sens propre, un échantillon – et encore moins un échantillon tiré aléatoirement dans un ensemble plus large de pays. Face à ce constat, on peut adopter deux points de vue opposés : refuser l’inférence statistique et se contenter de statistiques descriptives, ou l’utiliser quand même, mais en apportant une autre justification78.
Quand, selon la première perspective, on refuse l’inférence statistique, on se concentre uniquement sur les paramètres descriptifs des modèles tels la valeur des coefficients de corrélation et de détermination (R et R²) ou la valeur des coefficients d’un modèle de régression plutôt que sur la signification statistique de ceux-ci. Dans cette perspective, les pays sont plus des cas singuliers ne représentant qu’eux-mêmes que des observations statistiques représentant des caractéristiques abstraites.
Quand, selon la seconde perspective, on accepte l’inférence statistique, on la justifie en faisant appel à la notion de population hypothétique. Pour faire appel à cette notion, Snijder et Bosker (2011) distinguent l’inférence descriptive (appelée aussi design-based approach) de l’inférence analytique (appelée aussi model-based approach)79. Pour Snijder et Bosker (2011, 217-218), « descriptive inference is the estimation and testing of descriptive parameters of the population, as is done in official statistics. [...] Here the inference is based on the probability mechanism used for the sample selection ». Cette approche (qui correspond à ce qui a été écrit au paragraphe précédent) ne permet pas de justifier l’utilisation des tests d’hypothèse, dans le cas où l’ensemble des observations ne constitue pas un échantillon aléatoire au sens strict. Au contraire, l’inférence analytique le permet :
« Analytic inference, on the other hand, is concerned with questions about the way in which a variable of interest depends on, or is associated with, other variables. [...] Here the researcher wishes to generalize to a larger population, which may be hypothetical
78 Une approche plus modérée est de réaliser les tests d’hypothèse, mais de stipuler que leurs résultats n’ont qu’une valeur indicative – même si, dans ce cas, l'on peut se demander de quoi les valeurs p sont indicatrices. Cette position entre-deux permet, d’un point de vue stratégique, à un auteur qui ne voit pas l’utilité d’utiliser les tests d’hypothèse de mettre la valeur p à disposition d’un éventuel lecteur qui se situerait dans une autre approche – et ainsi à appuyer le propos quand le test est significatif.
79 L’inférence descriptive est appelée design-based approach, parce que pour ces partisans, c’est le processus d’échantillonnage concret (research design) qui est important. L’inférence analytique est appelée model-based approach, parce que pour ses partisans, c’est le modèle statistique qui est le plus important.
and is usually rather vaguely defined – as signaled by the word ‘comparable’ in the example. [...] Here the researcher makes the assumption that the data can be regarded as the outcome of a probability model with some unkown parameters. Note that the word ‘model’ here refers not to the theorethical model from a social science viewpoint, but to what also might be called the ‘data generating mechanism’ – more precisely, the probabilistic mechanism that could have generated the values of the dependent variable, conditional on the explanatory variables and the multilevel structures. » (Snijders et Bosker 2011, 217)
Ainsi, dans cette approche, le chercheur s’intéresse principalement aux variables et aux relations entre elles, et non à la population réelle – la « population hypothétique vaguement définie » est la population qui intéresse réellement le chercheur. L’idée de population hypothétique n’est pas dénuée de sens, puisque souvent, on cherche à généraliser les résultats obtenus à une population plus large que la population ayant servi de base à l’échantillonnage – c’est-à-dire comparable à cette dernière, avec toute l’ambiguïté que ce terme peut présenter. Dans notre cas, on chercherait à généraliser les résultats à la population de pays « similaires ». Cette volonté de généralisation peut également transparaître d’un point de vue temporel. Ainsi, bien que l’échantillonnage soit réalisé à un moment précis, le chercheur désire souvent étendre les résultats obtenus à plus d'un moment donné, ne fût-ce que pour pouvoir transposer ces résultats provenant du passé (le moment de l’enquête est révolu lorsqu’on analyse les données) au présent. Le concept de population fictive peut alors trouver sa validité dans l'idée de généralisation temporelle.
Pour bien comprendre cette différence entre inférence descriptive et inférence analytique, je ferai appel à un exemple politiquement incorrect : la différence de quotient intellectuel (QI) entre Flamands et Wallons. Ce caractère politiquement incorrect permet de saisir tout l’enjeu d’une question qui peut a priori sembler triviale et très abstraite. Supposons que l’on cherche à savoir qui (des Flamands ou des Wallons) a un QI supérieur à l’autre. Passons les questions complexes de la définition des populations flamande et wallonne et du choix d’un test de QI extrêmement précis. Si nous avons affaire à un recensement exhaustif, il y aura forcément une des deux populations dont le QI sera supérieur à l’autre (c’est ce qui m’a poussé à parler du caractère fictif de l’hypothèse nulle dans une population réelle, dans la section précédente). Cela veut-il pour autant dire que les Flamands ont un QI supérieur à celui des Wallons (ou vice-versa) ? Tout dépend de ce qu’on étend par les Flamands et les Wallons. Si l'on veut dire les personnes au moment du test, alors oui, une population aura forcément un QI plus élevé que l’autre. Cependant, cette information descriptive80
n’apporte pas grand-chose d’un point de vue analytique. En effet, il est possible que le résultat s’inverse le lendemain – chaque jour des personnes, naissent, meurent, déménagent, ou voient leur aptitude aux tests de QI varier. Du point de vue de l’inférence analytique, il s’agit de savoir si la « culture », l’« ethnie » ou la « race » flamande (pour continuer dans le politiquement incorrect...) présente un QI supérieur à son homologue wallonne. Dans ce cas quand on parle de Flamands et de Wallons, il s’agit d’une abstraction, d’un modèle théorique et non de la population concrète qui ne fait que l’incarner momentanément. Ainsi la différence entre l’inférence descriptive et l’inférence analytique provient d’une différence d’objectifs : dans le premier cas, on cherche à décrire une
80 Il s’agit ici d’inférence descriptive, ou plutôt de description sans inférence, puisque l’ensemble de la population a été interrogée.
population réelle alors que dans le second on cherche à analyser des mécanismes « abstraits » (autrement dit des lois théoriques) à partir de données empiriques.
L’inférence analytique se justifie donc plus dans une activité de recherche fondamentale, où l'on cherche à mettre à jour des mécanismes et des relations de causalités qu’on peut « largement » généraliser. Au contraire, l’utilisation de l’inférence descriptive a plus de sens dans la recherche appliquée où l’on s’intéresse à une population spécifique (par exemple, la population belge en 2010, ou les salariés de telle ou telle entreprise). En réalité, l’opposition entre ces deux approches relève plus de la question philosophique de la généralisation (jusqu’où veut-on, ou s’autorise-t-on à, généraliser ?) que d’une question technique d’où proviennent les données.
Dans notre cas, l’utilisation de l’inférence analytique se justifie si l'on s’intéresse à l’ensemble des pays européens pour les variables dont ils sont porteurs et non pour eux-mêmes en tant que cas singuliers. Ainsi, ils peuvent être vus comme un échantillon d’une population hypothétique regroupant tous les pays (fictifs et possibles) européens, occidentaux, riches, développés, ou autres... Dans ce cas, l'on s’intéressera plus à la relation entre l’inégalité salariale (variable dépendante) et d’autres caractéristiques tels le niveau de développement économique, le taux de chômage, l’importance de l’État social ou la puissance des syndicats (variables explicatives) dans cette population hypothétique.
En outre, selon les partisans de l’approche analytique, il est parfois préférable de se baser sur l’inférence analytique et non sur l’inférence descriptive – même dans le cas où l'on a affaire à un sondage tiré d’une population réelle – quand l’objectif est l’étude de mécanismes généralisables à une population hypothétique. Dans ce cas, « if the model is true and the sampling mechanism is independant of the residuals in the probability model, then the sampling design is irrelevant and taking account of the sampling design entails a loss of efficiency » (Snijders et Bosker 2011, 219). Ainsi, il s’agit de prendre en compte la méthode d'échantillonnage (tirage aléatoire, structure à plusieurs niveaux, etc.) la plus simple qui aurait pu générer les données et non la méthode
d'échantillonnage réelle qui les a générées. Suivant les partisans de l'inférence analytique, un
sondage à deux degrés (par exemple, on tire aléatoirement des communes et, ensuite, on tire au sein de celle-ci des individus) peut être analysé comme un sondage aléatoire simple si rien ne permet de supposer cette structure à deux degrés a une influence sur les variables d'intérêt.
Le point faible de cette approche est justement le caractère vague de la définition hypothétique et le caractère abstrait du mécanisme théorique de génération des données. C’est justement ce que rétorquent (avec raisons) les partisans de l’approche design-based : ce caractère fictif (de la méthode d'échantillonnage et de la population de référence) rend nécessaire la prise en compte des méthodes d’échantillonnage réelles et la population de référence. Il est important de comprendre que ce point faible n’est pas dû à une imperfection méthodologique, mais est une conséquence logique du caractère fictif de la population de référence et de la génération des données. Ainsi, il n’est pas possible de définir précisément la population hypothétique des pays : s’agit-il des pays européens à la fin des années 2000, des pays post-industrialisés, des pays riches ou encore une autre catégorie ? Si cette question est par nature insoluble, le débat entre les partisans de l’inférence descriptive et ceux de l’inférence analytique est instructif parce qu’il pose la question de la généralisation, tant en termes philosophiques qu’en termes techniques. Ainsi, il montre l’opposition intellectuelle permanente au sein de la science entre la volonté de forger des modèles explicatifs
abstraits (pôle théorique) et la nécessité de confronter ces modèles à la réalité tangible (pôle empirique) – débat qui traverse les chercheurs eux-mêmes, moi y compris, et qui oppose des disciplines institutionnalisées, allant des plus empiriques (comme l’histoire) aux plus théoriques (comme l’économie mathématique). Mais au-delà de ce débat épistémologique insoluble – puisqu’inhérent à la démarche scientifique –, la question de la généralisation des constats réalisés sur un « échantillon » de pays mène à un questionnement plus fructueux : celui de la pondération.