Bibliométrie : une analyse de contenu

La bibliométrie est constituée de diverses méthodes mathématiques et statistiques qui permettent d’effectuer des analyses quantitatives des sciences et de mesurer, également, les dimensions sociologiques associées à la diffusion de recherches sous forme de publications (Archambault et Vignola Gagné, 2004).

Le décompte des publications scientifiques permet de mesurer et de comparer la production d’ensembles variés tels des institutions, des régions, des pays, mais aussi dans des domaines disciplinaires comme la philosophie ou l’économie. Il est aussi possible d’observer l’évolution des domaines de recherche, de la collaboration et de nombreuses autres dimensions de la production scientifique. (Archambault et Vignola Gagné, 2004: 2)

Les méthodes bibliométriques sont classées selon qu’elles s’appuient ou non sur des classifications, considérées comme des méthodes unidimensionnelles, ou des nomenclatures préétablies de l’activité scientifique et technique, considérées comme des méthodes bidimensionnelles, lesquelles se prêtent à l’étude des innovations et des changements, telles les méthodes des co-citations et des mots-associés (Courtial, 1988; van Raan, 1998).

 Les méthodes unidimensionnelles consistent à effectuer le décompte du nombre de publications (articles ou brevets) ayant telle ou telle caractéristique : appartenance à telle rubrique de la classification, nationalité ou nom de l’institution du premier auteur…;

 Les méthodes bidimensionnelles ou relationnelles visent à identifier la structure d’un domaine d’activité scientifique ou technique qu’on représente le plus souvent dans un espace-plan (une carte). Le principe consiste à déclarer qu’un lien existe entre deux publications si elles ont certaines caractéristiques communes. On dira alors qu’elles sont « proches ». Ceci permet la définition d’une métrique et la construction de groupes (de clusters) de publications qui sont les plus proches les unes des autres. Ces groupes ont aussi une distance entre eux, ce qui

permet la construction de « groupes de groupes » et ainsi de suite : c’est ainsi la structure du champ étudié qui se révèle. (Courtial, 1988: 3) Les méthodes bibliométriques sont utilisables selon trois échelles d’analyse différentes : « au niveau micro, qui s’applique aux individus; au niveau méso, qui sert à décrire la production scientifique des institutions et groupes de recherche; et au niveau macro, qui vise à mesurer la production nationale par pays, province, ou même par ville » (Gauthier, 1998: 15).

Pour ce faire, la bibliométrie utilise plusieurs indicateurs :

 Le décompte de publications

Le dénombrement du nombre d’articles scientifiques publiés durant une période de temps déterminée permet d’établir la production de l’ensemble ou d’un sous-ensemble du système scientifique. Il est également possible de mettre en relation des dénombrements afin de juger de l’intensité de la production dans un domaine donné (indice de spécialisation);

 Les citations et le facteur d’impact

Le décompte des citations permet d’évaluer l’impact scientifique de la recherche;

 La co-occurrence et le couplage

Un bon nombre d’indicateurs à base de co-occurrences servent à cartographier les activités scientifiques : l’analyse des co-citations, la co-occurrence de mots-clés, le couplage bibliographique. La cartographie permet d’étudier l’évolution de spécialités scientifiques en émergence lorsque la variable temps est considérée. Ces indicateurs de co-occurrence peuvent être combinés aux deux indicateurs précédents pour créer des représentations multifacettes des champs de recherche, des liens qui les unissent et des acteurs qui les façonnent. (Archambault et Vignola Gagné, 2004: 2)

Les décomptes de publications et de citations constituent les indicateurs les plus utilisés. « Ils mesurent le volume et l’impact de la recherche à divers niveaux d’agrégation. Lorsqu’utilisés sur de longues périodes de temps, ils permettent d’identifier des tendances » (Gauthier, 1998: 16).

La méthode du dénombrement est basée sur le calcul du nombre de publications scientifiques attribuables à un acteur, dans un domaine donné. Il peut s’agir d’un auteur, d’une institution, ou encore d’une unité géographique — ville, province, pays. Le niveau d’agrégation du domaine de recherche peut être une discipline ou une sous-discipline scientifique, une technologie ou encore un créneau technologique spécifique. (Gauthier, 1998: 16)

La co-occurrence et le couplage, quant à eux, sont considérés comme les indicateurs relationnels les plus utilisés. Leur analyse sert à mettre en lumière les liens et les interactions entre les acteurs. Ces interactions sont désignées par le concept de flux de connaissances. Les analyses des flux mettent en évidence les relations entre les chercheurs, institutions et domaines de recherche (Franceschet, 2009). « La méthode des mots associés et celle des co-citations constituent aussi des indicateurs relationnels. Elles permettent de dresser des portraits de l’activité scientifique fondés sur le contenu des publications. Ces indicateurs permettent de suivre l’évolution de la science et de la technologie et d’identifier les thèmes de recherche émergents et les acteurs qui y contribuent » (Gauthier, 1998 : 16).

Il est intéressant de rappeler que pour la bibliométrie, la performance de la recherche est liée à deux suppositions principales : a) les chercheurs qui ont quelque chose d’important à dire doivent publier leurs résultats, et b) les chercheurs font référence dans leur travail aux travaux précédents d’autres chercheurs pour reconnaître leur dette intellectuelle et rendre compte de l’utilisation de l’information (Franceschet, 2009).

La qualité et l’impact de la recherche sont des concepts clés dans les analyses bibliométriques. La première s’obtient à partir du dénombrement des citations, car « plus un document était cité, meilleur était jugée sa qualité » (Gauthier, 1998 :24). Cependant, l’observation des pratiques de citation des chercheurs montre la partialité de cette affirmation. Car, par exemple, les auteurs font un usage excessif de l’autocitation; de la citation négative — citer un article pour rappeler que ses résultats sont faux —; ou citent des auteurs renommés afin de mieux convaincre de la solidité

de leurs prémisses; ils citent aussi certains articles non pas parce que le travail est exceptionnel, mais parce que c’est le premier article à évoquer telle ou telle idée ou approche. Ces pratiques permettent d’émettre de sérieuses critiques sur l’utilisation des citations comme indicateur de la qualité. Elles montrent également que le rôle d’une citation dépend du domaine de recherche examiné (Courtial, 1988 ; Gauthier, 1998). Même si l’indicateur des citations est encore considéré, la bibliométrie s’intéresse davantage à la mesure de l’impact de la recherche sur la communauté scientifique.

Le concept d’impact fait référence à la diffusion des connaissances plutôt qu’à la qualité de la recherche. Aussi, le nombre de citations dont fait l’objet un article est interprété comme une mesure d’influence, ou de visibilité, dans la communauté scientifique. […] Le facteur d’impact est un indice qui mesure l’impact probable de la recherche publiée dans une revue scientifique. […] Le facteur d’impact d’une revue, pour une année donnée, est le résultat du nombre total de citations obtenues pour l’année donnée, par les articles publiés dans la revue au cours des deux années précédentes, divisé par le nombre total d’articles publiés par la revue au cours de ces deux mêmes années. […] Par conséquent, le facteur d’impact est un indicateur de la visibilité globale d’une revue et de son impact sur la communauté scientifique. Lorsqu’appliqué aux articles, le facteur d’impact renseigne sur la fréquence moyenne probable avec laquelle un article, dans une revue scientifique, sera cité au cours d’une période donnée. (Gauthier, 1998: 24)

Les analyses bibliométriques peuvent être effectuées à partir de données compilées manuellement, cependant elles reposent généralement sur l’utilisation de bases de données (Archambault et Vignola Gagné, 2004). Par exemple, le nombre des citations reçues par un grand nombre de revues savantes est compilé systématiquement par ISI (Institute of Scientific Information) dans le Journal Citation Reports, qui est distribué commercialement par Thompson Reuters. « Le travail du bibliométricien commence donc avec le conditionnement de données bibliographiques dans le but de constituer des banques de données bibliométriques. Le travail consiste principalement à normaliser les données, généralement celles qui ont trait à l'adresse des auteurs, pour pouvoir faire des dénombrements » (Archambault et Vignola Gagné, 2004 : 3).

En tant qu’ensemble des méthodes qui vise au dénombrement ou à la mesure, la bibliométrie est très proche des autres méthodes qui sont largement employées dans la recherche en communication, en particulier celle de l’analyse de contenu (Paisley, 1989).

L’analyse de contenu, selon Berelson, est une technique de recherche servant à la description objective, systématique et quantitative du contenu manifeste des communications […]. (de Bonville, 2000: 9)

L’analyse de contenu est appliquée à partir des années 1930 et a abordé les questions posées par le paradigme de Lasswell : « Who says What to Whom…? ». Au fil des ans, sont apparues diverses formes d’analyse de contenu appliquées à différentes études. Selon Janowitz (1976), il existe quatre applications principales : « (a) to make inferences about the communicator, (b) to make inferences about the audience, (c) to characterize the “symbolic environment” of a society or group, (d) to monitor the number or types of messages in a communication channel ». Compte tenu de ces éléments, Paisley signale:

If bibliometrics were a form of content analysis, it would fit within Berelson’s “objective, systematic, and quantitative, and manifest” definition. It would belong to Janowitz’s fourth category of monitoring the number or types of messages in a communication channel. Bibliometrics is quantitative to a fault and does not impute motives or effects to the participants in a scientific communication network. It monitors the number and types of messages in various channels such as journals, annual reviews and handbooks, and conferences. It is used to quantify levels of scientific activity and to identify linkages among individuals and groups in the network. (Paisley, 1989: 704) C’est ainsi que, selon Paisley, la bibliométrie est similaire à deux formes d’analyse de contenu, notamment : « news flow analysis and coverage analysis, [… because they …] can in fact be labelled flow and coverage » (Paisley, 1989: 707). Ces deux formes de l’analyse de contenu jouent le même rôle dans la recherche en communication que la bibliométrie dans la recherche sur la communication scientifique.

Dans les études en communication scientifique ainsi que dans la recherche en communication, « bibliometrics has focused on extrinsic facts about publication, broadcast, and another forms of communication » (Paisley, 1989: 707). Par exemple, un article est codé en fonction de la date et du lieu où il a été publié, de l’identité et de l’affiliation de l’auteur, des autres articles qui le citent, etc. Alors que : « Intrinsic content of the article is thought to be the domain of content analyses because of the need to develop coding categories based on a theory of the relationship of the text to intentions, effects, and the symbolic environment » (Paisley, 1989: 707).

C’est ainsi que la bibliométrie et l’analyse de contenu diffèrent lorsque seuls des humains, pas des techniques, peuvent demander de quoi parle l’article et quel est le sujet abordé.

The bibliometrician uses ascribed subject matter based on an author’s or indexer’s as recorded in the database. The content analyst may not be willing to use existing categories because their definitions and procedures are not clear or do not meet reliability and validity standards. An exception to this distinction is coverage analysis, where the possible imprecision of an article’s categorization is an acceptable price to pay for the large electronic sample. (Paisley, 1989: 707)

Pour Paisley, les frontières entre la bibliométrie et l’analyse de contenu vont être redéfinies dans un proche avenir grâce aux avancées dans le domaine des bases de données informatisées : « The coming windfall of electronic information may take us back to what McComack (1982) calls Lasswellian positivism » (Paisley, 1989: 708). Cependant, toujours d’après Paisley, « bibliometric studies focusing on indicators in electronic databases now present the same opportunities and problems that social scientists encountered when they began to work with social indicators. As before, it is possible to analyse many thousands of cases. Also as before, the internal validity of the findings must be buttressed with other measures and statistical analyses » (Paisley, 1989: 709).