L’objectif de cette partie est de décrire les choix réalisés dans cette thèse vis-à-vis de la mesure de l’efficacité de l’enseignement. Du fait de se situer dans une étude de niveau 2 (selon la classification d’Ellis & Fault, 1993, cité par Bissonnette, Richard et Gauthier 2005), mesurer l’efficacité d’un enseignement revient, ici, à évaluer un dispositif qui contient la variable principale (utilisation de systèmes biotiques) dans une classe. Il s’agit d’expliciter comment cette évaluation a été basée sur l’apprentissage des élèves et comment il a été mesuré. Pour cela, nous nous appuyons sur les notions de critère et de standard d’évaluation de Scheerens, Glas et Thomas (2003). Ces auteurs considèrent le critère comme la dimension à travers laquelle l’évaluation est effectuée (apprentissage des élèves, orientation des élèves, nombre de redoublement, bien-être au travail de l’enseignant etc.). Il peut s’agir par exemple, d’un test de mathématiques ou de français utilisé pour évaluer un système éducatif. Les standards d’évaluation renvoient à deux aspects : le critère ainsi
que la norme à partir de laquelle l’on considère le succès ou l’échec de ce qui est évalué. Il peut s’agir par exemple d’une note minimale à partir de laquelle on considère le succès, dans ce cas le standard est absolu. Il peut aussi exister des standards comparatifs par exemple les différences entre un groupe témoin et un groupe expérimental.
La question du critère d’évaluation est une problématique importante dans le cas des études qui s’intéressent à l’efficacité en éducation de manière générale et qui renvoie à la définition de l’efficacité (Talbot, 2012). En effet, si l’on considère l’efficacité comme la capacité à parvenir à ses fins, à atteindre ses objectifs ou à obtenir un résultat (Clanet, 2012) ; alors se pose la question des finalités du système éducatif dont les représentations sont différentes chez les enseignants, les chefs d’établissement, les inspecteurs, les chercheurs etc. (Talbot, 2012). C’est notamment une des critiques principales adressée au courant de l’ « educationnal effectiveness research » dont les résultats sont principalement basés sur des tests standardisés concernant les connaissances des élèves (Talbot, 2012).
Dans le cas des recherches en didactique des disciplines la question ne se pose pas complètement en ces termes. En effet, la mesure de l’efficacité y est très souvent associée aux apprentissages des élèves sur un objet de savoir déterminé. Malgré cela, la mesure de l’efficacité peut être discutée quant à la façon d’évaluer ces apprentissages. Par exemple, Carette (2008) discute les résultats d’une étude de grande ampleur (« follow through ») à partir de l’opposition entre les tests standardisés qu’elle utilise et l’évaluation de compétences. De plus dans le cadre des « éducations à » et du développement des mesures de « literacy », de plus en plus de chercheurs ciblent l’évaluation d’attitudes et de comportements (comme Bodzin, 2012 ; De Waters et Powers, 2014) dans le cas de l’énergie. Enfin, un objet de savoir peut être abordé de différentes manières qui vont déterminer ses critères d’évaluation. C’est notamment le cas en ce qui concerne le concept d’énergie pour lequel selon Millar (2014) très peu de travaux se sont intéressés à l’efficacité ou au processus d’enseignement-apprentissage, car il n’existe pas de consensus sur les objectifs d’apprentissage.
Dans le cas de cette étude, nous avons considéré que « reconstituer un système énergétique » représentait une action fondamentale pour adopter une approche systémique et comprendre les enjeux de sociétés relatifs à l’énergie. Ce sont donc les apprentissages des élèves concernant cette action qui ont été pris comme critères pour mesurer l’efficacité de l’enseignement.
La définition des standards d’évaluation dépend du critère choisi (Scheerens, Clas et Thomas, 2003), mais peut également être interrogée depuis la définition de l’efficacité. En effet, considérer l’efficacité en termes d’atteinte d’objectifs renvoie à une mesure binaire (objectif atteint ou non).
Dans le cas des mesures d’efficacité basées sur les performances des élèves, souvent les standards d’évaluation vont se rapporter au nombre d’élèves ayant atteint l’objectif ou non ; ou parfois à la nature des objectifs atteints par les élèves. Dans le cadre de cette étude, nous nous sommes appuyés sur la notion d’efficacité telle qu’elle peut être traduite de la langue anglaise. C'est-à-dire à partir de la différence entre « effectiveness », qui signifie capacité de produire l'effet requis (par exemple être capable de réaliser une chaîne énergétique) et « efficacy », qui renvoie à la capacité de produire la quantité d’effet désiré (par exemple réaliser les chaînes énergétiques dans 12 systèmes). C’est cette
« efficacy » que nous souhaitons mesurer dans cette thèse. En effet, nous avons considéré que concernant les enjeux énergétiques, les choix qu’un individu est amené à faire dans la vie courante, ainsi que certaines décisions politiques, reposent sur une comparaison des différents avantages et inconvénients de chaque filière énergétique. Dans une perspective d’éducation à l’énergie, ceci revient à former les élèves pour qu’ils soient capables de reconstituer la plus grande variété possible de systèmes énergétiques. Le standard d’évaluation qui a été déterminé à partir de ce point de vue est donc le nombre de systèmes énergétiques que chaque élève est capable de reconstituer. Il ne s’agit donc pas d’analyser si l’utilisation de systèmes biotiques est efficace ou non (c'est-à-dire, si elle permet aux élèves d’apprendre à réaliser une chaîne énergétique ou non), mais plutôt d’observer si elle augmente l’efficacité de l’enseignement (est-ce qu’elle permet aux élèves d’apprendre à réaliser des chaînes énergétiques pour un nombre de systèmes plus ou moins important). Pour mettre en avant l'augmentation de l’efficacité de l’enseignement, nous avons retenu pour cette thèse un standard comparatif entre des groupes témoins et expérimentaux d'élèves de la même classe et non un nombre seuil de systèmes à atteindre (Scheerens, Clas et Thomas, 2003).
Enfin, le dernier point de discussion concernant la mesure d’efficacité en éducation concerne la prise en compte des caractéristiques initiales des élèves. Les travaux sur l’efficacité en éducation s’intéressent généralement à l’effet de conditions modifiables, par des mesures politiques, des organisations structurelles ou des stratégies d’enseignement. Cependant, les effets mesurés sont également déterminés par des caractéristiques qui existent en dehors des variables manipulées, parmi lesquelles les plus importantes sont les caractéristiques des élèves (Scheerens, Clas et Thomas, 2003). Cela a conduit à différencier les mesures d’effets nets et bruts (Feyfant, 2011). Les effets bruts correspondent à une mesure des performances des élèves sans prise en comptes des caractéristiques initiales des élèves, les effets nets prennent en compte certaines caractéristiques individuelles et collectives de ces derniers. Dans la plupart des cas, la mise en évidence des effets nets se fait en ajustant les analyses des résultats obtenus à partir : soit du score des élèves à un test réalisé avant l’enseignement (pré-test), soit à partir du recueil d’informations concernant les
caractéristiques considérées comme pertinente, soit à partir des deux (Scheerens, Clas et Thomas, 2003). Une autre façon d’interroger cette prise en compte des caractéristiques des élèves est de différencier mesure de performance et de progression (Cusset, 2011). Cet auteur considère, dans un rapport à propos de l’effet maître, que la plupart des études disent s’intéresser à des progressions, alors que ce sont des performances qui sont mesurées. Pour Cusset (2011), mesurer des progressions implique de comparer un test initial et un test final identiques. Ce qui constitue une méthodologie qui selon Feyfant (2011) est rarement mise en place dans les études sur l’efficacité.
C’est cette façon de prendre en compte les caractéristiques des élèves qui a été retenue dans cette étude. Il s’agit de mesurer la progression (au sens de gain d’apprentissage) à l’issue de la période d’enseignement, en comparant la façon dont chaque élève reconstitue chaque système entre des tests initiaux et finals identiques (Scheerens, Clas et Thomas, 2003).
En conclusion, cette thèse s’intéresse à l'évolution de l’efficacité d’un enseignement en fonction d’une condition spécifique, qui est l’utilisation de systèmes biotiques. Cette variation (augmentation ou diminution) de l’efficacité est mesurée à partir du nombre de systèmes sur lesquels les élèves progressent au niveau d’une action particulière : reconstituer un système énergétique. La partie suivante décrit la façon dont nous avons choisi d’observer la variable « utilisation de systèmes biotiques » et les effets qu’elle peut produire.