Mise en oeuvre : simulations avec le prototype

La phase d’utilisation du prototype s’est construite en trois temps négociés avec les acteurs (Figure B-4). Elle s’est étalée entre février et juin 2006 (une dernière réunion de débriefing a également été organisée en décembre 2006).

2.1 Premier temps : la découverte du prototype

Dans un premier temps, nous avons organisé des réunions de découverte du prototype avec les différents acteurs. Ces réunions se sont déroulées en collectif, par groupes d’acteurs. Nous avions en effet invité en préalable chaque groupe (GIE Club des 5, GEVES, Arvalis-Institut du Végétal) à exprimer sa préférence, entre un travail entièrement collectif (les trois groupes d’acteurs ensemble), en partie collectif (par groupe d’acteurs) ou par entreprise (chaque obtenteur du GIE- C5 séparément). Les acteurs ont dit préférer travailler indépendamment (pas de regroupement des trois types d’acteurs) dans un premier temps, les obtenteurs du Club des 5 préférant de leur côté rester associés.

Nous avons orienté le choix des acteurs présents à cette première série de réunions en proposant la présence de certaines personnes en particulier. Pour les entreprises du Club des 5, nous avons suggéré la présence d’un professionnel de la sélection, d’un professionnel du développement, d’un expérimentateur et d’un responsable informatique. Côté GEVES, nous avons suggéré la présence des responsables du réseau VAT blé et FRR blé, ainsi que des membres du front méthodologique travaillant sur l’espèce blé. Pour Arvalis-Institut du Végétal, nous avons suggéré la participation de la responsable du réseau national d’évaluation des variétés de céréales ainsi que de son adjoint. Ces suggestions ont été en général suivies par les acteurs qui les ont également complétées (nous leur avions en effet laissé le choix d’inviter d’autres personnes intéressées par la thématique). Les effectifs des réunions ont donc varié côté utilisateurs : 4 personnes (Arvalis- Institut du Végétal), 6 personnes (GEVES), 8 personnes (GIE Club des 5). Côté chercheurs, l’effectif a toujours été d’au moins deux personnes : L.Prost et M. Cerf et/ou MH. Jeuffroy. Ces réunions de découverte ont été structurées en deux temps. Nous avons tout d’abord fait une démonstration du prototype DIAGVAR à partir des bases de données provenant d’essais INRA et des essais des acteurs. Il s’agissait de faire un rappel aux acteurs des différentes fonctionnalités de la méthode et d’échanger avec eux autour de chaque étape de fonctionnement de l'outil pour mieux identifier les exigences de chacune de ces étapes. Nous leur avons montré comment nous naviguions parmi les différentes sorties fournies par le prototype. Ce premier moment a duré de deux heures à une demi-journée selon les acteurs. Dans un deuxième moment, nous avons installé le logiciel et les bases de données des acteurs sur les ordinateurs amenés par ceux-ci pour leur faire utiliser le prototype une première fois. Nous les avons encouragés à tester différentes combinaisons de milieux à partir des bases de données et à explorer l’ensemble des fonctionnalités du prototype en notre présence. Il était prévu de récolter les données suivantes pour suivre les différentes simulations faites par les acteurs :

- les combinaisons de milieux testées, que les utilisateurs devaient mentionner sur une fiche distribuée à chaque participant (voir en annexe).

- Un enregistrement audio des échanges entre les utilisateurs et les concepteurs en cas de problème à résoudre, et un point réalisé par chaque personne dès qu’elle avait terminé une simulation sur un jeu de données.

- Un enregistrement audio des échanges collectifs.

- Une fiche par poste (voir en annexe) pour identifier les éléments positifs et les problèmes que chacun(e) devait remplir au fil de l’utilisation de l’outil, les sorties précises qui étaient regardées (par ex : tel graphique dans tel milieu), l’analyse qui en était faite.

2.2 Deuxième temps : l’utilisation indépendante

Les réunions collectives de découverte ont été suivies d’un temps d’utilisation indépendante. Chaque acteur est reparti avec DIAGVAR installé sur son poste de travail, ainsi qu’avec un CD permettant de réinstaller le logiciel sur un autre poste et l’ensemble des bases de données propres à chaque acteur. Les seules consignes étaient d’utiliser le logiciel le plus possible sur une période variable suivant les acteurs (de 10 jours à 3 semaines environ). Nous souhaitions qu’ils le testent en y introduisant différentes combinaisons de milieux, en comparant les résultats avec leurs connaissances des essais utilisés et des variétés qui y avaient été cultivées, et en relevant tous les éléments qui les faisaient réagir : sur l’interface, sur sa praticité et sur les résultats fournis. Pour suivre ce temps d’utilisation, nous avions fourni aux acteurs des fiches (voir en annexe), distribuée lors des réunions collectives visant à :

- relever les combinaisons de milieux testées,

- identifier les éléments positifs et les problèmes que chacun(e) devait relever au fil de l’utilisation qu’il (elle) avait fait de l’outil,

- identifier les sorties précises qui étaient regardées (par ex : tel graphique dans tel milieu), l’analyse qui en était faite,

- tirer un bilan suite à la réalisation du diagnostic pour une combinaison donnée (incompréhension sur les résultats produits, intérêt d’avoir construit cette combinaison, tests éventuels complémentaires pour cette combinaison, suggestions…).

Nous nous étions également rendue disponible dans ce temps d’utilisation pour répondre aux questions et difficultés d’utilisation des acteurs. Pour anticiper des difficultés d’utilisation, nous leur avions fourni un fichier d’aide sur le logiciel (voir en annexe). En vue de la préparation de la réunion de débriefing, nous avions demandé aux acteurs de nous faire parvenir, juste avant la réunion, ces fiches de suivi, ainsi que de faire le point des problèmes majeurs qu’ils souhaitaient aborder en préparant éventuellement les jeux de données et les sorties qui correspondaient à ces problèmes.

2.3 Troisième temps : le débriefing de l’utilisation

Dans le troisième temps, nous avons organisé des réunions pour débriefer la période d’utilisation de DIAGVAR. Nous avons à nouveau rencontré les acteurs par groupe de travail. Nous avons subdivisé les obtenteurs en deux sous-groupes : le groupe des obtenteurs localisés dans le nord et le groupe des obtenteurs localisés en région parisienne. L’objectif était de parvenir à entrer suffisamment dans les détails de l’utilisation avec chacun, donc en limitant les effectifs, tout en conservant le caractère inter-entreprises de ces réunions. Pour le GEVES, la première réunion de débriefing n’a pas suffi à faire le tour des remarques des utilisateurs, d’autant que

Acteur GEVES 3: Un [indicateur de facteur limitant d’une valeur de]10 pèse de façon forte dans la régression. Chercheur 1 : pas si tous les milieux sont à 10. Si toutes les mesures sont globalement assez hautes, ça ne se verra pas. Acteur GEVES 3 : mais si on a des différences très importantes, ça va forcément peser dans la régression.

Chercheur 1: si c’est corrélé aux rendements

Acteur GEVES 3 : ce sont des questions qu’on se pose : quand on a des 10 comme ça, est-ce que c’est normal, est-ce qu’il faut qu’on vérifie les données… ? Pour l’instant quand on voit les sorties, on est obligés de le prendre un peu comme argent comptant parce qu’on a du mal à savoir ce qu’il y a derrière.

Cadre B-4: Extrait d’une discussion au GEVES durant les débriefings

Sélectionneur 5 : c’est surprenant d’avoir stmphv qui sorte sur tous les milieux. C’est surprenant parce que c’est lié à des dégâts de gel ?

Chercheur 1 : non c’est différent du gel. C’est un problème de froid pas forcément très intense mais de températures basses sur tout l’hiver

Sélectionneur 5 : ce qui est bizarre, c’est qu’il sort sur Charger, alors qu’il n’est pas connu pour ça. On ne sait pas exactement pourquoi il sort sur celui là et pas sur les autres.

Chercheur 1 : il faut se rappeler que « hv » correspond à la période « levée jusqu’à épi 1cm ». Sélectionneur 5 : c’est une période longue en plus, pas très ponctuelle.

Chercheur 1 : est-ce qu’il y avait beaucoup de facteurs limitants qui sortaient sur Charger ?

Sélectionneur 5 : il y a eu d’autres facteurs limitants qui sont sortis sur Charger et qui sont plus compréhensibles : stmpem, st25ef, …

Chercheur 1 : je regarde dans la table dataR2part. Il a sorti 3 facteurs sur Charger : stmphv, stmpem alors que Soissons a eu froid plus tard (plus précoce) et CapHorn n’a pas eu froid.

Sélectionneur 5 : qu’est-ce qu’il faut mettre derrière ces étiquettes là ?

Chercheur 2 : est-ce que tu as vérifié que, dans ce réseau là, tu étais dans la même gamme que celle de Christophe [Lecomte] ? Puisqu’on impose des mini et maxi pour remettre les indicateurs de facteurs limitants sur une même échelle de 0 à 10. Mais bon, là on a quand même des faibles sommes de température hivernale.

Sélectionneur 3 : l’intérêt c’est aussi que l’outil sorte des choses auxquelles on ne s’attend pas.

Chercheur 1 : oui mais il faut toujours avoir à l’idée que l’outil sort des résultats très relatifs à la gamme de milieux qui lui sont soumis. C’est pour ça qu’on le confronte à votre expertise.

Sélectionneur 5 : par rapport aux régressions des témoins : comment interpréter les points qui s’écartent de la droite [graphique mettant en relation les pertes de rendement observées dans les essais et les pertes de rendement diagnostiquées par l’outil] ? Ils sont mal expliqués ? Ou est-ce qu’on peut faire un lien avec la précocité ? Par exemple, pour les variétés de même précocité que Soissons, on a bien décrit les facteurs limitants mais pas pour des variétés de précocité Charger par ex ?

Chercheur 1 : oui si on est sûr de ses données d’entrée. Ces graphiques peuvent être aussi utilisés pour détecter des problèmes dans les données d’entrée.

Sélectionneur 5 : donc première chose, vérifier les données.

Cadre B-5 : Extrait d’une discussion avec le groupe Nord du GIE Club des 5 durant le débriefing

Sélectionneur 5 : à l’étape 2, il y a sélection de facteurs limitants et dans l’étape 3, on ne garde que quelques-uns de ces facteurs limitants pour l’estimation des notes. Comment se fait cette sélection ?

Chercheur 1 : vous avez l’info sur la table DataRegFact. On a trois types de critères pour le test de chaque facteur limitant dans la régression factorielle : le R² du terme d’interaction, le signe du paramètre de l’effet principal du facteur limitant, et un test de Fisher sur le terme d’interaction

Développeur 1 : dans les sorties graphiques, à l’étape 2, il sort les facteurs limitants expliqués par chaque témoin. Et dans un jeu que j’ai testé, dans la régression factorielle, quand il fait sortir une variable, il ré-indique le témoin sur lequel ce facteur limitant s’est exprimé. Et une fois, je n’ai pas trouvé le même témoin pour un facteur limitant dans l’étape 2 et l’étape 3 : par ex, la chaleur était sortie sur Charger et dans la régression factorielle, il a dit utiliser la chaleur sur Soissons.

Chercheur 1 : Christophe [Lecomte] a testé plusieurs possibilités pour l’introduction des covariables. Du moment que la verse était sortie sur un témoin, il a voulu tester ce que ça donnait de prendre les indicateurs de tous les témoins. Et il a constaté que régulièrement, ce n’était pas le témoin qui avait fait ressortir le facteur limitant dans l’étape 2 qui servait à faire sortir le facteur limitant dans l’étape 3. Donc il a choisi d’essayer d’introduire dans la régression factorielle les indicateurs de facteurs limitants provenant de chaque témoin et pas uniquement de celui ayant fait ressortir le facteur limitant.

Développeur 1 : même si le facteur limitant n’est démontré que par un témoin ?

Chercheur 2 : dans l’étape 2, l’objectif est de savoir quels sont les facteurs limitants dans l’essai donc qu’ils aient été montrés sur un témoin ou un autre, c’est une astuce de calcul pour faire ressortir l’ensemble des facteurs limitants. Ensuite, il n’y a plus trop de logique de faire référence à un témoin en particulier. Ce qu’on veut, c’est que la régression factorielle tienne bien compte du facteur limitant qu’on a mis en évidence avant. Donc on lui laisse plus de possibilités de tenir compte de ce facteur limitant en tenant compte de tous les témoins.

Chercheur 1 : parce qu’on perd beaucoup de facteurs limitants entre l’étape 2 et 3. Ca pose quand même question sur des facteurs limitants liés à la précocité.

la partie « caractérisation des variétés » du logiciel ne fonctionnait pas dans un premier temps avec les fichiers GEVES. Nous avons donc poursuivi le débriefing trois semaines plus tard, après identification et résolution du problème dans le prototype. Pour Arvalis-Institut du Végétal, l’interaction s’est faite de façon plus étalée dans le temps. La première réunion collective avait été faite à peu près à la même époque que celles du GIE ou du GEVES mais la réunion de débriefing n’avait pas pu être organisée dans la foulée. Nous avons donc repris contact en novembre 2006, la responsable des réseaux d’évaluation a fait fonctionner le logiciel de façon plus intensive et la réunion de débriefing a été organisée en décembre 2006.

Les participants à ces réunions étaient globalement ceux qui avaient participé aux réunions de découverte du prototype. Mais il est arrivé que des personnes supplémentaires assistent à ces débriefings, pour se tenir au courant du projet, voir l’avancement du prototype, participer aux débats sur les points faibles et forts du prototype, pour confronter également les résultats à leur propre expertise. Nous avons donc vu 9 personnes du GIE Club des 5, 3 puis 2 personnes pour les réunions avec le GEVES, 1 personne pour Arvalis-Institut du Végétal. Côté chercheurs, l’effectif a varié de une (L.Prost) à trois personnes (avec M. Cerf et MH Jeuffroy), voire quatre avec l’appui occasionnel de C. Lecomte.

Pour préparer cette réunion, nous avions demandé aux participants de nous faire parvenir par fax les fiches d’utilisation remplies avant la réunion pour préparer les discussions ou bien de nous récapituler par mail l’ensemble des simulations tentées. Nous souhaitions ainsi refaire un certain nombre de simulations pour en projeter les sorties au cours des débriefings et pouvoir discuter sur les sorties graphiques.

Les débriefings ont été organisés en trois moments :

- un débriefing collectif de l’utilisation de DIAGVAR organisé sous la forme de discussions sur les résultats de DIAGVAR en lien avec les données introduites, et la confrontation de ces résultats à l’expertise des acteurs. Pour cela, nous disposions d’un vidéo-projecteur : nous avons projeté les sorties jugées problématiques par l’un ou l’autre des participants lors de l’utilisation faite individuellement. Nous avons refait « en direct » un certain nombre de simulations à la demande des acteurs pour pouvoir discuter du comportement de DIAGVAR.

- Un échange autour de l’utilisation du prototype : il a été organisé autour de questions assez générales portant sur les possibilités d’utilisation de l’outil : « si vous deviez utiliser l’outil en routine, quelles pourraient être les conséquences ? vous pensez utiliser l’outil à quel moment ? vous cherchez une meilleure caractérisation des lieux pour quoi : mieux décrire les variétés, optimiser les réseaux ? »

- Une réflexion sur les suites du travail : le mode de recueil des avis des différentes personnes, les améliorations prioritaires et les nouveaux tests de l’outil à réaliser.

L’ensemble des réunions des premier (réunions de découverte) et troisième temps (réunions de débriefing) ont été audio-enregistrées et transcrites.

Développeur 1 : Pareil, on avait regardé si la verse ressortait sur Prémesques en 2004 et ce n’est jamais ressorti. Sélectionneur 3 : il se peut aussi que la verse n’affecte pas le rendement.

Développeur 1 : on a essayé de jouer avec l’outil, de retourner dans les données d’entrée et de changer les notes sans changer les rendements. On a mis à Charger des notes très basses de verse alors que Soissons en avait des très importantes mais on n’a pas réussi à faire ressortir la verse.

Cadre B-7: exemple où les acteurs rapportent avoir joué avec DIAGVAR pour comprendre son fonctionnement Développeur 1 : ce qui est gênant, c’est que des observations ont été faites juste avant l’épiaison et d’autres juste après, et c’est traité différemment par l’outil. Il faudrait arrêter la montaison un peu avant l’épiaison.

Chercheur 1 : est-ce qu’on pourrait avoir une règle fixe là-dessus ? Sélectionneur 3 : le problème, c’est qu’on note tout en même temps.

Sélectionneur 6 : il faudrait tout ramener aux stades mais quand on travaille avec des différences de 15 jours dans les précocités, on ne peut pas. On ne peut pas passer tous les jours.

Chercheur 1 : vous notez plutôt sur la période remplissage ?

Sélectionneur 6 : on note quand les maladies apparaissent, quand on voit les symptômes.

Sélectionneur 3 : ce qu’il aurait fallu faire, c’est transformer des notes avant épiaison en notes après épiaison. Développeur 2 : parce qu’il n’y a pas d’écart réel entre des notes juste avant et juste après épiaison.

Sélectionneur 6 : il y a aussi le problème de confusion entre les maladies.

Sélectionneur 3 : plutôt que de calculer les notes que les variétés auraient eu avant, décaler celles qui sont trop précoces (pour les faire passer après leur épiaison, pour que tout le monde soit dans la même période) ? enfin tout dépend combien il y a de notations comme ça.

Sélectionneur 7 : généralement les notes maladies sont plutôt après l’épiaison. Chercheur 2 : en fait il va jusqu’à floraison pour la période de montaison. Développeur 1 : donc en gros, il y a après floraison et avant floraison.

Chercheur 1 : plus la période maturité. Quand il a deux notes pour la même période, il va chercher la dernière note de la période.

Sélectionneur 8 : du coup, il faudrait peut être changer le nom de la période montaison.

Chercheur 1 : est-ce que c’est dans le nom que ça ne va pas ou bien dans la façon de découper les phases ?

Développeur 1 : il peut y avoir de la septo pendant montaison, la vraie montaison et ensuite il peut y avoir de la septo entre épiaison et floraison.

Chercheur 1 : et épiaison-floraison, ça ne rentre pas pour vous dans la montaison ?

Développeur 1 : indiquer que c’est pendant la montaison alors que la septo est apparue à épiaison, ça fait bizarre. Chercheur 2 : pour vous, est-ce que c’est différent de savoir que c’est apparu entre épiaison et floraison ?

Développeur 1 : pour nous, montaison, ça veut dire que c’est apparu tôt (par exemple avril une année normale en île de France). Alors que les notes de floraison sont plutôt en mai.

Chercheur 2 : vous notez parfois pendant la montaison ?

Sélectionneur 5 : certaines années, oui, par ex pour la septo feuille. Développeur 1 : mais classiquement, c’est plutôt autour d’épiaison

Chercheur 2 : donc il faudrait rediviser la période qui s’appelle montaison, entre une période précoce et une plus épiaison-floraison.

Sélectionneur 6 : vu qu’on note toutes les variétés en même temps, certaines sont à épiaison quand d’autres sont à floraison.

Sélectionneur 3 : le problème, c’est surtout qu’il y a des variétés qui ne sont pas notées à un stade alors que les autres ont été notées à ce stade là. Il faudrait recalculer pour ces variétés là, à ces stades là, à partir de la note qui a été faite. Chercheur 1 : donc il faut connaître la dynamique de la maladie.

Sélectionneur 3 : c’est mieux d’estimer une note que de dire que la variété n’a pas été touchée par la maladie. Cadre B-8 : exemple de discussion donnant des clés de compréhension sur l'activité d'évaluation

Sélectionneur 4 : on pourrait considérer l’ensemble des essais pré dépôt, CTPS et précom sur un même lieu comme un gros essai. On a ce gros essai sur 5 lieux, une année donnée et possiblement beaucoup de témoins. Ça nous permettrait de faire des rapprochements entre des groupes de variétés, faire des typologies. Ça, ce serait l’option sélection. Après, on aurait l’option développeur où on pourrait avoir un groupe plus restreint mais avec plus de lieux et plus d’années. On peut compiler pour reconstruire des essais fictifs avec des listes variétales communes, on peut faire ça sur 4 ans. F6, pré-