Critères d’évaluation

Pour élaborer notre questionnaire, nous nous sommes basés sur différents critères, définis dans la littérature, pour comparer l’influence des OICs utilisés sur la qualité de la collaboration et les objectifs réalisés dans les sessions des revues de projet.

3.4.5.1 Critères d’évaluation de la qualité de la collaboration

Ain d’identifier les critères nécessaires pour comparer l’influence des OICs utilisés sur la qualité de la collaboration, nous nous sommes basé sur la littérature, et notamment sur les travaux de Baker et al. (2013), Post et al. (2008), Rahman et al. (2012) et Burkhardt et al. (2009). Dans le cadre de nos travaux de thèse, nous nous sommes focalisés sur l’influence des OICs sur les dimensions suivantes de la collaboration :

151

 Efficacité du travail collaboratif en groupe projet : c’est la première dimension identifiée pour évaluer la qualité de la collaboration dans les sessions de revues de projet. Dans ce cadre, nous avons défini, en accord avec la littérature, les critères subjectifs suivants :

o Compréhension mutuelle du groupe projet [Baker et al., 2013 ; Burkhardt et al., 2009 ; Rahman et al., 2012] : l’objectif est d’évaluer la synchronisation mentale entre les acteurs de différentes disciplines à travers leur perception de l’acquisition de nouvelles connaissances relatives aux autres domaines d’expertises dans les sessions de revues de projet. Par exemple ; est-ce qu’un « acteur métier A » a bien compris les exigences des autres acteurs métiers à l’aide de l’OIC utilisé ?

o Qualité des échanges multidisciplinaires [Burkhardt et al., 2009] : l’objectif ici est de recueillir la perception des participants quant à l’influence de l’OIC utilisé sur la discussion et les échanges d’idées avec les autres acteurs métiers lors de la revue de projet. o Facilité de la recherche et de la proposition de nouvelles solutions [Burkhardt et al., 2009] : il s’agit ici de recueillir la perception des participants sur le rôle de l’OIC pour faciliter la recherche et la proposition de nouvelles solutions.

o Taux de propositions personnelles de changements sur le produit et de la participation effective à la session de revue de projet [Burkhardt et al., 2009] : l’objectif est de demander à chaque participant sa perception du taux de propositions personnelles par rapport aux propositions de l’ensemble du groupe et le taux de sa participation effective à la session de la revue de projet afin d’évaluer la contribution de chaque participant par rapport à la contribution totale du groupe.

o Motivation du groupe projet à travailler ensemble [Buisine et al., 2012 ; Burkhardt et al., 2009] : ce critère évalue, pour chaque participant, la motivation qui marque son intérêt et son implication dans la collaboration avec les autres participants.

o Consensus et la prise de décisions en commun [Burkhardt et al., 2009] : à travers trois questions liées à ce critère, nous cherchons à recueillir si les décisions prises et les solutions adoptées dans la session de revue de projet ont été acceptées ou satisfaisantes pour tous les participants.

o Conflits et problèmes de collaboration [Rahman et al., 2012] : L’objectif est de déterminer l’influence de l’OIC sur l’occurrence des problèmes de collaboration lors des phases de convergence multidisciplinaires.

 Efficacité de la revue de projet : cette dimension concerne notamment trois critères liés directement à l’efficacité de la revue de projet :

152

o Efficacité perçue des revues de projet [Post et al., 2008 ; Wetmore et al., 2013 ; Buisine et al., 2012] : il s’agit de la perception subjective des participants de l’avancement de la conception du produit grâce à la session de revue de projet.

o Contribution subjective des outils utilisés pour l’avancement du projet : nous proposons aussi d’évaluer, dans le cadre de l’efficacité de la revue de projet, la contribution de l’OIC utilisé pour l’avancement de projet.

o Taux de validation de différents éléments de spécifications : il s’agit ici d’étudier la perception des participants quant au taux de validation des spécifications du produit lors de la session de revue de projet. Les spécifications représentent les critères de valeur du cahier des charges fonctionnel.

 Tâches et compréhension monodisciplinaire du produit [Rahman et al., 2012] : Rahman et al. (2012) proposent de considérer le travail individuel comme un critère de collaboration. Dans ce cadre, notre objectif est de déterminer si l’OIC utilisé peut influencer les tâches monodisciplinaires de chaque participant durant la session de revue de projet à travers deux critères subjectifs :

o La compréhension du produit par chaque acteur métier, par rapport à son propre domaine d’expertise : l’acteur métier doit pouvoir comprendre le produit afin qu’il puisse l’évaluer de son point de vue sur la base de ses contraintes et de son métier. L’objectif de ce critère est de recueillir la perception de chaque acteur métier sur la compréhension du produit du point de vue de son expertise métier.

o L’acquisition de nouvelles connaissances sur le produit par chaque acteur métier, par rapport à son propre domaine d’expertise : il s’agit de la perception subjective de l’acquisition de nouvelles connaissances par chaque acteur métier en ce qui concerne le produit, par rapport à son métier.

3.4.5.2 Critères d’évaluation des objectifs réalisés

L’expérimentation avait pour objectif d’étudier les objectifs traités par les acteurs métiers (les étudiants) durant les phases de convergence. Pour cela, nous avons décidé de définir des objectifs génériques afin de les soumettre aux étudiants lors de la passation des questionnaires. Pour obtenir ces objectifs, nous nous sommes intéressés aux critères de conception traités par les participants à chaque session de revue de projet. En effet, les participants aux revues de projet étant des étudiants en conception de produit, il était plus pertinent pour eux de manipuler des termes dont ils ont l’habitude dans leur formation. Ces critères de conception concernent les trois métiers principaux déjà évoqués : ergonomie, conception mécanique, design industriel.

153

La liste de critères de conception a été établie à l’aide d’une session de brainstorming impliquant 9 experts métiers de l’équipe ERCOS du laboratoire IRTES : trois ergonomes, deux designers industriels et quatre ingénieurs mécaniciens. Nous avons demandé notamment à ces experts métier d’exprimer les critères de conception qu’ils souhaitaient valider, évaluer ou même traiter dans le cadre de leurs revues de projet habituelles. Suite à cette session, nous avons obtenu une liste de trente critères de conception. Notons que cette liste inclut des critères de conception généraux et certains plus spécifiques aux trois métiers pour donner aux participants une flexibilité lors de leurs réponses sur le questionnaire. L’annexe 2 – Partie 2 présente la liste retenue des critères de conception.

Ainsi, afin de comparer l’influence de l’OIC utilisé sur les objectifs réalisés lors des sessions de revue de projet, nous avons également défini deux critères d’évaluation supplémentaires :

 La quantité de décisions prises pour chaque critère de conception sélectionné : Après chaque session de revue de projet, nous avons demandé aux participants d’estimer, pour chaque critère de conception sélectionné, la quantité de décisions qui ont été prises sur une échelle de 0 à 4. Cette question permet de différencier les deux OICs utilisés en termes de quantité de décisions prises.

 Le retour subjectif de la pertinence des OICs pour chacun des critères de conception: à la fin du projet, nous avons demandé aux participants, à travers la troisième partie du questionnaire, d’estimer quelle plateforme (plateforme de réalité virtuelle ou plateforme CAO Visioconcept) leur semble la plus pertinente pour chaque critère de conception dans la liste précédemment définie. Cela permet d’associer chaque critère de conception avec la plateforme choisie et par conséquent avec le type d’OIC sur la plateforme en question.

Finalement, le Tableau 9 donne les différents critères retenus d’évaluation de la qualité de collaboration et les objectifs réalisés (traduits par critères de conception pour les étudiants) en lien avec le questionnaire et nos sous-hypothèses opérationnelles.

154

Sous-hypothèse

Dimensions explorées Critères retenus d’évaluation Partie du questionnaire concernée H 2.1 H 2.2 1. Efficacité du travail collaboratif multidisciplinaire en groupe projet - Q4: Compréhension mutuelle

- Q 5 : Qualité des échanges

multidisciplinaire

- Q6 : Facilité de la recherche et de la

proposition de nouvelles solutions

- Q7, Q8 : Taux de propositions personnel de

changements sur le produit et de participation effective

- Q9: Motivation du groupe projet

- Q10, Q11, Q12 : Consensus et prise

commune des décisions

- Q13 : Conflits et problème de collaboration

La deuxième partie du questionnaire après chaque session de revue de projet

(Annexe 2 – Partie 2)

2. Efficacité de la revue de projet

- Q14: Efficacité perçue

- Q15: Contribution des outils utilisés

- Q16 : Taux de validation des spécifications

3. Tâches et compréhension monodisciplinaire du produit - Q17 : Compréhension monodisciplinaire - Q18 : L’acquisition de nouvelles connaissances monodisciplinaires H 2.3 H 2.4

4. Objectifs réalisés - Q19 : Quantité des décisions prises pour

chaque critère de conception sélectionné

- Q20: L’adéquation entre critères de

conception et outil utilisé

Troisième partie du questionnaire après la fin des projets (Annexe 2 – Partie 3)

Tableau 9. Tableau récapitulatif des liens entre les hypothèses opérationnelles, critères d’analyse et numéros des questions associées

155