L’impact de l’expérience sur les choix des experts

Dans la première page du questionnaire de l’enquête, des questions d’ordre général ont été posées aux participants. Parmi ces questions, une en particulier visait à déterminer le profil du participant eu égard à son expérience en sécurité informatique et dans la lutte contre l’hameçonnage. La métrique utilisée pour mesurer cette expérience est le nombre d’années. Pour ce qui est des autres questions de la même rubrique, nous n’avons pas pu les exploiter car les réponses étaient, soit très vagues, soit trop spécifiques et ne permettent pas de s’en servir pour différencier les répondants.

a) Expérience des experts

Pour la suite de l’analyse, nous avons défini quatre groupes d’experts selon le nombre d’années d’expérience en sécurité informatique ou en hameçonnage. La Figure 7.1 qui suit présente ces groupes. Nous utilisons ces groupes dans notre analyse de la variance afin de tenter d’expliquer la raison pour laquelle il y a une si forte proportion d’experts qui aient choisi moyen pour plusieurs énoncés.

Figure 7.1 : Répartition des experts selon l'expérience

b) Analyse de la variance

Un extrait des résultats de cette analyse est présenté dans le Tableau 7.7 ci-dessous. On y observe que la valeur de F68 _{est très grande (F>1), à la fois, pour l’expérience en} hameçonnage et pour l’expérience en sécurité informatique. Ces résultats laissent suggérer qu’il existe une différence importante entre la moyenne des choix des quatre groupes d’experts si l’on considère le nombre d’années d’expérience en sécurité informatique et en hameçonnage pour trois des quatorze énoncés pour lesquels la proportion des experts qui ont répondu «moyen» nous semble élevé. Le niveau de signification statistique étant inférieur à 0,05 pour chacun de ces trois énoncés, on peut donc conclure que le nombre d’années d’expérience en hameçonnage semble avoir eu une incidence dans le choix de l’ordre d’efficacité de deux des trois énoncés présentés au tableau 7.7, notamment :

- un meilleur réglage des critères de rejet contribue efficacement à la réduction des taux d’erreurs (faux positifs, faux négatifs) des filtres anti-hameçonnage;

68 _{La statistique F produite par l'ANOVA est le rapport entre la variabilité inter et intra-groupes.}

0 1 2 3 4 5 1 à 5 6 à 10 11 à 15 16 à 20 Nombre d 'experts

Nombre d'années d'expérience Sécurité informatique Hameçonnage

- quel est le degré de satisfaction ou d’insatisfaction à l’égard des développements des outils de formation (ex. en utilisant les micro-jeux).

En revanche, le degré de satisfaction à l’égard du temps moyen de mise à jour du fichier de journalisation au Canada semble plutôt influencé par le nombre d’années d’expérience en sécurité informatique. Les résultats exhaustifs de l’analyse de la variance de tous les énoncés de l’enquête sont présentés dans les tableaux L.1 à L.6 de l’ANNEXE L.

Tableau 7.7 : ANOVA à un facteur Énoncé du questionnaire d’enquête Facteurs qui

influent sur le choix des experts

Somme des carrés ddl

Carré

moyen F Sig. Meilleur réglage des critères de

rejet

Niveau d'expérience en phishing

8,667 4 2,167 9,750 ,009

Degré de satisfaction à l’égard des développements des outils de formation

Niveau d'expérience en phishing

5,722 2 2,861 5,421 ,045

Degré de satisfaction à l’égard du temps moyen de mise à jour fichier de journalisation au Canada

Niveau d'expérience en sécurité

informatique

6,889 3 2,296 5,741 ,045

À la lumière du test de la variance que nous avons réalisé, l’hypothèse nulle est validée pour onze énoncés et rejetée pour les trois autres (cf. Tableau 7.7). Cela veut dire que les choix qui ont été faits pour les onze énoncés n’étaient, fort probablement, pas influencés par les différences dans les expériences des experts en sécurité informatique et en hameçonnage. Restent deux explications possibles: soit la mesure présente effectivement des insuffisances qui ne garantissent pas leur efficacité dans la lutte contre l’hameçonnage, soit que la question n’est pas suffisamment claire. Nous penchons plus pour la première raison car nous n’avons reçu aucun feedback relatif la non clarté de l’énoncé.

Pour les trois autres énoncés, les moyennes seraient différentes selon les groupes d’expérience. Toutefois, l’analyse ANOVA ne précise pas où sont situées ces différences et de combien sont-elles. Pour avoir ces informations, il faut faire des tests Post-hoc (a priori). Or, la taille restreinte de notre échantillon ne permet pas d’effectuer ces tests avec

les fonctions standards d’Excel car certains groupes possèdent moins de deux observations. Nous avons donc utilisé une macro VBA dans Excel pour déterminer la moyenne de chaque groupe. Les tableaux qui suivent présentent ces moyennes.

Tableau 7.8 : Moyenne de chaque groupe - expérience en hameçonnage- Groupes Meilleur

réglage des critères de rejet

Degré de satisfaction à l’égard des développements des outils de formation

Degré de satisfaction à l’égard du temps moyen de mise à jour du fichier de journalisation au Canada 1 à 5 ans 2,8 3 2 6 à 10 ans 2,5 2 3 11 à 15 ans 3 3,5 3 16 à 20 ans 2 4 3

Tableau 7.9 : Moyenne de chaque groupe - expérience en sécurité informatique- Groupes Meilleur

réglage des critères de rejet

Degré de satisfaction à l’égard des développements des outils de formation

Degré de satisfaction à l’égard du temps moyen de mise à jour fichier de journalisation au Canada 1 à 5 ans 3 3,33 ? 6 à 10 ans 2,75 2,25 3 11 à 15 ans 3 3,25 2,67 16 à 20 ans 1,75 1,75 2,67

Les écarts entre ces moyennes ne suivent aucune logique qui nous permet de conclure à une influence de l’expérience sur le choix des experts.

Pour conclure, les choix qui ont été faits par les experts pour ces trois énoncés ne semblent pas avoir été influencés par les différences dans les expériences des experts en sécurité informatique et en hameçonnage. À l’instar de l’analyse que nous avons faite sur les onze autres énoncés, la seule explication qui semble plausible est que ces mesures ont des insuffisances qui ne garantissent pas leur efficacité dans la lutte contre l’hameçonnage, l’hypothèse selon laquelle les questions manqueraient de clarté étant peu plausible.

Pour la catégorie où le choix des réponses aux énoncés est très élevé ou élevé, nous additionnons les deux proportions de répondants pour obtenir une seule proportion que

nous qualifions de choix favorables des experts à l’énoncé. Ces mesures sont considérées dans la suite de notre travail comme des mesures recommandées pour la lutte contre l’hameçonnage bancaire.