Étant donné que les tests étaient réalisés sous Windows 10, nous avons utilisé Macrium Reflect pour créer une image initiale « saine » avant de débuter le test. Notre objectif était de créer une image initiale avec l'empreinte la plus faible possible et de réduire la possibilité de variation causée par les facteurs externes du système d'exploitation.
L'image initiale a été restaurée avant de débuter les tests sur chaque produit. Ce processus nous a permis de nous assurer que tous les produits étaient installés et testés sur une machine identique et « saine ».
Les étapes suivies pour la création de l'image initiale de Windows 10 sont les suivantes : 1. Installation et activation de Windows 10 Pro.
2. Désactivation des mises à jour automatiques.
3. Définition des paramètres de Contrôle de compte d'utilisateur sur « Ne jamais m'avertir ».
4. Désactivation des analyses automatiques Windows Defender pour éviter toute activité imprévue en arrière-plan.
5. Désactivation du pare-feu Windows pour éviter toute interférence avec le logiciel de sécurité.
6. Désactivation de Superfetch pour assurer la cohérence des résultats.
7. Installation de HTTP Watch pour tester le délai de navigation.
8. Installation du kit de déploiement et d'assistance Windows 10 (ADK) pour tester le délai de démarrage.
9. Installation d'Active Perl pour interpréter certains scripts de test.
10. Installez OSForensics à des fins de test (test de taille d'installation).
11. Désactivation des mises à jour Windows.
12. Installation des mises à jour Windows importantes.
13. Création d'une image de base du lecteur de démarrage à l'aide d'OSForensics.
Test 1 : durée d'installation
Ce test mesure la durée d'installation minimale nécessaire à un produit pour être entièrement fonctionnel et prêt à être utilisé par l'utilisateur final. La durée d'installation peut généralement être divisée en trois phases principales :
• La phase d'extraction et de configuration comprend l'extraction des fichiers, l'invite CLUF, l'activation du produit et la configuration des options configurables par l'utilisateur pour l'installation.
chronomètre était alors arrêté et la saisie notée entre parenthèses dans les résultats bruts après la description de la phase.
Le cas échéant, nous avons décliné ou passé toutes les demandes de pré-analyse ou de scan post-installation.
Lorsqu'il était impossible de passer un scan, la durée du scan a été incluse dans la durée d'installation. Lorsqu'un composant optionnel de l'installation représentait une part raisonnable des fonctionnalités du logiciel, il a également été installé (par exemple, un logiciel de vérification des liens de site Web dans un produit de sécurité).
La durée d'installation inclut le temps nécessaire au programme d'installation du produit pour télécharger les composants requis par l'installation. Cela peut comprendre les mises à jour obligatoires ou la livraison de l'application elle-même à partir d'un gestionnaire de téléchargement. Les produits ayant téléchargé des composants nécessaires à l'installation sont signalés dans nos résultats.
Nous n'avons pas pris en compte les délais d'activation du produit en raison des variations du réseau pour contacter les serveurs fournisseur, ni le temps requis par la création d'un compte. L'installation de chaque produit testé a été réalisée directement sur le poste, soit à l'aide d'un package d'installation indépendant, soit via la console Web du serveur de gestion.
Test 2 : taille de l'installation
La taille de l'installation du produit a déjà été définie comme la différence entre l'instantané initial de l'espace disque (lecteur C:) avant l'installation et l'instantané réalisé après l'installation du produit sur le système. Bien qu'il s'agisse d'une méthodologie très répandue, nous avons remarqué que les résultats obtenus ne sont pas systématiquement reproductibles sous Vista du fait des opérations aléatoires du système d'exploitation qui peuvent survenir entre les deux instantanés. Nous avons amélioré la méthodologie concernant la taille de l'installation autant que le permettaient les variables du système d'exploitation et de l'espace disque.
À l'aide de PassMark OSForensics, nous avons créé des signatures de disque initiale et post-installation pour chaque produit. Ces signatures de disque enregistraient le nombre de fichiers et de répertoires, et complétaient les détails de tous les fichiers sur ce disque (y compris le nom et la taille des fichiers, la somme de contrôle, etc.) au moment de la signature.
La signature de disque initiale a été réalisée juste avant l'installation du produit. La deuxième signature a été réalisée aussitôt après le redémarrage du système, après l'installation du produit. À l'aide d'OSForensics, nous avons comparé les deux signatures et calculé l'espace disque total consommé par les fichiers ajoutés, les fichiers modifiés et les fichiers supprimés au cours de l'installation du produit. Nos résultats concernant cette mesure reflètent la taille totale de tous les nouveaux fichiers ajoutés au cours de l'installation.
Cette mesure s'intéresse uniquement à la taille de l'installation prête à l'emploi de chaque produit. Nos résultats ne comprennent pas la taille des fichiers téléchargés par le produit après son installation (tels que des mises à jour du moteur ou des signatures), ni tous les fichiers créés par les points de restauration du système, les fichiers pré-récupérés et les autres fichiers temporaires.
Test 3 : délai de démarrage
Le logiciel PassMark utilise des outils disponibles dans le Windows Performance Toolkit (composant du kit de déploiement et d'assistance Windows 10, disponible sur le site Web de Microsoft).
Le test des performances de démarrage (démarrage rapide) est exécuté en tant qu'évaluation individuelle via la Console d'évaluation de Windows. La connexion réseau est désactivée et le mot de passe de connexion est supprimé afin d'éviter toute interruption du test. Le résultat final correspond à la durée totale de démarrage, à l'exception du temps de chargement du BIOS.
Test 4 : utilisation du CPU au repos
CPUAvg est un outil de ligne de commande qui relève la charge CPU deux fois par seconde. À partir de ces relevés, CPUAvg calcule et affiche la charge CPU moyenne sur la période durant laquelle il était actif.
Pour ce test, nous avons utilisé CPUAvg pour mesurer la charge CPU moyenne (en pourcentage) pendant une période durant laquelle le système était inactif sur la base de 500 relevés. Ce test a été réalisé après le redémarrage du poste et après une période d'inactivité de la machine de cinq minutes.
Test 5 : utilisation du processeur lors des scans
CPUAvg est un outil de ligne de commande qui relève la charge CPU environ deux fois par seconde. À partir de ces relevés, CPUAvg calcule et affiche la charge CPU moyenne sur la période durant laquelle il était actif.
Pour ce test, nous avons utilisé CPUAvg pour mesurer la charge CPU moyenne (en pourcentage) au cours du test de durée d'exécution de scans à la demande. Le résultat final correspond à la moyenne obtenue sur la base de cinq séries de trente relevés de charge CPU.
Test 6 : utilisation de la mémoire au repos
Nous avons eu recours à l'utilitaire MemLog++ pour enregistrer l'utilisation de la mémoire par les processus sur le système au démarrage, puis toutes les minutes pendant 15 minutes à partir du démarrage. Cet enregistrement a été réalisé une fois par produit et a donné un total de 15 relevés. Le premier relevé réalisé au démarrage a été rejeté.
L'utilitaire MemLog++ enregistre la consommation de mémoire de tous les processus, pas uniquement ceux du produit anti-malwares. Les processus du produit anti-malwares ont donc dus être isolés des autres processus exécutés. Pour isoler les processus pertinents, nous avons utilisé le programme Process Explorer qui a été exécuté aussitôt après la journalisation par MemLog++ de l'utilisation de la mémoire. Process Explorer est un logiciel Microsoft Windows Sysinternals qui affiche la liste de tous les processus DLL chargés sur le système.
Test 7 : utilisation de la mémoire lors du scan initial
Test 8 : utilisation de la mémoire lors des scans planifiés
Nous avons eu recours à l'utilitaire MemLog++ pour enregistrer l'utilisation de la mémoire sur le système lors de l'exécution d'un scan planifié de malwares. Veuillez vous référer à la mesure « Utilisation de la mémoire : au repos » ci-dessus pour une description de l'utilitaire MemLog++ et une explication de la méthode de calcul de l'utilisation de la mémoire.
Nous avons configuré un scan planifié sur le poste cible puis, une fois le scan en cours, nous avons lancé MemLog++
afin de permettre à MemLog++ d'enregistrer l'utilisation de la mémoire pendant 120 secondes toutes les 12 secondes.
Test 9 : durée d'exécution des scans à la demande
La durée d'exécution des scans à la demande correspond au temps qu'il a fallu à chaque produit pour scanner un échantillon de fichiers. L'échantillon utilisé était le même pour tous les produits et contenait un mélange de fichiers système et de fichiers Office. Au total, il comprenait 6 166 fichiers dont la taille cumulée était égale à 982 Mo. La plupart de ces fichiers provenait des dossiers système de Windows. Étant donné que le type de fichier peut influencer la vitesse d'analyse, la répartition des principaux types de fichiers, le nombre de fichiers et la taille totale des fichiers de l'échantillon sont indiqués ci-dessous :
Type de fichier Nombre Taille totale Type de fichier Nombre Taille totale
DLL 2 589 490 Mo FRA 3 880 Ko
XSL 14 44,3 Ko DHS 1 138 octets
Ce scan a été exécuté sans lancer l'interface utilisateur du produit, en effectuant un clic droit sur le dossier test et en sélectionnant l'option « Analyser maintenant ». Pour enregistrer la durée du scan, nous avons utilisé le minuteur de scan ou le système de rapport intégré au produit. Lorsque cela n'était pas possible, la durée du scan a été relevée manuellement à l'aide d'un chronomètre.
Au cours des années de test précédentes, nous avions constaté une différence significative entre la durée du scan initial (premier scan) et la durée des scans suivants (scans 2 à 5) pour beaucoup plus de produits. Nous pensons que ce comportement est dû aux produits eux-mêmes qui mettent en cache les fichiers scannés récemment. En
moyenne des scans suivants. Le résultat final de ce test correspond donc à une moyenne de la durée moyenne des scans suivants et de la durée du scan initial.
Test 10 : durée d'exécution des scans planifiés
Ce scan a été configuré comme un scan planifié de l'ensemble du système à partir de l'interface utilisateur ou de la console de gestion. Nous avons conservé les paramètres de scan planifié par défaut (à l'exception de l'heure de début) et planifié le scan afin qu'il s'exécute au prochain horaire opportun. Pour enregistrer la durée du scan, nous avons utilisé le minuteur de scan ou le système de rapport intégré au produit. Lorsque cela n'était pas possible, la durée du scan a été relevée manuellement à l'aide d'un chronomètre.
Le scan a été exécuté trois fois et le système a été redémarré entre chaque exécution afin de supprimer les éventuels effets de mise en cache. De par le passé, nous avions constaté une différence significative entre la durée du scan initial (premier scan) et la durée des scans suivants (scans 2 à 5) pour de nombreux produits. Nous pensons que ce comportement est dû aux produits eux-mêmes qui mettent en cache les fichiers scannés récemment. En raison de ce mécanisme, nous avons moyenné les quatre durées d'analyse suivantes pour obtenir une durée moyenne des scans suivants. Le résultat final de ce test correspond donc à une moyenne de la durée moyenne des scans suivants et de la durée du scan initial. Lorsque cette option n'était pas disponible, le produit a été exclu de la mesure et a obtenu la note la plus faible pour ce test.
Test 11 : délai de navigation
Nous avons utilisé un script en association avec HTTPWatch (édition de base, version 9.1.13.0) pour enregistrer le temps nécessaire au chargement consécutif d'un ensemble de 108 sites web « populaires » à partir d'un serveur local. Ce script alimente une liste d'adresses URL dans HTTPWatch, qui indique au navigateur de charger les pages en séquence et contrôle le temps nécessaire au navigateur pour charger tous les éléments de chaque page.
Pour ce test, nous avons utilisé Microsoft Edge (version 89.0.774.57) comme navigateur.
L'ensemble de sites web utilisé pour ce test comprend les premières pages de pages très fréquentées. Cela inclut des sites Web commerciaux, sociaux, informatifs, financiers et de référence.
Le test du délai de navigation a été réalisé cinq fois et le résultat final correspond à une moyenne de ces cinq relevés. Le serveur local a été redémarré entre chaque produit et un test initial a été réalisé avant le test afin d'installer Adobe Flash Player, une extension utilisée par de nombreux sites web populaires.
Type de fichier Nombre Taille totale
Ce test a été réalisé cinq fois afin d'obtenir la durée moyenne pour copier, déplacer et supprimer un échantillon de fichiers. La machine du test a été redémarrée entre chaque relevé pour supprimer les éventuels effets de mise en cache.
Test 13 : compression et décompression de fichiers
Ce test mesure le temps nécessaire pour compresser et décompresser un échantillon de fichiers. L'outil CommandTimer.exe nous a permis d'enregistrer le temps nécessaire à 7zip.exe pour compresser les fichiers en un fichier *.zip, puis pour décompresser le fichier *.zip créé.
La répartition des types de fichiers et des numéros dans l'exemple de jeu de données est la suivante :
Type de fichier Nombre Taille totale
Fichiers de documents 78 97,9 Mo
Fichiers images 1 073 113 Mo
Fichiers vidéo 65 568 Mo
Total 1 216 783 Mo
Ce test a été réalisé cinq fois afin d'obtenir la vitesse moyenne de compression et de décompression des fichiers.
La machine du test a été redémarrée entre chaque relevé pour supprimer les éventuels effets de mise en cache.
Test 14 : création, ouverture et fermeture de fichiers
Ce test s'inspire du test File I/O d'Oli Warner disponible à l'adresse http://www.thepcspy.com (voir Référence
Pour ce test, nous avons développé OpenClose.exe, une application qui permet de mettre en boucle l'écriture, l'ouverture et la fermeture d'un petit fichier sur le disque. Nous avons utilisé CommandTimer.exe pour mesurer le temps nécessaire au processus pour réaliser 180 000 cycles.
Ce test a été réalisé cinq fois afin d'obtenir la vitesse moyenne d'écriture, d'ouverture et de fermeture des fichiers.
La machine du test a été redémarrée entre chaque relevé pour supprimer les éventuels effets de mise en cache.
Test 15 : débit réseau
Ce test mesure le temps nécessaire pour télécharger un échantillon de fichiers binaires de différents types et de diverses tailles via une connexion réseau de 100 Mbit/s. Les fichiers étaient hébergés sur un serveur exécutant Windows Server 2012 et IIS 7. Nous avons utilisé CommandTimer.exe en association avec GNU Wget (version 1.10.1) pour chronométrer et réaliser le test de téléchargement.
Cet ensemble de données contient 242 fichiers. La répartition des types de fichiers est la suivante :
Type de fichier Nombre Taille totale
Fichiers images 182 16,2 Mo
Fichiers musicaux 10 70,8 Mo
Fichiers vidéo 9 73,4 Mo
Fichiers PDF 36 56,8 Mo
Fichiers d'archives compressés 5 6,09 Mo
Total 242 223,29 Mo
Ce test a été réalisé cinq fois afin d'obtenir la durée moyenne de téléchargement de cet échantillon de fichiers. La machine du test a été redémarrée entre chaque relevé pour supprimer les éventuels effets de mise en cache.