Webroot Business Endpoint Protection vs. huit concurrents

(1)

Webroot Business Endpoint Protection vs.

huit concurrents

Rapport de référence

Mai 2021

(2)

Sommaire

SOMMAIRE ... 2

HISTORIQUE DES REVISIONS ... 3

REFERENCES ... 3

RESUME ... 4

NOTE GLOBALE ... 5

PRODUITS ET VERSIONS ... 6

VUE D'ENSEMBLE DES MESURES DE PERFORMANCE ... 7

RESULTATS DES TESTS ... 10

TEST 1 : DUREE D'INSTALLATION ... 10

TEST 2 : TAILLE DE L'INSTALLATION ... 11

TEST 3 : DELAI DE DEMARRAGE ... 12

TEST 4 : UTILISATION DU CPU AU REPOS ... 13

TEST 5 : UTILISATION DU PROCESSEUR LORS DES SCANS ... 14

TEST 6 : UTILISATION DE LA MEMOIRE AU REPOS ... 15

TEST 7 : UTILISATION DE LA MEMOIRE LORS DU SCAN INITIAL ... 16

TEST 8 : UTILISATION DE LA MEMOIRE LORS DES SCANS PLANIFIES ... 17

TEST 9 : DUREE D'EXECUTION DES SCANS A LA DEMANDE ... 18

TEST 10 : DUREE D'EXECUTION DES SCANS PLANIFIES ... 19

TEST 11 : DELAI DE NAVIGATION ... 20

TEST 12 : COPIE, DEPLACEMENT ET SUPPRESSION DE FICHIERS ... 21

TEST 13 : COMPRESSION ET DECOMPRESSION DE FICHIERS ... 22

TEST 14 : CREATION, OUVERTURE ET FERMETURE DE FICHIERS ... 23

TEST 15 : DEBIT RESEAU ... 24

EXCLUSION DE RESPONSABILITE ET DIVULGATION ... 25

COORDONNEES ... 25

ANNEXE 1 : ENVIRONNEMENT DE TEST ... 26

ANNEXE 2 – DESCRIPTION DE LA METHODOLOGIE ... 27

(3)

Historique des révisions

Rév Historique des révisions Date

Édition 1 Version initiale du rapport. 19 mai 2021

Édition 2 Logo Webroot mis à jour. 28 mai 2021

Références

N° réf. Document Auteur Date

1 Ce qui ralentit vraiment Windows (URL) O. Warner,

The PC Spy 2006

(4)

Résumé

PassMark Software® a réalisé des tests comparatifs de performance objectifs sur neuf (9) logiciels de sécurité sous Windows 10 (64 bits) en mars et mai 2021. Ce rapport présente les résultats et conclusions de ces tests tels qu'ils ressortent pour ces différents produits de protection des postes.

L'objectif était de comparer l'impact sur les performances du produit Business Endpoint Protection de Webroot par rapport à celui de huit (8) de ses concurrents.

Les tests ont été réalisés sur chaque produit sur la base de quinze (15) mesures de performance. Ces mesures de performance sont les suivantes :

• Durée d'installation

• Taille de l'installation

• Délai de démarrage

• Utilisation du CPU au repos

• Utilisation du CPU lors des scans

• Utilisation de la mémoire lorsque le système est inactif

• Utilisation de la mémoire lors du scan initial

• Utilisation de la mémoire lors des scans planifiés

• Durée d'exécution des scans à la demande

• Durée d'exécution des scans planifiés

• Délai de navigation

• copie, déplacement et suppression de fichiers

• compression et décompression de fichiers

• Écriture, ouverture et fermeture de fichiers

• Débit réseau

(5)

Note globale

PassMark Software a attribué une note à chaque produit en fonction de son classement pour chaque mesure par rapport aux autres produits de la même catégorie. Dans le tableau suivant, la note maximale a été rapportée à 100. Il s'agit de la note qu'obtiendrait un produit s'il atteignait la première place pour chacune des quinze (15) mesures. Les produits de protection des postes ont été classés en fonction de leur note globale :

Nom du produit Note globale

Webroot Business Endpoint Protection 83

ESET Endpoint Security 69

Kaspersky Endpoint Security Cloud 62

Service de protection F-Secure pour les entreprises 61

Malwarebytes Endpoint Protection 57

McAfee Endpoint Security 56

BitDefender GravityZone Business Security 49

Trend Micro Worry-Free Business Security Services 39

Sophos Intercept X 25

(6)

Produits et versions

Pour chaque produit de sécurité, nous avons testé la version la plus récente et la plus accessible au public. Les noms et les versions des produits sont indiqués ci-dessous :

Fabricant Nom du produit Version du produit Date du test

Webroot Inc. Webroot Business Endpoint Protection 9.0.30.75 Mai 2021

Trend Micro Inc. Trend Micro Worry-Free Business Security Services 6.7.1518/14.2.1271 Mars 2021

Kaspersky Lab Kaspersky Endpoint Security Cloud 11.5.0.590 Mars 2021

Sophos Ltd. Sophos Intercept X 2.15.4 Mars 2021

Bitdefender BitDefender GravityZone Business Security 6.6.24.337 Mars 2021

ESET, spol. s r.o. ESET Endpoint Security 8.0.2028.0 Mars 2021

F-Secure Service de protection F-Secure pour les entreprises 21.3 Mars 2021

McAfee, LLC McAfee Endpoint Security 10.7 Mars 2021

Malwarebytes Malwarebytes Endpoint Protection 1.2.0.869 Mars 2021

(7)

Vue d'ensemble des mesures de performance

Nous avons sélectionné un ensemble de mesures objectives fournissant des indications complètes et réalistes sur les domaines dans lesquels chaque produit de protection des postes peut impacter les performances du système pour les utilisateurs finaux. Nos mesures testent l'impact des logiciels sur les tâches courantes, effectuées au quotidien par les utilisateurs finaux.

Toutes les méthodes de test de PassMark Software peuvent être appliquées par un tiers dans un environnement identique pour obtenir des résultats de test similaires. La description détaillée des méthodologies utilisées pour nos tests est disponible à « l'Annexe 2 : description de la méthodologie » du présent rapport.

Test 1 : durée d'installation

La vitesse et la simplicité du processus d'installation influencent fortement la première impression de l'utilisateur au sujet du logiciel de sécurité. Ce test mesure la durée d'installation nécessaire pour que le logiciel de sécurité soit entièrement fonctionnel et prêt à être utilisé par l'utilisateur final. Les produits dont la durée d'installation est plus courte sont considérés comme plus performants dans cette catégorie.

Test 2 : taille de l'installation

De par leur offre toujours accrue en fonctionnalités, les logiciels de sécurité tendent à voir leur taille augmenter avec chaque nouvelle version. Bien que les nouvelles technologies repoussent tous les ans les limites de taille des disques durs, les besoins croissants en espace disque des applications courantes et l'utilisation grandissante des fichiers multimédias volumineux (vidéos, photos, morceaux de musique, etc.) entretiennent l'intérêt des utilisateurs particuliers pour la taille de l'installation d'un produit.

Ce test a pour but de mesurer la taille totale de l'installation du produit. Cette mesure est définie comme l'espace disque total utilisé par tous les nouveaux fichiers ajoutés durant l'installation du produit.

Test 3 : délai de démarrage

Ce test mesure la durée nécessaire à la machine pour démarrer son système d'exploitation. Les logiciels de sécurité se lancent généralement au démarrage de Windows, ce qui allonge le délai de démarrage du système d'exploitation. Un délai de démarrage court indique un impact réduit de l'application sur le fonctionnement normal de la machine.

(8)

Test 6 : utilisation de la mémoire au repos

Ce test mesure la quantité de mémoire (RAM) utilisée par le produit lorsque la machine et le logiciel de sécurité sont inactifs. La quantité de mémoire utilisée au total a été calculée en identifiant tous les processus du logiciel de sécurité et la quantité de mémoire utilisée par chaque processus.

La quantité de mémoire utilisée lorsque la machine est inactive donne une bonne indication de la quantité de ressources système utilisée par le logiciel de sécurité de façon continue. Les produits les plus performants utilisent moins de mémoire lorsque la machine est inactive.

Test 7 : utilisation de la mémoire lors du scan initial

Ce test mesure la quantité de mémoire (RAM) utilisée par le produit lors d'un scan de sécurité initial sur le disque principal du poste. La quantité de mémoire utilisée au total a été calculée en identifiant tous les processus du logiciel de sécurité et la quantité de mémoire utilisée pendant le scan.

Test 8 : utilisation de la mémoire lors des scans planifiés

Ce test mesure la quantité de mémoire (RAM) utilisée par le produit lors des scans planifiés sur le poste cible. La quantité de mémoire utilisée au total a été calculée en identifiant tous les processus du logiciel de sécurité et la quantité de mémoire utilisée pendant le scan.

Test 9 : durée d'exécution des scans à la demande

Toutes les solutions de sécurité possèdent une fonctionnalité conçue pour détecter les virus et les diverses autres formes de malwares en scannant les fichiers du système. Ce test mesure le temps nécessaire pour scanner un ensemble de fichiers sains. Notre échantillon de fichiers présentait une taille de 982 Mo et se composait de fichiers de différents types, couramment présents sur les machines des utilisateurs finaux, tels que des fichiers multimédias, des fichiers système et des documents Microsoft Office.

Test 10 : durée d'exécution des scans planifiés

Par défaut, la plupart des solutions de sécurité sont programmées pour scanner le système régulièrement à la recherche de virus et de malwares. Ce test mesure le temps nécessaire pour exécuter un scan planifié du système.

Le scan est configuré pour s'exécuter à une heure précise via l'interface utilisateur client ou la console de gestion.

Test 11 : délai de navigation

Les produits de sécurité scannent souvent les données téléchargées à partir d'Internet ou de l'Intranet à la recherche de malwares. Ce comportement peut avoir un impact négatif sur la vitesse de navigation lorsque les produits scannent le contenu Web à la recherche de malwares. Ce test mesure le temps nécessaire pour accéder à un ensemble de sites Internet populaires, puis les charger consécutivement à partir d'un serveur local dans la fenêtre de navigation de l'utilisateur.

Test 12 : copie, déplacement et suppression de fichiers

Ce test mesure le temps nécessaire pour copier, déplacer et supprimer un échantillon de fichiers. L'échantillon de fichiers contenait différents types de formats de fichier correspondant aux formats rencontrés quotidiennement par un utilisateur de Windows. Ces formats incluent des fichiers documents (tels que des documents

(9)

Microsoft Office, des PDF Adobe, des fichiers Zip, etc.), des fichiers multimédias (tels que des images, des vidéos et des morceaux de musique) et des fichiers système (tels que des exécutables, des bibliothèques, etc.).

Test 13 : compression et décompression de fichiers

Ce test mesure le temps nécessaire pour compresser et décompresser différents types de fichiers. Les formats de fichier utilisés dans ce test comprenaient des documents, des vidéos et des images.

Test 14 : création, ouverture et fermeture de fichiers

Ce test s'inspire du test File I/O d'Oli Warner disponible à l'adresse http://www.thepcspy.com (voir Référence n° 1 : Ce qui ralentit vraiment Windows). Ce test mesure le temps nécessaire pour écrire un fichier, puis l'ouvrir et le fermer.

Test 15 : débit réseau

Ce test mesure le temps nécessaire pour télécharger différents fichiers à partir d'un serveur local à l'aide du protocole Hypertext Transfer Protocol (HTTP), qui constitue le protocole le plus utilisé sur le Web pour la navigation, les liaisons et le transfert de données. Les fichiers utilisés dans ce test comprenaient les formats de fichier qu'un utilisateur est le plus susceptible de télécharger sur le Web, tels que des fichiers d'image, d'archive, de musique et de vidéo.

(10)

Résultats des tests

Dans les graphiques suivants, nous avons coloré en vert les résultats obtenus par Webroot Business Endpoint Protection. La moyenne apparaît en bleu afin de faciliter la compréhension.

Test 1 : durée d'installation

Le graphique suivant compare la durée minimale d'installation nécessaire aux produits de sécurité des postes pour être entièrement fonctionnels et prêts à être utilisés par l'utilisateur final. Les produits dont la durée d'installation est plus courte sont considérés comme plus performants dans cette catégorie.

367,11 366,83 252,48

174,95 162,72 134,79 88,88 57,75 17,29 4,44

0 s 50 s 100 s 150 s 200 s 250 s 300 s 350 s 400 s

Trend Micro Worry-Free Business Security Services BitDefender GravityZone Business Security Sophos Intercept X McAfee Endpoint Security Average Kaspersky Endpoint Security Cloud F-Secure Protection Service for Business ESET Endpoint Security Malwarebytes Endpoint Protection Webroot Business Endpoint Protection Webroot Business Endpoint Protection

Malwarebytes Endpoint Protection

ESET Endpoint Security

Service de protection F-Secure pour les entreprises

Kaspersky Endpoint Security Cloud

Moyenne

McAfee Endpoint Security

Sophos Intercept X

BitDefender GravityZone Business Security

Trend Micro Worry-Free Business Security Services

0 s 50 s 100 s 150 s 200 s 250 s 300 s 350 s 400 s

(11)

Test 2 : taille de l'installation

Le graphique suivant compare la taille totale des fichiers ajoutés lors de l'installation des différents produits de protection des postes. On considère que moins un produit occupe de place à l'installation, meilleures sont ses performances dans cette catégorie.

1 990,77 1 656,57

1 576,83 1 277,36 1 195,40 1 100,14 1 072,64 735,90

331,78 63,97

0 MB 500 MB 1,000 MB 1,500 MB 2,000 MB 2,500 MB

Sophos Intercept X ESET Endpoint Security BitDefender GravityZone Business Security Kaspersky Endpoint Security Cloud McAfee Endpoint Security Average Trend Micro Worry-Free Business Security Services F-Secure Protection Service for Business Malwarebytes Endpoint Protection Webroot Business Endpoint Protection Webroot Business Endpoint Protection

Moyenne

Sophos Intercept X

0 Mo 500 Mo 1 000 Mo 1 500 Mo 2 000 Mo 2 500 Mo

(12)

Test 3 : délai de démarrage

Le graphique suivant compare la durée moyenne nécessaire au système pour démarrer (moyenne calculée sur cinq démarrages) avec chacun des produits de protection des postes testé. Les produits pour lesquels la durée de démarrage est plus courte sont considérés comme plus performants dans cette catégorie.

15,40 14,45 14,23 13,33 13,09 12,98 12,20 11,68 11,46 10,93

0 s 2 s 4 s 6 s 8 s 10 s 12 s 14 s 16 s 18 s

Sophos Intercept X Malwarebytes Endpoint Protection Trend Micro Worry-Free Business Security Services BitDefender GravityZone Business Security Webroot Business Endpoint Protection Average Kaspersky Endpoint Security Cloud F-Secure Protection Service for Business McAfee Endpoint Security ESET Endpoint Security ESET Endpoint Security

Moyenne

Webroot Business Endpoint Protection

Sophos Intercept X

0 s 2 s 4 s 6 s 8 s 10 s 12 s 14 s 16 s 18 s

(13)

Test 4 : utilisation du CPU au repos

Le graphique suivant compare l'utilisation moyenne du CPU lorsque le système est inactif. On considère que moins un produit utilise de CPU, meilleures sont ses performances dans cette catégorie.

2,55 % 1,73 %

1,55 % 1,49 % 1,35 % 1,17 % 1,16 % 1,12 % 0,78 % 0,63 %

0% 1% 2% 3%

Sophos Intercept X BitDefender GravityZone Business Security Trend Micro Worry-Free Business Security Services McAfee Endpoint Security Average Malwarebytes Endpoint Protection Kaspersky Endpoint Security Cloud F-Secure Protection Service for Business ESET Endpoint Security Webroot Business Endpoint Protection Webroot Business Endpoint Protection

Moyenne

Sophos Intercept X

0 % 1 % 2 % 3 %

(14)

Test 5 : utilisation du processeur lors des scans

Le graphique suivant compare l'utilisation moyenne du processeur lors d'un scan à la demande d'exemples de fichiers. On considère que moins un produit utilise de CPU, meilleures sont ses performances dans cette catégorie.

98,15 % 93,40 % 71,23 %

51,36 % 47,45 % 40,63 % 29,94 % 29,03 % 26,43 % 25,96 %

0% 20% 40% 60% 80% 100%

McAfee Endpoint Security Kaspersky Endpoint Security Cloud F-Secure Protection Service for Business Average Malwarebytes Endpoint Protection BitDefender GravityZone Business Security Webroot Business Endpoint Protection Trend Micro Worry-Free Business Security Services Sophos Intercept X ESET Endpoint Security ESET Endpoint Security

Sophos Intercept X

Moyenne

0 % 20 % 40 % 60 % 80 % 100 %

(15)

Test 6 : utilisation de la mémoire au repos

Le graphique suivant compare la quantité moyenne de RAM utilisée par les différents produits de protection des postes lorsque le système est inactif. Cette moyenne a été calculée à partir de dix instantanés de mémoire pris à environ 60 secondes d'écart après le redémarrage. On considère que moins un produit utilise de RAM lorsque le système est inactif, meilleures sont ses performances dans cette catégorie.

968,97 689,09

402,29 309,67 177,12 149,13 133,18 120,86 92,09 54,29

0 MB 200 MB 400 MB 600 MB 800 MB 1,000 MB 1,200 MB

Sophos Intercept X McAfee Endpoint Security Malwarebytes Endpoint Protection Average ESET Endpoint Security F-Secure Protection Service for Business Trend Micro Worry-Free Business Security Services BitDefender GravityZone Business Security Kaspersky Endpoint Security Cloud Webroot Business Endpoint Protection Webroot Business Endpoint Protection

Moyenne

Sophos Intercept X

0 Mo 200 Mo 400 Mo 600 Mo 800 Mo 1 000 Mo 1 200 Mo

(16)

Test 7 : utilisation de la mémoire lors du scan initial

Le graphique suivant compare la quantité moyenne de RAM utilisée par les différents produits de protection des postes lors d'un scan initial sur le disque principal. Cette moyenne a été calculée à partir d'un échantillon de dix instantanés de mémoire pris à 12 secondes d'intervalles pendant le scan d'un échantillon de fichiers qui n'ont jamais été scannés par le logiciel auparavant. On considère que moins un produit utilise de mémoire pendant un scan, meilleures sont ses performances dans cette catégorie.

986,11 812,04

654,25 442,89

413,00 397,03 273,12 267,09 119,12 64,28

0 MB 200 MB 400 MB 600 MB 800 MB 1,000 MB 1,200 MB

Sophos Intercept X McAfee Endpoint Security Malwarebytes Endpoint Protection Average F-Secure Protection Service for Business BitDefender GravityZone Business Security ESET Endpoint Security Trend Micro Worry-Free Business Security Services Kaspersky Endpoint Security Cloud Webroot Business Endpoint Protection Webroot Business Endpoint Protection

Moyenne

Sophos Intercept X

0 Mo 200 Mo 400 Mo 600 Mo 800 Mo 1 000 Mo 1 200 Mo

(17)

Test 8 : utilisation de la mémoire lors des scans planifiés

Le graphique suivant compare la quantité moyenne de RAM utilisée par les différents produits de protection des postes lors d'un scan planifié sur le poste. Cette moyenne a été calculée à partir de cinq instantanés de mémoire pris à environ cinq secondes d'intervalle. On considère que moins un produit utilise de mémoire pendant un scan, meilleures sont ses performances dans cette catégorie.

932,98 811,12 680,41 451,93

417.91 358,22 287,32 243,16 220,62 115,85

0 MB 200 MB 400 MB 600 MB 800 MB 1,000 MB

Sophos Intercept X BitDefender GravityZone Business Security McAfee Endpoint Security Average ESET Endpoint Security Malwarebytes Endpoint Protection F-Secure Protection Service for Business Trend Micro Worry-Free Business Security Services Kaspersky Endpoint Security Cloud Webroot Business Endpoint Protection Webroot Business Endpoint Protection

Moyenne

Sophos Intercept X

0 Mo 200 Mo 400 Mo 600 Mo 800 Mo 1 000 Mo

(18)

Test 9 : durée d'exécution des scans à la demande

Le graphique suivant compare la durée moyenne nécessaire aux différents produits de sécurité testés pour exécuter un scan à la demande sur le système.

141,78 104,60

64,60 62,61 62,22 60,00 50,20 31,40 27,40 17,40

0 s 20 s 40 s 60 s 80 s 100 s 120 s 140 s 160 s

Sophos Intercept X Trend Micro Worry-Free Business Security Services McAfee Endpoint Security Malwarebytes Endpoint Protection Average Webroot Business Endpoint Protection F-Secure Protection Service for Business Kaspersky Endpoint Security Cloud ESET Endpoint Security BitDefender GravityZone Business Security BitDefender GravityZone Business Security

Malwarebytes Endpoint Protection Moyenne

Sophos Intercept X

0 s 20 s 40 s 60 s 80 s 100 s 120 s 140 s 160 s

(19)

Test 10 : durée d'exécution des scans planifiés

Le graphique suivant compare la durée moyenne nécessaire aux différents produits de sécurité testés pour exécuter un scan planifié sur le système.

2 960,25 1 737,50

969,75 922,00 908,22 682,75 524,00 261,75 83,00 33,00

0 s 500 s 1,000 s 1,500 s 2,000 s 2,500 s 3,000 s 3,500 s F-Secure Protection Service for Business

Sophos Intercept X Trend Micro Worry-Free Business Security Services McAfee Endpoint Security Average Kaspersky Endpoint Security Cloud ESET Endpoint Security BitDefender GravityZone Business Security Malwarebytes Endpoint Protection Webroot Business Endpoint Protection Webroot Business Endpoint Protection

McAfee Endpoint Security Moyenne

Service de protection F-Secure pour les entreprises Sophos Intercept X

0 s 500 s 1 000 s 1 500 s 2 000 s 2 500 s 3 000 s 3 500 s

(20)

Test 11 : délai de navigation

Le graphique suivant compare le temps moyen nécessaire à Microsoft Edge pour charger successivement un ensemble de sites web populaires via le réseau local et à partir d'une machine serveur locale. Les produits pour lesquels le délai de navigation est plus court sont considérés comme plus performants dans cette catégorie.

41,91 27,59

20,14 19,62 16,24 16,15 15,95 15,66 14,22 13,92

0 s 10 s 20 s 30 s 40 s 50 s

BitDefender GravityZone Business Security Sophos Intercept X Average Trend Micro Worry-Free Business Security Services F-Secure Protection Service for Business Webroot Business Endpoint Protection Kaspersky Endpoint Security Cloud ESET Endpoint Security McAfee Endpoint Security Malwarebytes Endpoint Protection Malwarebytes Endpoint Protection

Trend Micro Worry-Free Business Security Services Service de protection F-Secure pour les entreprises

Moyenne

BitDefender GravityZone Business Security Sophos Intercept X

0 s 10 s 20 s 30 s 40 s 50 s

(21)

Test 12 : copie, déplacement et suppression de fichiers

Le graphique suivant compare la durée moyenne nécessaire au système pour copier, déplacer et supprimer plusieurs ensembles de fichiers avec chacun des produits de sécurité des postes testés. Les produits pour lesquels la durée est plus courte sont considérés comme plus performants dans cette catégorie.

18,95 12,44

8,19 7,61 6,14 5,82 4,42 4,37 4,26 3,94

0 s 2 s 4 s 6 s 8 s 10 s 12 s 14 s 16 s 18 s 20 s

Trend Micro Worry-Free Business Security Services Sophos Intercept X F-Secure Protection Service for Business Average Kaspersky Endpoint Security Cloud Malwarebytes Endpoint Protection BitDefender GravityZone Business Security ESET Endpoint Security Webroot Business Endpoint Protection McAfee Endpoint Security McAfee Endpoint Security

Moyenne Kaspersky Endpoint Security Cloud

Trend Micro Worry-Free Business Security Services Sophos Intercept X

0 s 2 s 4 s 6 s 8 s 10 s 12 s 14 s 16 s 18 s 20 s

(22)

Test 13 : compression et décompression de fichiers

Le graphique suivant compare la durée moyenne nécessaire au système pour compresser et décompresser un échantillon de fichiers avec chacun des produits de sécurité des postes testés. Les produits pour lesquels la durée est plus courte sont considérés comme plus performants dans cette catégorie.

52,69 43,97

43,47 42,24 40,54 40,22 40,12 39,95 39,59 39,58

0 s 10 s 20 s 30 s 40 s 50 s 60 s

Trend Micro Worry-Free Business Security Services Malwarebytes Endpoint Protection Sophos Intercept X Average Kaspersky Endpoint Security Cloud BitDefender GravityZone Business Security ESET Endpoint Security McAfee Endpoint Security F-Secure Protection Service for Business Webroot Business Endpoint Protection Webroot Business Endpoint Protection

Moyenne Kaspersky Endpoint Security Cloud

Sophos Intercept X

Trend Micro Worry-Free Business Security Services Malwarebytes Endpoint Protection

0 s 10 s 20 s 30 s 40 s 50 s 60 s

(23)

Test 14 : création, ouverture et fermeture de fichiers

Le graphique suivant compare la durée moyenne nécessaire au système pour écrire un fichier sur le disque dur, puis l'ouvrir et le fermer 180 000 fois avec chacun des produits de sécurité des postes testés. Les produits pour lesquels la durée est plus courte sont considérés comme plus performants dans cette catégorie.

1 387,03 1 081,18

318,10 144,33 94,76 58,43 52,42 15,35 14,87 14,54

0 s 300 s 600 s 900 s 1,200 s 1,500 s

Trend Micro Worry-Free Business Security Services BitDefender GravityZone Business Security Average Malwarebytes Endpoint Protection Sophos Intercept X ESET Endpoint Security McAfee Endpoint Security Webroot Business Endpoint Protection F-Secure Protection Service for Business Kaspersky Endpoint Security Cloud Kaspersky Endpoint Security Cloud

Malwarebytes Endpoint Protection Sophos Intercept X

Moyenne

Trend Micro Worry-Free Business Security Services BitDefender GravityZone Business Security

0 s 300 s 600 s 900 s 1 200 s 1 500 s

(24)

Test 15 : débit réseau

Le graphique suivant compare la durée moyenne nécessaire au système pour télécharger un échantillon de types de fichiers courants avec chacun des produits de sécurité des postes testés. Les produits pour lesquels la durée est plus courte sont considérés comme plus performants dans cette catégorie.

17,92 12,29

8,99 8,63 7,74 7,64 6,80 6,67 6,60 6,58

0 s 2 s 4 s 6 s 8 s 10 s 12 s 14 s 16 s 18 s 20 s

Trend Micro Worry-Free Business Security Services Kaspersky Endpoint Security Cloud Average Sophos Intercept X Webroot Business Endpoint Protection ESET Endpoint Security BitDefender GravityZone Business Security F-Secure Protection Service for Business Malwarebytes Endpoint Protection McAfee Endpoint Security McAfee Endpoint Security

Sophos Intercept X Webroot Business Endpoint Protection

Moyenne

Trend Micro Worry-Free Business Security Services Kaspersky Endpoint Security Cloud

0 s 2 s 4 s 6 s 8 s 10 s 12 s 14 s 16 s 18 s 20 s

(25)

Exclusion de responsabilité et divulgation

Ce rapport couvre uniquement les versions des produits qui étaient disponibles au moment des tests. Les versions testées sont telles que le décrit la section « Produits et versions » du présent rapport. Les produits que nous avons testés ne constituent pas une liste exhaustive de tous les produits disponibles dans ces catégories très compétitives.

Exclusion de responsabilité

Bien que tous les efforts aient été déployés pour s'assurer de l'exactitude des informations présentées dans le présent rapport, PassMark Software Pty Ltd n'est pas responsable des éventuelles erreurs, omissions ou informations obsolètes qu'il pourrait contenir, et ne saurait être tenu responsable de quelque manière que ce soit de dommages directs, indirects, accidentels, consécutifs ou punitifs qui résulteraient de la disponibilité, de l'utilisation, de l'impossibilité d'utilisation de ces informations ou de l'accès à ces dernières.

Divulgation

La production du présent rapport a été financée par Webroot Inc. Les produits testés et les mesures dont il est question dans le rapport ont été sélectionnés par Webroot.

Marques commerciales

Toutes les marques commerciales sont la propriété de leurs détenteurs respectifs.

Coordonnées

PassMark Software Pty Ltd Level 5

63 Foveaux St.

Surry Hills, 2010 Sydney, Australie

Téléphone + 61 (2) 9690 0444 Fax + 61 (2) 9690 0445

(26)

Annexe 1 : environnement de test

Machine de poste

Modèle : Lenovo H50W-50 i5

Processeur : Processeur Intel Core i5-4460 @ 3,20 GHz

Carte vidéo : NVIDIA GeForce GT 705

Mémoire : RAM 8 Go DDR3

SSD (lecteur de démarrage principal) : Samsung SSD 850 PRO 512 Go

2^e lecteur : Samsung SSD 850 PRO 512 Go

3^e lecteur : Disque dur Seagate 1 To (7 200 tr/min)

Réseau : 1 Gbit/s (connecté via un câble Ethernet Gigabit) Système d'exploitation : Windows 10 Professionnel version 2004

Serveur Web

Le serveur Web n'a pas été évalué directement mais a transféré les pages Web et les fichiers vers le poste pendant les tests de performance.

Carte mère : Intel S1200BTL Server

Processeur : Intel Xeon E3-1220v2 @ 3,10 GHz Carte vidéo : Carte graphique intégrée Intel

Mémoire : 8 Go (2 x 4 Go) de RAM ECC, 1 333 MHz Disque dur : SSD 128 Go

Réseau : 1 Gbit/s (connecté via un câble Ethernet Gigabit) Système d'exploitation : Windows Server 2012 Standard

(27)

Annexe 2 – Description de la méthodologie

Création d'une image Windows 10

Étant donné que les tests étaient réalisés sous Windows 10, nous avons utilisé Macrium Reflect pour créer une image initiale « saine » avant de débuter le test. Notre objectif était de créer une image initiale avec l'empreinte la plus faible possible et de réduire la possibilité de variation causée par les facteurs externes du système d'exploitation.

L'image initiale a été restaurée avant de débuter les tests sur chaque produit. Ce processus nous a permis de nous assurer que tous les produits étaient installés et testés sur une machine identique et « saine ».

Les étapes suivies pour la création de l'image initiale de Windows 10 sont les suivantes : 1. Installation et activation de Windows 10 Pro.

2. Désactivation des mises à jour automatiques.

3. Définition des paramètres de Contrôle de compte d'utilisateur sur « Ne jamais m'avertir ».

4. Désactivation des analyses automatiques Windows Defender pour éviter toute activité imprévue en arrière-plan.

5. Désactivation du pare-feu Windows pour éviter toute interférence avec le logiciel de sécurité.

6. Désactivation de Superfetch pour assurer la cohérence des résultats.

7. Installation de HTTP Watch pour tester le délai de navigation.

8. Installation du kit de déploiement et d'assistance Windows 10 (ADK) pour tester le délai de démarrage.

9. Installation d'Active Perl pour interpréter certains scripts de test.

10. Installez OSForensics à des fins de test (test de taille d'installation).

11. Désactivation des mises à jour Windows.

12. Installation des mises à jour Windows importantes.

13. Création d'une image de base du lecteur de démarrage à l'aide d'OSForensics.

Test 1 : durée d'installation

Ce test mesure la durée d'installation minimale nécessaire à un produit pour être entièrement fonctionnel et prêt à être utilisé par l'utilisateur final. La durée d'installation peut généralement être divisée en trois phases principales :

• La phase d'extraction et de configuration comprend l'extraction des fichiers, l'invite CLUF, l'activation du produit et la configuration des options configurables par l'utilisateur pour l'installation.

(28)

chronomètre était alors arrêté et la saisie notée entre parenthèses dans les résultats bruts après la description de la phase.

Le cas échéant, nous avons décliné ou passé toutes les demandes de pré-analyse ou de scan post-installation.

Lorsqu'il était impossible de passer un scan, la durée du scan a été incluse dans la durée d'installation. Lorsqu'un composant optionnel de l'installation représentait une part raisonnable des fonctionnalités du logiciel, il a également été installé (par exemple, un logiciel de vérification des liens de site Web dans un produit de sécurité).

La durée d'installation inclut le temps nécessaire au programme d'installation du produit pour télécharger les composants requis par l'installation. Cela peut comprendre les mises à jour obligatoires ou la livraison de l'application elle-même à partir d'un gestionnaire de téléchargement. Les produits ayant téléchargé des composants nécessaires à l'installation sont signalés dans nos résultats.

Nous n'avons pas pris en compte les délais d'activation du produit en raison des variations du réseau pour contacter les serveurs fournisseur, ni le temps requis par la création d'un compte. L'installation de chaque produit testé a été réalisée directement sur le poste, soit à l'aide d'un package d'installation indépendant, soit via la console Web du serveur de gestion.

Test 2 : taille de l'installation

La taille de l'installation du produit a déjà été définie comme la différence entre l'instantané initial de l'espace disque (lecteur C:) avant l'installation et l'instantané réalisé après l'installation du produit sur le système. Bien qu'il s'agisse d'une méthodologie très répandue, nous avons remarqué que les résultats obtenus ne sont pas systématiquement reproductibles sous Vista du fait des opérations aléatoires du système d'exploitation qui peuvent survenir entre les deux instantanés. Nous avons amélioré la méthodologie concernant la taille de l'installation autant que le permettaient les variables du système d'exploitation et de l'espace disque.

À l'aide de PassMark OSForensics, nous avons créé des signatures de disque initiale et post-installation pour chaque produit. Ces signatures de disque enregistraient le nombre de fichiers et de répertoires, et complétaient les détails de tous les fichiers sur ce disque (y compris le nom et la taille des fichiers, la somme de contrôle, etc.) au moment de la signature.

La signature de disque initiale a été réalisée juste avant l'installation du produit. La deuxième signature a été réalisée aussitôt après le redémarrage du système, après l'installation du produit. À l'aide d'OSForensics, nous avons comparé les deux signatures et calculé l'espace disque total consommé par les fichiers ajoutés, les fichiers modifiés et les fichiers supprimés au cours de l'installation du produit. Nos résultats concernant cette mesure reflètent la taille totale de tous les nouveaux fichiers ajoutés au cours de l'installation.

Cette mesure s'intéresse uniquement à la taille de l'installation prête à l'emploi de chaque produit. Nos résultats ne comprennent pas la taille des fichiers téléchargés par le produit après son installation (tels que des mises à jour du moteur ou des signatures), ni tous les fichiers créés par les points de restauration du système, les fichiers pré- récupérés et les autres fichiers temporaires.

Test 3 : délai de démarrage

Le logiciel PassMark utilise des outils disponibles dans le Windows Performance Toolkit (composant du kit de déploiement et d'assistance Windows 10, disponible sur le site Web de Microsoft).

(29)

Le test des performances de démarrage (démarrage rapide) est exécuté en tant qu'évaluation individuelle via la Console d'évaluation de Windows. La connexion réseau est désactivée et le mot de passe de connexion est supprimé afin d'éviter toute interruption du test. Le résultat final correspond à la durée totale de démarrage, à l'exception du temps de chargement du BIOS.

Test 4 : utilisation du CPU au repos

CPUAvg est un outil de ligne de commande qui relève la charge CPU deux fois par seconde. À partir de ces relevés, CPUAvg calcule et affiche la charge CPU moyenne sur la période durant laquelle il était actif.

Pour ce test, nous avons utilisé CPUAvg pour mesurer la charge CPU moyenne (en pourcentage) pendant une période durant laquelle le système était inactif sur la base de 500 relevés. Ce test a été réalisé après le redémarrage du poste et après une période d'inactivité de la machine de cinq minutes.

Test 5 : utilisation du processeur lors des scans

CPUAvg est un outil de ligne de commande qui relève la charge CPU environ deux fois par seconde. À partir de ces relevés, CPUAvg calcule et affiche la charge CPU moyenne sur la période durant laquelle il était actif.

Pour ce test, nous avons utilisé CPUAvg pour mesurer la charge CPU moyenne (en pourcentage) au cours du test de durée d'exécution de scans à la demande. Le résultat final correspond à la moyenne obtenue sur la base de cinq séries de trente relevés de charge CPU.

Test 6 : utilisation de la mémoire au repos

Nous avons eu recours à l'utilitaire MemLog++ pour enregistrer l'utilisation de la mémoire par les processus sur le système au démarrage, puis toutes les minutes pendant 15 minutes à partir du démarrage. Cet enregistrement a été réalisé une fois par produit et a donné un total de 15 relevés. Le premier relevé réalisé au démarrage a été rejeté.

L'utilitaire MemLog++ enregistre la consommation de mémoire de tous les processus, pas uniquement ceux du produit anti-malwares. Les processus du produit anti-malwares ont donc dus être isolés des autres processus exécutés. Pour isoler les processus pertinents, nous avons utilisé le programme Process Explorer qui a été exécuté aussitôt après la journalisation par MemLog++ de l'utilisation de la mémoire. Process Explorer est un logiciel Microsoft Windows Sysinternals qui affiche la liste de tous les processus DLL chargés sur le système.

Test 7 : utilisation de la mémoire lors du scan initial

(30)

Test 8 : utilisation de la mémoire lors des scans planifiés

Nous avons eu recours à l'utilitaire MemLog++ pour enregistrer l'utilisation de la mémoire sur le système lors de l'exécution d'un scan planifié de malwares. Veuillez vous référer à la mesure « Utilisation de la mémoire : au repos » ci-dessus pour une description de l'utilitaire MemLog++ et une explication de la méthode de calcul de l'utilisation de la mémoire.

Nous avons configuré un scan planifié sur le poste cible puis, une fois le scan en cours, nous avons lancé MemLog++

afin de permettre à MemLog++ d'enregistrer l'utilisation de la mémoire pendant 120 secondes toutes les 12 secondes.

(31)

Test 9 : durée d'exécution des scans à la demande

La durée d'exécution des scans à la demande correspond au temps qu'il a fallu à chaque produit pour scanner un échantillon de fichiers. L'échantillon utilisé était le même pour tous les produits et contenait un mélange de fichiers système et de fichiers Office. Au total, il comprenait 6 166 fichiers dont la taille cumulée était égale à 982 Mo. La plupart de ces fichiers provenait des dossiers système de Windows. Étant donné que le type de fichier peut influencer la vitesse d'analyse, la répartition des principaux types de fichiers, le nombre de fichiers et la taille totale des fichiers de l'échantillon sont indiqués ci-dessous :

Type de fichier Nombre Taille totale Type de fichier Nombre Taille totale

DLL 2 589 490 Mo FRA 3 880 Ko

EXE 694 101 Mo IQY 3 830 octets

SYS 332 23,3 Mo ISP 3 601 octets

GIF 302 567 Ko ITA 3 930 Ko

DOC 281 64,2 Mo Mo 3 4,36 Mo

WMF 185 1,78 Mo MML 3 771 Ko

PNG 149 1,93 Mo MMW 3 946 Ko

HTM/HTML 126 946 Ko NLD 3 1,11 Mo

CAT 111 7,25 Mo RAR 3 1,91 Mo

NLS 80 6,63 Mo ROM 3 54,1 Ko

JPG 70 1,09 Mo SIG 3 19,8 Ko

INI 59 1,76 Mo SVE 3 993 Ko

ICO 58 58,2 Ko TTF 3 580 Ko

MOF 43 6,12 Mo ACS 2 3,8 Mo

AX 39 4,48 Mo C 2 28,5 Ko

XLS 38 3,62 Mo CMD 2 1,6 Ko

CFG 36 141 Ko LO_ 2 128 Ko

POT 36 2,37 Mo LXA 2 1,19 Mo

IME 35 5 Mo MAP 2 3,72 Ko

DRV 31 1,19 Mo MDB 2 516 Ko

TXT 31 366 Ko MMF 2 1,92 Ko

CHM 30 6,28 Mo MSI 2 1,65 Mo

OCX 30 6,12 Mo NT 2 4,16 Ko

CPL 29 4,42 Mo OBE 2 13,9 Ko

MFL 29 2,62 Mo ODC 2 386 octets

INF 26 1,54 Mo POL 2 488 octets

TLB 25 2,17 Mo RLL 2 112 Ko

DOT 24 1,55 Mo TAB 2 160 Ko

(32)

XSL 14 44,3 Ko DHS 1 138 octets

H 12 56,5 Ko DICT 1 18 Ko

TBL 13 606 Ko DIZ 1 428 octets

AW 12 2,59 Mo DLS 1 3,28 Mo

FAE 12 1,02 Mo DPC 1 414 octets

JS 12 429 Ko ENG 1 751 octets

SCR 12 2,5 Mo GRA 1 182 Ko

VSD 12 1,67 Mo HOL 1 269 Ko

ZIP 11 25,2 Mo HTC 1 28 Ko

[FICHIERS

CACHÉS] 11 - HXX 1 6,55 Ko

PNF 10 1 Mo ICS 1 375 octets

ACM 9 836 Ko IMG 1 66,2 Ko

ICM 9 192 Ko JPN 1 2,01 Ko

LEX 9 10,3 Mo KOR 1 2 Ko

PPT 9 4,46 Mo LOCAL 1 0 octet

MANIFEST 8 5,96 Ko MOD 1 2,03 Ko

UCE 8 240 Ko MST 1 3,99 Mo

ACG 7 780 Ko NVU 1 2,74 Ko

OLB 7 1,34 Mo OPS 1 2,26 Ko

WAV 7 5,03 Mo PAT 1 42 octets

WIZ 7 1,11 Mo PRF 1 6,62 Ko

BIN 6 25 Mo PRO 1 20,7 Ko

GPD 6 112 Ko Mémoire 1 64 octets

CNT 5 4,15 Ko RAT 1 3,09 Ko

DUN 5 2,46 Ko RSP 1 4,19 Ko

MPP 5 1,83 Mo SCF 1 75 octets

PIP 5 12,5 Ko SDB 1 1,03 Mo

SAM 5 305 Ko SDF 1 888 octets

ADM 4 1,64 Mo SLL 1 471 Ko

BAT 4 22,4 Ko SPD 1 1,6 Mo

CPX 4 6,46 Ko SQL 1 748 Ko

FON 4 61,3 Ko SVG 1 77,5 Ko

SCP 4 8,53 Ko THA 1 697 octets

SEP 4 6,79 Ko TPL 1 10,5 Ko

CSS 3 11,4 Ko TRM 1 4 Ko

DEU 3 1,45 Mo VXD 1 81 octets

DTD 3 22,6 Ko WMA 1 2,5 Mo

ENU 3 999 Ko WMV 1 649 Ko

ESN 3 815 Ko WSC 1 39,5 Ko

Total 6 166 982 Mo

Ce scan a été exécuté sans lancer l'interface utilisateur du produit, en effectuant un clic droit sur le dossier test et en sélectionnant l'option « Analyser maintenant ». Pour enregistrer la durée du scan, nous avons utilisé le minuteur de scan ou le système de rapport intégré au produit. Lorsque cela n'était pas possible, la durée du scan a été relevée manuellement à l'aide d'un chronomètre.

Au cours des années de test précédentes, nous avions constaté une différence significative entre la durée du scan initial (premier scan) et la durée des scans suivants (scans 2 à 5) pour beaucoup plus de produits. Nous pensons que ce comportement est dû aux produits eux-mêmes qui mettent en cache les fichiers scannés récemment. En

(33)

moyenne des scans suivants. Le résultat final de ce test correspond donc à une moyenne de la durée moyenne des scans suivants et de la durée du scan initial.

Test 10 : durée d'exécution des scans planifiés

Ce scan a été configuré comme un scan planifié de l'ensemble du système à partir de l'interface utilisateur ou de la console de gestion. Nous avons conservé les paramètres de scan planifié par défaut (à l'exception de l'heure de début) et planifié le scan afin qu'il s'exécute au prochain horaire opportun. Pour enregistrer la durée du scan, nous avons utilisé le minuteur de scan ou le système de rapport intégré au produit. Lorsque cela n'était pas possible, la durée du scan a été relevée manuellement à l'aide d'un chronomètre.

Le scan a été exécuté trois fois et le système a été redémarré entre chaque exécution afin de supprimer les éventuels effets de mise en cache. De par le passé, nous avions constaté une différence significative entre la durée du scan initial (premier scan) et la durée des scans suivants (scans 2 à 5) pour de nombreux produits. Nous pensons que ce comportement est dû aux produits eux-mêmes qui mettent en cache les fichiers scannés récemment. En raison de ce mécanisme, nous avons moyenné les quatre durées d'analyse suivantes pour obtenir une durée moyenne des scans suivants. Le résultat final de ce test correspond donc à une moyenne de la durée moyenne des scans suivants et de la durée du scan initial. Lorsque cette option n'était pas disponible, le produit a été exclu de la mesure et a obtenu la note la plus faible pour ce test.

Test 11 : délai de navigation

Nous avons utilisé un script en association avec HTTPWatch (édition de base, version 9.1.13.0) pour enregistrer le temps nécessaire au chargement consécutif d'un ensemble de 108 sites web « populaires » à partir d'un serveur local. Ce script alimente une liste d'adresses URL dans HTTPWatch, qui indique au navigateur de charger les pages en séquence et contrôle le temps nécessaire au navigateur pour charger tous les éléments de chaque page.

Pour ce test, nous avons utilisé Microsoft Edge (version 89.0.774.57) comme navigateur.

L'ensemble de sites web utilisé pour ce test comprend les premières pages de pages très fréquentées. Cela inclut des sites Web commerciaux, sociaux, informatifs, financiers et de référence.

Le test du délai de navigation a été réalisé cinq fois et le résultat final correspond à une moyenne de ces cinq relevés. Le serveur local a été redémarré entre chaque produit et un test initial a été réalisé avant le test afin d'installer Adobe Flash Player, une extension utilisée par de nombreux sites web populaires.

(34)

Type de fichier Nombre Taille totale

JPG 1 045 135 Mo

GIF 27 82,4 Mo

PNG 5 483 Ko

MOV 7 54,7 Mo

RM 1 5,39 Mo

AVI 24 130 Mo

WMV 5 43,9 Mo

MP3 84 356 Mo

EXE 38 5,62 Mo

DLL 208 56,6 Mo

AX 2 36 Ko

CPL 4 4,02 Mo

CPX 4 8,56 Ko

DRV 20 302 Ko

ICO 2 210 Ko

MSC 2 81,2 Ko

NT 2 3,28 Ko

ROM 4 71,4 Ko

SRC 4 4,28 Mo

SYS 4 88,12 Ko

TLB 6 264 Ko

TSK 2 2,24 Ko

UCE 2 44,8 Ko

Total 1 800 1,57 Go

Ce test a été réalisé cinq fois afin d'obtenir la durée moyenne pour copier, déplacer et supprimer un échantillon de fichiers. La machine du test a été redémarrée entre chaque relevé pour supprimer les éventuels effets de mise en cache.

Test 13 : compression et décompression de fichiers

Ce test mesure le temps nécessaire pour compresser et décompresser un échantillon de fichiers. L'outil CommandTimer.exe nous a permis d'enregistrer le temps nécessaire à 7zip.exe pour compresser les fichiers en un fichier *.zip, puis pour décompresser le fichier *.zip créé.

La répartition des types de fichiers et des numéros dans l'exemple de jeu de données est la suivante :

Type de fichier Nombre Taille totale

Fichiers de documents 78 97,9 Mo

Fichiers images 1 073 113 Mo

Fichiers vidéo 65 568 Mo

Total 1 216 783 Mo

Ce test a été réalisé cinq fois afin d'obtenir la vitesse moyenne de compression et de décompression des fichiers.

La machine du test a été redémarrée entre chaque relevé pour supprimer les éventuels effets de mise en cache.

Test 14 : création, ouverture et fermeture de fichiers

Ce test s'inspire du test File I/O d'Oli Warner disponible à l'adresse http://www.thepcspy.com (voir Référence