Architecture du prototype

Afin de tester les différents cas d’étude, une plateforme a été mise en place. Cette plateforme comprendra comme élément central le système de traitement de flux Apache Flink. Les données que nous voulons analyser doivent prendre la forme de flux. Nous avons retenu une source permettant de lire un fichier sous la forme d’un flux. Le choix est justifié dans la section suivante. Un fichier de simulation servira donc de point d’entrée. À la sortie, Flink transmettra les données dans un fichier de sortie sous la forme d’un flux. Finalement, un autre programme contrôlera la séquence de tests et la récupération des données de performance. Les sections suivantes décrivent brièvement les différentes parties de l’architecture du prototype.

DataStream<String> kafkaGeoStreamInputMV = env.addSource(new FlinkKafkaConsumer010<>(topic, new SimpleStringSchema(), properties))

.name("KafkaSimCar") .setParallelism(2)

DataStream<MovingVehicleSE> SimCarGeoStream = kafkaGeoStreamInputMV .flatMap(new flatMaptoMovingVehicle())

.name("toMovingVehicle")

DataStream<MovingVehicleSE> SimCarGeoStreamFuturePath =SimCarGeoStream .map(new maptoLine(nbMilliSecondePourAnalyse)) .name("toLine") DataStream<MovingVehicleSE>SimCarGeoStreamFuturePathHash = SimCarGeoStreamFuturePath .flatMap(new flatMapGeoHash8(hashLevelAnalyse)) .name("GeoHash-8") .setParallelism(parallelism)

DataStream<ColisionDensity> SimCarWarning = SimCarGeoStreamFuturePathHash .keyBy(new KeySelectorPartitionID())

.timeWindow(Time.of(intersectionWindowMillisecond, TimeUnit.MILLISECONDS)) .apply(new IntersectionWindowQuadTree(hashLevelReport))

.name("IntersectionWindow") .setParallelism(parallelism)

Page 60

Outil d automatisation des tests

Moniteur de (contre-pression)

Moniteur de performances

(métrique)

Outil d automatisation des tests

Moniteur de (contre-pression) Moniteur de performances (métrique) Flink Maitre Flink Esclave Flink Esclave Flink Esclave Flink Esclave Flink Esclave Flink Cluster Flink Maitre Flink Esclave Flink Esclave Flink Esclave Flink Esclave Flink Esclave Flink Cluster Fichiers de simulation Simulateur de jeux de données Simulateur de jeux de données Flink Esclave

Récupération des indicateurs du système Envoie de la séquence de test

Fichiers jar Fichiers log Fichier de sortie

Figure 27 Architecture de la plateforme de tests

3.3.1 Simulateur de jeux de données

Pour obtenir des données permettant de réaliser les traitements décrits dans les divers cas d’études, un simulateur de données a été créé. Le simulateur permet de créer des points à un intervalle d’une seconde sur un trajet aléatoire suivant les réseaux routiers du Québec et de l’Ontario. Ces trajets ont été créés en prenant deux points aléatoires, mais ayant une distance minimale de 50 km, et en déterminant le chemin le court entre ceux-ci. Par la suite, des points, à un intervalle d’une seconde, ont été extraits le long du trajet en prenant une vitesse approximative de 50 km/h. Chacun des points du trajet a été aléatoirement décalé entre 1 à 2 mètres pour simuler la précision d’un GPS. Une portion de 15 minutes sur ce trajet a été extraite comme source d’information pour le simulateur. Environ 120 000 trajets de ce type ont ainsi été générés pour un total d’environ 100 millions de points.

Deux méthodes permettant d’introduire les points dans le système ont été évaluées. La première méthode consistait à utiliser la plateforme Kafka en amont comme source de données. Les points auraient alors été transmis par un simulateur en temps réel vers Kafka et Flink aurait puisé dans Kafka afin d'obtenir les données à traiter. L’autre méthode consistait à placer une copie du fichier de points sur les nœuds esclaves et à utiliser ce fichier comme source de flux. Les deux méthodes ont été testées, mais la deuxième est celle qui a finalement été retenue, car elle correspondait plus à un test de charge, car le débit était plus intense. Elle permettait aussi d’éliminer certains facteurs externes, comme la bande passante utilisée par la source des données ainsi qu'une plateforme externe à celle étant testée. Cependant, avec la méthode utilisée, le débit est supérieur à une position par véhicule par seconde. Comme nous le verrons plus tard, des débits supérieurs à 500 000 positions par secondes ont été obtenus. La figure suivante montre l’étendue du jeu de données utilisé par le simulateur.

Page 61

Figure 28 Étendue spatiale du jeu de données pour les tests

Le format du jeu de données est sous forme textuelle. Chaque enregistrement comprend les informations suivantes :

 L’identifiant du véhicule;

 Le numéro de séquence de la transmission;  La latitude et la longitude en WGS84;  La vitesse en mètre par seconde;  La direction.

La figure suivante représente un extrait du jeu de données.

Page 62

3.3.2 Cluster Flink

Le cluster Flink est composé d’un nœud maitre (master) et de 6 nœuds esclaves (slaves). Chacun des nœuds est installé sous une plateforme Linux CentOS 7 dans un environnement virtualisé à l’aide du logiciel Oracle VirtualBox. Windows 10 est le système d’exploitation des ordinateurs hôtes. Ceux-ci ont tous été installés à partir de la même image. Les ordinateurs sont de marque Dell Optiplex 790 avec un processeur i7-2600 à 3,40 GHz. Chacune des machines Linux virtuelles possède 8 Gb de mémoire vive et 4 processeurs. Les cartes réseau sont toutes de 1 Gb/s ainsi que le commutateur réseau. La version 1.2 de Flink a été utilisée pour ces tests.

3.3.3 Moniteur de performance

Afin de surveiller et d’archiver le déroulement des tests, nous avons créé deux programmes en Python. Le premier permet de récupérer les informations de contre-pression des opérateurs à l’aide de requêtes envoyées à l’interface REST du nœud maitre. Le deuxième programme permet de récupérer les métriques produites par le cluster par une adaptation Python de l’interface STATSD. Ces informations seront utilisées pour l’analyse des résultats. Finalement, pour normaliser et pour soustraire l’erreur humaine durant les tests, nous avons également conçu un programme servant à automatiser les tests en Python. Ce programme télécharge le code Flink (fichier jar) au serveur Flink. Il lance ensuite la commande de démarrage du programme et démarre les deux programmes du test précédents. Après quatre minutes, il lance une séquence d’arrêt, archive les résultats et démarre le prochain test.