Nicolas BOMBOURG – Findout

(1)

Comment ES permet d’organiser le flux de mégadonnées d’une cellule de veille ?

17.06 Nicolas BOMBOURG – Findout

[email protected]

(2)

Que voyez-vous ?

(3)

De nouvelles technologies au service de la veille

•  Analytics

•  Modeling

•  Learning Algorithm

•  Big data infrastructure (Index, NoSQL…)

•  Parallele Computing

•  Data Processing

•  Market Research

Market Intelligence Data Science

IT Big Data

(4)

Exemple d’utilisation d’ES

Permettre aux Cellule de Veille d’identifier, annoter et partager

les statistiques et rapports publiés par les Sources Officielles

Filtre

Contextualisation Index

200M documents Crawl

3M rapports

40M tableaux & graphs 300M séries Statistiques 250 K+ sources

2 M urls

(5)

ES couvre 3 besoins

1.  Construire des index 2.  Classer des résultats

3.  Assurer Performance, Stabilité, Disponibilité, et

Scalabilité

(6)

Quels sont nos challenges ?

•  Insertions et suppressions d’information en continu

•  Mises à jour régulières

–  Métadonnées recalculées tous les trimestres –  Nouvelles métadonnées crées en permanence

•  Formats hétérogènes

–  Rapports entiers vs Chapitres vs News –  Tableaux Pdf vs Statistiques vs Datasets

(7)

SOLUTION

(8)

4 raisons de choisir ES

1.  Pour la gestion du volume de données 2.  Pour gagner en agilité au niveau de

l’infrastructure

3.  Pour la finesse du mapping et du requêtage

4.  Pour ses avantages face à SolR

(9)

IMPLEMENTATION

(10)

2 phases d’intégration…..

•  Déploiement

–  Difficulté : Compétences

•  Croissance

–  Difficulté : Volume

…..4 étapes

(11)

1er Définir les environnements

●  Qu’est-ce qu’un environnement ?

●  Quels sont les environnements autour d’ES ?

○  Cluster de développement

○  Cluster de Test

○  Cluster de recherche de nos outils et de nos clients (Production)

(12)

2 ^ème Affiner les algos de classement

•  Qu’est-ce que le ranking selon ES ?

•  Que permet ES ?

–  Exposer le fonds documentaire –  Diversifier les résultats

–  Faire découvrir les nouveautés

⇒ Nous avons monté un projet Search UX en interne

(13)

3 ^ème Mettre à jour les index

•  Qu’est-ce que les index selon ES ?

•  Pourquoi faut-il les mettre à jour ?

•  Combien de temps faut-il pour mettre à jour un index ?

–  Etudes de marché, 3M de rapports, 1TB, 3 jours

(14)

4 ^ème Mettre à jour les versions

●  Comment fonctionne le versioning d’ES ?

●  Pourquoi faut-il les mettre à jour ?

-  Améliorer les temps de réponses qui peuvent s’allonger

-  Mieux comprendre les raisons d’un crash

-  Identifier plus facilement les requêtes fautives -  Bénéficier du support le plus en pointe

⇒  Choisir à partir de l’ES 2.x pour éviter les incompatibilités avec les versions 1.7 et précédentes

(15)

Nos utilisateurs ne veulent que la dernière info, peu importe le format

•  …nous devons relever 2 nouveaux challenges 1.  Anticiper les changements sur la longue traine

est difficile

2.  Le nombre d’utilisateurs utilisant notre solution

(16)

Questions ?