L'outil de collecte des statistiques des téléchargement est un microservice développé en java proposant une API REST qui alimente un index de données ElasticSearch. ElasticSearch est un moteur d'indexation de données déjà utilisé pour la recherche des métadonnées des méta-catalogues Dinamis et Theia. L'idée générale de l'outil est qu'à chaque fois qu'un utilisateur lance un téléchargement via le navigateur, le service REST est appelé et un nouveau document représentant cet événement de téléchargement est ajouté à l'index ElasticSearch.

Il nous est apparu primordial de développer un service le plus générique possible pouvant être réutilisé pour tout autre catalogue CNES ou IRD permettant le téléchargement d'archives et pour lesquels une perspective géo analytique est pertinente.

Ainsi l'outil de collecte utilise un modèle de données dynamique, il sait ajouter à l'index Elasticsearch tout objet JSON, comportant une partie fixe et une partie dynamique, si ce dernier est conforme au mapping de l'index dont le nom est défini dans sa configuration.

L'outil s'interface exclusivement avec un cluster Elasticsearch.

Une entrée en base contient un id auto-généré (au format UUID), des données sur le client ayant lancé la requête de téléchargement (browser, hostname et ip) ainsi que le corps JSON initialement fourni à la requête de stockage.

Le service est sécurisé par un proxy Nginx. Le module "auth_request" de Nginx est utilisé pour tout appel au service es_recorder afin de vérifier la validité du token envoyé au service.

L'outil offre deux APIs.

Cette API permet d'ajouter, de supprimer et de lire des entrées dans la base de données.

• Endpoint

POST /records/{index}

• Description

Enregistre une nouvelle entrée dans l'index spécifié dans le path du endpoint.

• Paramètres

• Content type

Accepte et retourne "application/json;charset=utf-8"

• Response

Un JSON contenant l'id auto généré: {"id":"xxxx"}

• Endpoint

GET /records/{index}/{id}

• Description

Retourne l'entrée correspondant à l'id.

• Paramètres

• Content type

Accepte et retourne "application/json;charset=utf-8"

• Response

Un JSON l'objet demandé s'il existe.

• Endpoint

DELETE /records/{index}

• Description

Efface les données contenant le champ=valeur spécifié en paramètre (par exemple effacer les données dont le champ "foo" a pour valeur "bar"). Permet d'effacer par id ou tout autre champ.

• Paramètres

• Content type

Accepte et retourne "application/json;charset=utf-8"

• Response

Un message confirmant la suppression.

L'API Swagger fournit une interface web pour tester l'API ainsi que des schémas standard de description d'API:

L'appel au service se fait directement par l'application front-end qui fournit le service dont on veut suivre les statistiques (le téléchargement dans le cas présent)

Schéma fonctionnel de l'outil de collecte

Architecture globale

Le schéma ci-dessus résume l'architecture globale :

• THEIA Frontend : actuel interface méta-catalogue Theia
• DINAMIS Frontend : actuel interface méta-catalogue Dinamis
• THEIA Backend : actuel serveur Arlas Theia
• DINAMIS Frontend : actuel serveur Arlas Dinamis
• Download Recorder : l'outil de collecte présenté dans ce document
• Elasticsearch : actuel cluster Elasticsearch
• Download Analytic Platform : stack Arlas d'exploration des statistiques
• XXX Frontend : toute application front-end qui voudrait collecter des données et les analyser avec une solution de géo-exploration de données