¶ Accès à l'interface
Lorsque votre jeu de données est créé, vous pouvez appliquer une ou plusieurs transformation au jeu de donnée depuis l'onglet Administration :
¶ Liste des transformations
¶ Ajout de champ
Cette transformation permet de créé un nouveau champ vide en choisissant son nom. Il est également possible de définir une valeur par défaut pour ce champ.
Exemple de création d'un champ vide "new_field" :
Le nouveau champ apparait bien dans le jdd :
¶ Concaténer du texte
La transformation "Concaténer du texte" permet de créé un nouveau champs dont le contenu est la concaténation 2 champs existants.
Il est nécessaire de choisir le nom du nouveau champs, les 2 champs à concaténer.
Il est également possible de définir un séparateur entre les contenus des 2 champs ainsi qu'une valeur par défaut.
Exemple d'ajout d’un champ « new_concat » qui es la concaténation du code postal et de la ville, séparer par un tiret entouré d’espaces :
Le nouveau champ apparait et le contenu est la concaténation du code postal et de la ville :
¶ Point géographique
Cette transformation permet de créé un point à partir d'une colonne lattitude, une colonne longitude ainsi que qu'un code EPSG.
En nommant ce nouveau champ « geo_point_2d » une carte avec les points va être produite
Exemple de création d’un champ « geo_point_2d » à partir des champs lat et lon, avec le code EPSG 4326 :
Un nouveau champ apparait bien, de plus un onglet « Carte » est désormais disponible avec les points :
¶ Supprimer un enregistrement
Cette transformation permet de supprimer des lignes correspondant à la valeur définie pour un champ.
Exemple de suppression pour les enregistrements dont la valeur du champ « statut » est « En service » :
Il n’y a plus de ligne dont le statut est « En service » :
¶ Extraire d'un JSON
Cette transformation permet la création d’un nouveau champ à partir d'un champ JSON.
Exemple pour la création d'un champ « new_json » à partir du chemin « courses » du champ « json » :
Un nouveau champ est bien créé et son contenu est celui du chemin « courses » :
¶ Déplier un tableau JSON
Cette transformation permet de créé un champ à partir d'un tableau JSON.
Exemple de création d’un champ « deplier_json » à partir du tableau json « c7 » :
Plusieurs enregistrements sont produits, la valeur du nouveau champ « deplier_json » correspondant bien au différentes parties du champ « c7 » :
¶ Déplier les champs à valeur multiples
Cette transformation permet de créé un nouveau champ à partir d'un autre en définissant le séparateur de ce champ.
Exemple de création d’un champ « new_deplier » à partir du champ « adm_lb_nom » avec un espace comme séparateur :
Le nouveau champ est créé et plusieurs enregistrement sont créé avec une séparation pour la valeur « FREE MOBILE » :
¶ Extraire du texte
Cette transformation permet la création d'un nouveau champ à partir d'une partir d'un champ existant à utilisant une expression régulière.
Exemple de création d’un champ « new_extract » à partir du champ « adm_lb_nom » lorsque celui-ci commence par un F :
Le champ est créé avec le contenu extrait du champ correspondant :
¶ Point Kilométrique
Cette transformation permet de créer un nouveau champ géographique (point ou polyligne) à partir d'un ou de deux points kilométriques.
Un jeu de données de référence est utilisé et peut être mis à jour (voir configuration de la plateforme). Une correspondance entre le jeu de données de référence et les "données transformées" puis un calcul de distance pour obtenir les coordonnées des objets géographique. Cela se fera vis-à-vis de deux ou trois informations :
- Code de la ligne -
obligatoire - Premier point kilométrique (point kilométrique de début) -
obligatoire - Dernier point kilométrique (point kilométrique de fin) -
facultatif
¶ Point kilométrique de début (sans PK de fin)
Lorsque la configuration se fait sans point kilométrique de fin (uniquement avec un seul point kilométrique donc), la valeur retournée sera calculée grace à :
- La distance entre le point kilométrique de début de référence et le point kilométrique des données transformées.
- La distance totale du polyligne de référence
- La forme du polyligne de référence
Prenons l'exemple ci-dessous :
- Fichier CSV d'exemple, avec un code de ligne et un point kilométrique de début seulement :
- Intégration du fichier au sein de la plateforme :
- Configuration de la transformation pour récupérer le premier point du polyligne de référence
Attention, il est conseillé d'utiliser le nom de champ
geo_point_2dafin qu'une visualisation de type carte soit générée (onglet).
Résultat :
¶ Avec point kilométrique de fin
Dans le cas où nous utilisons un point de début et de fin (et un code de ligne), la transformation permet de générer, au choix :
- Un champ géographique de type point : cf la description ci-dessus.
- Un champ géographique de type polyligne : le polyligne sera calculé à partir du polyligne de référence et des distances entre des point kilométrique (référence vs données transformées).
Attention, il est conseillé d'utiliser le nom de champ
geo_shapeafin qu'une visualisation de type carte soit générée (onglet).
Également, afin que les données degeo_shapes'affichent au sein de la visualation cartographique, il est nécessaire d'avoir une colonnegeo_point_2dexistante au sein de la même ressource du jeu de données.
- Exemple :
¶ Géocoder les adresses
Cette transformation permet la création d'un nouveau champ géographique (point) à partir d'une adresse. Cela nécessite un champ contenant l'adresse à géolocaliser ainsi qu'un champ code postal OU code Insee.
Exemple de géolocalisation d'adresse :
Le nouveau champ « geo_point_2d » est créé, cela permet de générer une visualisation (onglet) de type Carte :
¶ Extraire les données d'un tableau JSON
Cette transformation permet de créé un nouveau champ à partir du contenu d'un tableau JSON en choississant la position de l'élément à extraire.
L'index du 1er élément est 0, l'index du 2ème est 1, etc...
Exemple de création d’un champ « tableau_json » à partir du 2ème élément du tableau json « c7 » (position 1) :
Le champ est bien créé et contient le 2ème élément du tableau json « c7 » :
¶ Normaliser WGS84
Cette transformation permet de créé un nouveau champ géographique au format WGS84 à partir d'un champ coordonnée et du code EPSG de ces coordonnées.
Exemple de création d’un champ « new_wgs84 » à partir d’un champ coordonnées au format EPSG 4326 :
Le champ est bien créé avec le contenu attendu :
¶ Normaliser une URL
Cette transformation permet de normaliser une URL.
Exemple d'un fichier de départ contenant des URL à normaliser :
Normalisation du champ « url_to_normalize » contenant des URLs :
Voici le résultat après exécution de l'algorithme :
¶ Remplacer du texte
Cette transformation permet de remplacer du texte à l'intérieur d'un champ par un autre texte défini.
Exemple de remplacement du texte « SFR » par « SSFR » dans le champ « adm_lb_nom » :
Le texte est bien remplacer dans le champ souhaité :
¶ Remplacer avec expression régulière
Cette transformation permet de remplacer du texte à l'intérieur d'un champ par un autre texte défini en fonction d'un expression régulière.
Exemple de remplacement du texte commençant par « FREE » dans le champ « adm_lb_nom », sans distinction de casse par « orange » :
Le texte est bien remplacé dans le champ souhaité :
¶ Division Administrative
A détailler
¶ Séparer du texte
Cette transformation permet de créé un nouveau champ à partir d'une partie d'un champ existant en définissant le séparateur de celui-ci ainsi que la position de la partie à extraire.
L'index du 1er élément est 0, l'index du 2ème est 1, etc...
Exemple de création d’un champ « lattitude » à partir de la 2ème partie du champ « coordonnees » séparé par un point :
Le champ lattitude est bien créé :
¶ Liste des systèmes d'organisation
¶ Jointure
L'organisation de type jointure permet de récupérer des valeurs de colonnes depuis un jeu de données de référence afin de les ajouter au jeu de données en cours de transformation.
Ci-dessous l'exemple d'un jeu de données et d'une jeu de données de référence correspondant à une dimansion (id / valeur) :
-
Fichier du jeu de données à transformer (colonne id_dim à joindre) :
-
Jeu de données de référence (colonne id à jointe, colonne valeur à ajouter) :
-
Configuration de la transformation d'une jointure de type
LEFT JOINdepuis le premier jeu de données :
La colonne valeur s'est rajoutée au jeu de données initial :
