¶ Intégration de jeux de données par lot
¶ À quoi sert cette fonctionnalité ?
L’intégration par lot permet de créer ou mettre à jour plusieurs jeux de données en une seule opération.
Elle est utile lorsque vous devez intégrer plusieurs fichiers dans la plateforme, par exemple :
- plusieurs fichiers CSV ;
- plusieurs ressources à rattacher à des jeux de données ;
- un ensemble de fichiers préparés à l’avance dans une archive ZIP ;
- des jeux de données avec des métadonnées différentes.
La fonctionnalité se trouve dans l’interface d’administration :
Administration D4C > Ajout d'un jeu de données > Collecte de jeux de données par lot
¶ Deux modes sont disponibles
¶ 1. Intégration simple
À utiliser lorsque les fichiers déposés peuvent partager les mêmes informations principales.
Dans ce mode, vous renseignez directement dans le formulaire :
- la licence ;
- l’organisation ;
- les fichiers à intégrer.
Ce mode est adapté pour une intégration rapide.
Exemple d’usage :
Je veux déposer plusieurs fichiers dans la même organisation, avec la même licence.
¶ 2. Intégration avec modèle
À utiliser lorsque chaque fichier doit être configuré précisément.
Dans ce mode, vous devez déposer :
- un fichier modèle avec l’extension
.model; - les fichiers de données à intégrer ;
- ou une archive
.zipcontenant les fichiers de données.
Le fichier .model indique à la plateforme :
- quel fichier intégrer ;
- dans quel jeu de données ;
- avec quelle licence ;
- dans quelle organisation ;
- avec quel titre ;
- avec quelle description ;
- avec quels mots-clés ou thèmes ;
- et éventuellement avec quel type spécifique de jeu de données.
Ce mode est recommandé pour les intégrations préparées à l’avance.
¶ Préparer une intégration avec modèle
¶ Étape 1 — Télécharger le modèle
Dans le formulaire, cliquez sur :
Télécharger le modèle de fichier d’intégration
La plateforme télécharge un fichier .model.
Ce fichier contient uniquement les colonnes attendues.
¶ Étape 2 — Compléter le fichier modèle
Le fichier modèle contient les colonnes suivantes :
type,dataset_id,resource_id,update_metadata,dataset_title,license,organisation,is_private,description,keywords,themes,format,data,layer,authentication,key,key_name
Toutes les colonnes doivent rester présentes, même si certaines sont laissées vides.
¶ Colonnes importantes à remplir
¶ Colonnes principales
| Colonne | À quoi ça sert ? | Exemple |
|---|---|---|
dataset_id |
Identifiant du jeu de données à créer ou mettre à jour | urbanisme_foncier_commune |
resource_id |
Identifiant de la ressource à mettre à jour | Peut rester vide |
dataset_title |
Titre visible du jeu de données | Urbanisme et foncier communal |
license |
Licence du jeu de données | etalab-2.0 |
organisation |
Organisation propriétaire | ma-collectivite |
is_private |
Indique si le jeu de données est privé | true ou false |
description |
Description du jeu de données | Texte libre |
format |
Format du fichier intégré | CSV, XLSX, GeoJSON |
data |
Nom du fichier à intégrer | urbanisme_foncier.csv |
¶ Colonne type
La colonne type sert à préciser le type particulier de jeu de données.
Elle peut être laissée vide pour un jeu de données classique.
Valeurs possibles :
| Valeur | Usage |
|---|---|
| vide | Jeu de données classique |
visualization |
Jeu de données lié à une visualisation |
api |
Jeu de données de type API |
sftp |
Jeu de données de type SFTP |
Dans la majorité des cas, laissez cette colonne vide.
¶ Colonne update_metadata
Cette colonne indique si les métadonnées du jeu de données doivent être mises à jour.
| Valeur | Effet |
|---|---|
true |
Les métadonnées du jeu de données sont mises à jour |
false |
Seul le fichier ou la ressource est traité |
Utilisez true lorsque vous créez un nouveau jeu de données ou lorsque vous souhaitez mettre à jour son titre, sa description, ses mots-clés, sa licence ou son organisation.
Utilisez false lorsque vous souhaitez uniquement remplacer ou ajouter un fichier sans modifier les métadonnées existantes.
¶ Colonnes facultatives
| Colonne | Usage |
|---|---|
keywords |
Mots-clés associés au jeu de données |
themes |
Thématiques associées au jeu de données |
layer |
Nom de couche, utile pour certains fichiers géographiques |
authentication |
Type d’authentification si la donnée est protégée |
key |
Clé ou jeton d’accès |
key_name |
Nom du paramètre ou de l’en-tête d’authentification |
Si vous intégrez simplement un fichier CSV local, ces colonnes peuvent généralement rester vides.
¶ Exemple simple de modèle
type,dataset_id,resource_id,update_metadata,dataset_title,license,organisation,is_private,description,keywords,themes,format,data,layer,authentication,key,key_name
,urbanisme_foncier_commune,,true,Urbanisme et foncier communal,etalab-2.0,ma-collectivite,false,Données communales sur le foncier et l’urbanisme.,foncier|urbanisme,Aménagement|Foncier,CSV,urbanisme_foncier.csv,,,,
Cette ligne signifie :
- créer ou mettre à jour le jeu de données
urbanisme_foncier_commune; - utiliser le titre
Urbanisme et foncier communal; - rattacher le jeu de données à l’organisation
ma-collectivite; - appliquer la licence
etalab-2.0; - rendre le jeu de données public ;
- intégrer le fichier
urbanisme_foncier.csv; - déclarer le fichier au format CSV.
¶ Préparer les fichiers à déposer
Vous pouvez déposer :
- le fichier
.model; - les fichiers de données un par un ;
- ou un fichier
.zipcontenant les fichiers de données.
Exemple recommandé :
integration.model
urbanisme_foncier.csv
logement_habitat.csv
friches.csv
Ou bien :
integration.model
donnees.zip
Dans tous les cas, les noms indiqués dans la colonne data du modèle doivent correspondre aux fichiers déposés.
¶ Formats de fichiers acceptés
La plateforme accepte notamment les formats suivants :
csv, json, xlsx, geojson, zip, gml, pdf, txt, jpg, png, doc, xls
Pour une intégration de données tabulaires, privilégiez :
CSV;XLSX;GeoJSON.
¶ Lancer l’intégration
Une fois les fichiers déposés :
- sélectionnez le type d’intégration ;
- ajoutez le fichier
.modelsi vous utilisez l’intégration avec modèle ; - ajoutez les fichiers de données ou l’archive ZIP ;
- cliquez sur :
Créer les jeux de données
La plateforme lance alors le traitement.
Selon la taille des fichiers, l’intégration peut prendre du temps.
¶ Après l’intégration
À la fin du traitement, la plateforme affiche des messages indiquant si :
- le jeu de données a été créé ;
- le jeu de données a été mis à jour ;
- une ressource a été ajoutée ;
- une ressource est encore en cours d’insertion ;
- une erreur est survenue.
En mode avec modèle, un fichier de résultat est également généré.
Il permet de récupérer les informations produites pendant l’intégration, notamment les identifiants créés ou mis à jour.
¶ Points de vigilance
¶ Vérifier les noms de fichiers
Le nom renseigné dans la colonne data doit correspondre au fichier déposé.
Exemple :
data
urbanisme_foncier.csv
Le fichier déposé doit donc bien s’appeler :
urbanisme_foncier.csv
¶ Ne pas supprimer les colonnes du modèle
Même si certaines colonnes ne sont pas utilisées, elles doivent rester présentes dans le fichier.
Ne supprimez pas de colonne.
¶ Bien renseigner l’organisation et la licence
En intégration avec modèle, la licence et l’organisation sont lues depuis le fichier .model.
Vérifiez donc que les colonnes suivantes sont correctement remplies :
license,organisation
¶ Utiliser des identifiants clairs
Pour faciliter la maintenance, utilisez des identifiants courts, lisibles et stables.
Exemples :
urbanisme_foncier_commune
logement_habitat_commune
friches_cartofriches
Évitez les noms trop génériques :
test
data
fichier1
nouveau_dataset
¶ Tester avec peu de fichiers
Avant une grosse intégration, il est conseillé de tester avec :
- un fichier
.model; - un seul fichier de données.
Une fois le test validé, vous pouvez relancer l’intégration complète.
¶ Résumé rapide
Pour une intégration simple :
- choisir
Intégration simple; - sélectionner une licence ;
- sélectionner une organisation ;
- déposer les fichiers ;
- cliquer sur
Créer les jeux de données.
Pour une intégration avec modèle :
- choisir
Intégration à l’aide d’un modèle; - télécharger le modèle ;
- compléter le fichier
.model; - déposer le fichier
.model; - déposer les fichiers de données ou un ZIP ;
- cliquer sur
Créer les jeux de données.
¶ Exemple minimal à retenir
type,dataset_id,resource_id,update_metadata,dataset_title,license,organisation,is_private,description,keywords,themes,format,data,layer,authentication,key,key_name
,mon_jeu_de_donnees,,true,Mon jeu de données,etalab-2.0,mon-organisation,false,Description du jeu de données.,motcle1|motcle2,Theme,CSV,mon_fichier.csv,,,,