Moissonneur FTP avec CSV de métadonnées

Ce moissonneur permet aux utilisateurs de créer des jeux de données à partir d'un répertoire FTP.

Il se connecte via FTPS (en mode explicite sur le port 21) si disponible, ou FTP si demandé dans l'URL fournie.

Le répertoire FTP doit contenir :

• Un fichier CSV de métadonnées (séparé par des points-virgules par défaut)

• Plusieurs ressources

• (Facultatif) plusieurs fichiers de schéma CSV

Le moissonneur FTP avec métadonnées CSV ne prend en charge que le codage UTF-8.

Le fichier CSV de métadonnées (nommé index.csv par défaut) est un fichier dont les valeurs sont séparées par des points-virgules (par défaut) et qui contient :

• Une ligne d'en-tête

• Plusieurs autres lignes, chacune dédiée à un jeu de données à moissonner

Exemple:

name;title;description;theme;keyword;source_dataset;schema_file
Row ID 1;Chocolate bars database;"A database of chocolate bars";Health;Chocolate;chocolate.csv;schema_chocolate.csv
Row ID 2;Venture Capital Investments;Venture capital industry statistics.;Economy, Business;"Venture capital;Investments;IPO;Acquisitions";investments.json;

• La colonne name doit contenir un identifiant unique pour chaque ligne. Si le CSV ne contient pas de colonne title, la valeur de name est utilisée comme titre du jeu de données.

  Notez que name ne définit pas les identifiants techniques des jeux de données moissonés, qui sont produits automatiquement par la plateforme sur la base du title, ou du name si le title n'est pas défini.

• La colonne de ressource CSV ( source_dataset par défaut) contient la ressource pour chaque ligne.

• La colonne de schéma CSV facultative (ici, schema_file ) contient le fichier de schéma pour chaque ligne.

• Toutes les autres colonnes sont des métadonnées (voir le tableau ci-dessous pour la liste complète des noms de colonnes acceptés).

Utilisez des guillemets doubles au début et à la fin des listes comme keyword, où vous devez utiliser des points-virgules pour séparer les mots (par exemple "keyword1;keyword2" ).

Le tableau ci-dessus présente les modèles les plus courants, mais vous pouvez utiliser les champs de tout modèle de métadonnées activé sur votre portail, comme DCAT-AP ou Dublin Core. Nommez la colonne de la même façon que dans les lignes DCAT ou INSPIRE : l'ID technique du modèle, un point, puis l'ID technique du champ. Par exemple, une colonne nommée dublin-core.title renseigne le titre du modèle Dublin Core.

Si vous omettez la colonne modified ou la laissez vide, le moissonneur renseigne la métadonnée "Afficher la date de modification" du jeu de données avec la date de dernière modification du fichier de ressource sur le serveur FTP. Cela ne fonctionne que pour les fichiers présents sur le serveur FTP, pas pour les ressources indiquées par une URL.

Pour plus d'informations sur les métadonnées standard, consultez Métadonnées standard.

La colonne geographic_reference_auto définit si la couverture géographique du jeu de données est calculée automatiquement et accepte une valeur booléenne :

La colonne geographic_reference définit l'emplacement utilisé pour la couverture géographique du jeu de données, ce qui signifie que les métadonnées de couverture géographique du jeu de données sont définies sur Spécifique. Cette colonne geographic_reference contient un tableau d'identifiants uniques de références géographiques correspondant à des emplacements.

Les identifiants uniques de références géographiques utilisent les syntaxes suivantes basées sur la référence :

• {{country code}} est un code de pays à deux lettres défini dans la norme ISO 3166-1 alpha-2. Par exemple, fr pour la France.

• {{administrative-level}} est un niveau administratif pour le pays. Par exemple, 40 est le niveau administratif des régions françaises. Pour plus d'informations sur les niveaux administratifs disponibles pour le pays souhaité, voir ici.

• {{administrative division}} est la division administrative relative au sein du niveau administratif du pays. Par exemple, 11 est le code de la région française d'Île-de-France.

Vous pouvez récupérer le code de division administrative désiré comme suit :

1. Rendez-vous dans la documentation.

2. Dans le tableau à la fin de la section, sélectionnez un pays et un niveau administratif.

3. Dans la ligne du tableau associé, cliquez sur le lien dans la colonne URL du jeu de données pour ouvrir le référentiel géographique associé et obtenir le code de division administrative souhaité.

Les ressources peuvent être soit :

• Fichiers sur le serveur FTP, dans le même dossier que le fichier index.csv , ou sous un sous-répertoire en spécifiant le chemin d'accès relatif du fichier dans la colonne (par exemple "ressources/chocolat.csv")

• Une URL pointant vers un format pris en charge

Si la colonne est vide, le jeu de données ne contiendra que des métadonnées.

Pour associer plusieurs fichiers au même jeu de données, indiquez-les tous dans la même cellule, séparés par des points-virgules. Comme pour les listes de mots-clés, entourez la cellule de guillemets doubles, par exemple "chocolat_2024.csv;chocolat_2025.csv". Le moissonneur ajoute alors chaque fichier au jeu de données comme une ressource distincte. Cela ne fonctionne que pour les fichiers présents sur le serveur FTP : une URL est toujours traitée comme une seule ressource.

Les ressources, si elles sont dans un format pris en charge par la plateforme, peuvent être moissonnées. Cependant, étant donné que le moissonneur s'appuie largement sur la détection automatique de paramètres pour la connexion du connecteur, les fichiers doivent être relativement simples pour être extraits.

Pour chaque ressource, le dossier FTP peut contenir un fichier de schéma CSV qui définit les labels et les descriptions pour chaque champ du jeu de données.

Le nom de fichier de chaque fichier de schéma doit être écrit dans la colonne de schéma CSV. Ce fichier a les spécifications suivantes :

• Une colonne name contient chaque nom de champ en minuscules (par exemple, sur une ressource CSV, il s'agirait des noms de colonne en minuscules)

• Une colonne label (facultative) contient le label du champ correspondant

• Une colonne description (facultative) contient la description du champ correspondant

name;label;description
company;Company;The company that makes the bar
ref;Reference;The product id of the chocolate bar

Les fichiers de schéma n'ont pas besoin de contenir une ligne pour chaque champ, et il n'est pas nécessaire de fournir un fichier de schéma pour chaque jeu de données dans index.csv. Dans ce dernier cas, laissez la cellule correspondante vide.