Ceci est un guide pas à pas pour verser de nouveaux fichiers sur OpenRefine. Il vise à guider les premières personnes souhaitant tester les nouvelles fonctionnalités de téléversement. Ces instructions seront plus faciles à suivre si vous avez déjà utilisé OpenRefine, ou si vous l’avez vu en fonctionnement.

Nous avons conscience que ce processus est encore peu grossier et basique, et nous espérons simplifier un peu le processus avant fin octobre 2022 (date de fin de notre bourse auprès de la Fondation Wikimedia) en ajoutant des fonctionnalités et des textes d’aide dans l’interface.

Est-ce que certaines instructions de ce document vous paraissent peu claires ? Il vous manque une étape ? Merci de l'ajouter comme commentaire dans le document en anglais, et de pinger sandra.fauconnier@gmail.com pour une réponse rapide.

Si vous découvrez des bugs sur OpenRefine en versant des fichiers, merci, merci, merci de faire un rapport sur GitHub (après avoir vérifié que le bug n’a pas déjà été mentionné). Vous pouvez aussi pinger Sandra si c’est utile de rapporter ce bug, ou si vous n’en êtes pas sûr·e.

💎 Amusez-vous bien!!

Table des matières

1 Télécharger et installer OpenRefine

Pour verser des fichiers sur Wikimedia Commons, il vous faut OpenRefine 3.7 ou une version plus récente.

OpenRefine 3.7 est encore en développement, vous aurez donc besoin de télécharger ce qui s’appelle une ‘snapshot release’ (instantané quotidien du code le plus “à jour”). YVous pourez trouver une snapshot release pour votre système d’exploitation sur https://github.com/OpenRefine/OpenRefine#snapshot-releases.

Si vous êtes sous Windows, alors choisissez la version Windows avec le JRE (Java Runtime Environment) embarqué^[a], il fonctionnera mieux dans votre système.

Comme vous serez en train d’utiliser du code tout frais non encore testé, il est utile de sauvegarder votre directoire de projets OpenRefine^[b] si vous avez des projets passés importants que vous voulez éviter de perdre.

Vous trouverez davantage d’instructions pour le téléchargement et l’installation dans la documentation d’OpenRefine: https://docs.openrefine.org/manual/installing et https://docs.openrefine.org/manual/running 

2 Commencer un projet OpenRefine contenant (au moins) une colonne de chemins d’accès aux fichiers ou d’URLs

Il n’y a pas (encore) de bouton sur OpenRefine avec lequel ouvrir et sélectionner une liste de fichiers depuis votre ordinateur avec lequel ouvrir et sélectionner une liste de fichiers dans votre ordinateur, vous devrez donc remplir manuellement cette liste sur OpenRefine, Voici comment procéder :

2.1 Préparer une liste de fichiers à verser. A quoi doit-elle ressembler ?^[g]

2.1.1 Je veux verser des fichiers depuis mon ordinateur/un disque local

Vous aurez besoin de localiser les fichiers dans votre Finder / navigateur de fichiers sur votre ordinateur local, et copier leur chemin d’accès absolu.

• Sur Windows, les chemins d’accès absolus ressemblent à : C:\Documents\Foldername\filename.pdf

• (instructions for retrieving file paths for Windows users)

• Sur un Mac, les chemins d’accès absolus ressemblent à : /Users/yourusername/Foldername/Otherfoldername/filename.jpg

• Vous pourrez afficher le chemin d’accès d’un fichier (ou d’une liste de fichiers) en le(s) cherchant dans le Finder, le(s) sélectionnant, clic droit puis en appuyant la touche alt/option. Vous verrez apparaître des changements dans le menu contextuel, dont l’option “Copier nnn comme chemin d’accès”^[h]. Choisissez cette option; ^[i]le(s) chemin(s) sera alors sauvegardé dans votre presse-papier et vous pourrez le(s) coller dans un document ou directement sur OpenRefine (“start project from Clipboard^[j][k]”). Voir les instructions ici (en anglais) (notez que vous pouvez aussi procéder de cette manière pour une liste entière ou des fichiers sélectionnés sans avoir à répéter l’opération pour chaque élément)

2.1.2 Je veux téléverser des fichiers à partir d’URLs des internets^[l]

Dans ce cas, vous devrez commencer par vérifier que l’URL du domaine est sur la liste d’autorisations de Wikimedia Commons. Vous pouvez vérifier si un domaine est déjà listé sur cette page, et trouver les instructions sur comment ajouter un domaine qui n’y figure pas encore ici :

https://commons.wikimedia.org/wiki/Commons:Upload_tools/wgCopyUploadsDomains 

Assurez-vous d’avoir la liste des URLs des fichiers que vous souhaitez verser. Il faut que vous ayez les URLs des fichiers eux-mêmes, et non des URLs de page web contenant les images à verser.

2.2 Créer un projet OpenRefine

Vous pouvez maintenant utiliser votre liste de fichiers pour commencer un projet OpenRefine. N’importe laquelle des manières suivantes fonctionne : coller la liste depuis le presse-papier, l’importer depuis un fichier csv, une feuille de calcul,^[m] ou (si vous aimez l’aventure) depuis un fichier XML ou une API.

Voir la documentation d’OpenRefine pour plus d’instructions : https://docs.openrefine.org/manual/starting 

Exemple: coller une liste de chemins de fichiers depuis le presse–papier

Bien sûr, il faudra aussi ajouter d’autres (méta)données à ces fichiers. Vous pouvez ajouter ces métadonnées dans des colonnes additionnelles sur votre feuille de calcul^[n]/projet OpenRefine. Peut-être avez-vous déjà une feuille de calcul^[o] avec une partie de ces données dessus - ça fonctionne également !

Quelles données avez-vous besoin d’inclure dans le projet ? Les explications sont dans le point 3.

3 S’assurer d’avoir toutes les données (dans des colonnes) dont vous avez besoin pour un téléversement complet

Quelles colonnes ai-je besoin de créer ou d’avoir dans mon projet OpenRefine?

Vous avez au minimum besoin des colonnes suivantes (le nom/titre de la colonne n’a aucune importance, mais vous aurez besoin d’avoir les colonnes contenant les informations suivantes):

• Chemin d’accès local ou URL menant vers le(s) fichier(s) à téléverser (voir instructions ci-dessus)
• Nom du fichier tel que vous souhaitez qu’il apparaisse sur Wikimedia Commons

• C’est le nom sous lequel vous voulez que le fichier apparaisse sur Wikimedia Commons, par exemple, pour ce fichier le nom de fichier est Johann Adam Klein - Cossacks Eat a Meal in the Field (1819), Thorvaldsens Museum E721,6.jpg
• Veuillez ne pas ajouter de préfixe, ni  File: ni  Fichier: dans OpenRefine.
• Mais il faut ajouter l’extension de fichier, par ex. .jpg, .ogg, .pdf
• Il est prudent de donner des noms de fichiers descriptifs ; cela rend vos fichiers plus attirants et faciles à découvrir/trouver. Cf les conventions de nommage sur Commons.
• Les noms de fichiers doivent être uniques (c.àd. Ne pas déjà exister sur Wikimedia Commons, et il ne faut pas qu’il y ait deux fichiers avec le même nom sur votre projet).

• Wikitexte

• Le wikitexte que doit avoir chaque fichier. C’est encore obligatoire sur Wikimedia Commons. Voir plus bas les conseils et exemples pour le wikitexte.

• Et au moins une colonne supplémentaire contenant les données structurées que vous souhaitez ajouter aux fichiers.

• Ci-dessous des données structurées “de base” à inclure :

• Date de création/de fondation (du fichier, soit date de création du fichier, précision au jour près, par exemple 2022-05-23)
• Fichier créé par (spécifier nom de la personne qui a créé le fichier)
• Source (du fichier)
• Statut des droits d’auteur (du fichier): soit ‘soumis aux droits d’auteur^[p]’ ou ‘domaine public’ (voir la page data modeling page on copyright and licenses pour plus d’informations)
• Conditions d’utilisation (du fichier), par ex. ‘CC-BY 4.0’
• Ce qui apparaît dans le fichier - (propriété Wikidata “Dépeint”)

• Il est aussi utile d’avoir:

• Une légende de fichier dans au moins une langue

Conseils et exemples pour le wikitexte

Vous pouvez inclure tout wikitexte souhaité directement dans OpenRefine. Assurez-vous d’inclure au moins un modèle d’infobox, de conditions d’utilisation, et il est recommandé de donner à chaque fichier au moins une catégorie.

Il devient de plus en plus fréquent que les modèles d’infobox sur Wikimedia Commons deviennent (partiellement ou entièrement) soutenus par du code Lua, ce qui signifie que vous pouvez vous contenter d’un wikitexte très simple : le contenu des modèles sera automatiquement rempli à partir des données structurées et lié aux éléments Wikidata correspondants. C’est le cas pour des modèles fréquemment utilisés, tels que {{Information}}, {{Artwork}}, {{Art photo}}, et {{Book}}. Ce n’est pas encore le cas pour {{Photograph}}, {{Specimen}}, {{Map}}, entre autres. Allez chercher des exemples pour vous servir d’inspiration !

Il est toujours sage de faire un petit versement test (ex. un fichier étoilé de votre lot à verser^[r]) pour adapter et prévisualiser à quoi ressemblera le fichier versé sur Commons.

Voici quelques exemples de wikitexte simple et utile que vous pouvez ajuster et réutiliser. Plus loin, la section de construction de schéma contient des conseils et des liens pour la modélisation des données structurées.^[s]

4 Réconcilier les colonnes de données structurées pertinentes avec Wikidata

Les données structurées sur Commons décrivent des dossiers sur Commons en utilisant des éléments et propriétés Wikidata (propriétés comme éléments sont multilingues).

Peut-être que certaines de vos colonnes correspondent à des éléments Wikidata. Il vous faudra les réconcilier avec les éléments en question, pour aider OpenRefine à comprendre qu’il faut lier des contenus de colonnes aux éléments Wikidata correspondants. Les contenus peuvent correspondre à des colonnes telles que

• Auteur (si l’élément Wikidata correspondant à l’auteur existe)
• Conditions d’utilisations et licences
• Éléments décrits dans le fichier : chose, œuvre, lieu, espèce, personne…

Vous allez réconcilier ces colonnes avec le service de réconciliation de Wikidata, en anglais, ou dans toute autre langue pertinente (en général, cela fonctionne bien en anglais). Sur OpenRefline, le service de réconciliation avec Wikidata en anglais est installé par défaut. Vous trouverez plus d’informations sur comment réconcilier l’information ici : https://docs.openrefine.org/manual/wikibase/reconciling et ici : https://www.wikidata.org/wiki/Wikidata:Tools/OpenRefine/Editing/Tutorials/Basic_editing 

Vous trouverez le menu de réconciliation sous menu > Reconcile > Start reconciling…

Choisissez le service de réconciliation Wikidata reconci.link (en), ou consultez la documentation pour utiliser le service dans une autre langue.

Dans l’exemple ci-dessous, les fichiers vidéos versés sont des vieux films d’animation (dans le domaine public). La colonne “film” est réconciliée avec Wikidata (chaque film a son propre élément Wikidata).

Cela permet de réconcilier les titres de films. Lorsque votre souris passe au-dessus dess liens en bleu, un pop-up avec des éléments issus de Wikidata apparaît (attention: ça bugue parfois).

5 Réconcilier les noms de fichiers avec Wikimedia Commons

⚠️ Cet étape paraît étrange et contraire à la raison, mais elle est nécessaire pour dire à OpenRefine de verser les nouveaux documents (en versant vos fichiers)^[t] sur Wikimedia Commons.

Lorsque vous avez créé une colonne avec des noms de fichiers (tels que vous souhaitez qu’ils apparaissent sur Wikimedia Commons), procédez de la sorte :

Commencez le processus de réconciliation en sélectionnant Reconcile > Start reconciling… dans le menu de la colonne ‘filename’.

Si vous n’avez pas encore installé le service de réconciliation avec OpenRefine, cliquez sur le bouton ‘Add standard service…’ et collez le lien https://commonsreconcile.toolforge.org/en/api dans la barre. Vous trouverez plus d’infos et de documentation sur le service de réconciliation de Comons sur ce lien : https://commonsreconcile.toolforge.org/ 

Cliquez ensuite ‘Start reconciling…’ (vous pouvez ignorer tous les messages de cette fenêtre, il faut juste cliquer)

La réconciliation fera apparaître des noms de fichiers non-reconnus (car les fichiers n’existent pas encore sur Wikimedia Commons). C’est ce qui est attendu ! Ensuite, dans le menu de votre colonne filename, sélectionnez :

Reconcile > Actions > Create a new item for each cell.

Vos résultats devraient ressembler à ce que l’on voit sur la capture d’écran ci-dessus. La colonne ‘filename’ a été réconciliée avec Wikimedia Commons. Nous avons indiqué qu’OpenRefine doit créer un nouvel élément pour chaque nom de fichier (chaque entrée de la colonne ‘filename’). Vous pouvez voir que cela a fonctionné parce qu’il y a une ligne verte plus claire sous le nom de la colonne, et chaque cellule de la colonne a une couleur verte claire, ce qui correspond à un nouveau libellé. 

C’est parfait !

6 Ajouter le Wikimedia Commons Wikibase manifest^[u] à OpenRefine

Afin de pouvoir éditer Wikimedia Commons avec OpenRefine, vous aurez besoin d’ajouter le le Wikimedia Commons Wikibase manifest (pour résumer : une forme de fichier de paramètres avec des informations clés sur Wikimedia Commons qui informe OpenRefine comment éditer et ajouter des données sur Commons). Voici comment procéder :

En haut à droite de la fenêtre de projet OpenRefine, dans le menu de l’extension Wikidata/Wikibase, sélectionnez l’option ‘Selectionnez une instance de Wikibase…’.

Si vous n’avez pas déjà travaillé sur d’autres Wikibases, vous verrez apparaître une fenêtre de dialogue qui ne propose que Wikidata. Si vous ne trouvez pas Wikimedia Commons dans cette fenêtre, sélectionnez le bouton en bas à gauche ‘Ajoutez une Wikibase’.

Collez https://raw.githubusercontent.com/OpenRefine/wikibase-manifests/master/wikimedia-commons-manifest.json dans la barre d’URL, puis cliquez ‘Ajoutez une Wikibase’.

Vous pouvez ensuite cliquer sur Wikimedia Commons, la ligne deviendra bleue et sera positionnée en haut de la liste, ce qui signifie que vous avez sélectionné Wikimedia Commons comme Wikibase qu’OpenRefine éditera. Vous pouvez maintenant fermer cette fenêtre de dialogue en cliquant sur le bouton ‘Close’.

7 Construire son schéma

Il s’agit maintenant de préparer vos modifications / téléversements sur Wikimedia Commons. Dans cette étape, vous allez construire un schéma qui structure les données à téléverser sur Wikimedia Commons. Cette capture d’écran donne un exemple :

Etape par étape :

Cliquez sur l’onglet ‘Schéma’ dans la barre bleue au-dessus de votre jeu de données, ou allez sur le menu de l’extension Wikidata/Wikibase et sélectionnez ‘Edit Wikibase schema’. Vous aurez d’abord une fenêtre de schéma vide.

Cliquez sur le lien à droite ‘+ add media’. Plusieurs champs vont apparaître :

Vous pouvez maintenant taper à la main et/ou tirer jusque dans les boîtes toutes les informations que vous souhaitez avoir dans les fichiers.^[v]

• Dans le champ principal (dans lequel on lit ‘type entity or drag reconciled column here’), vous allez glisser-déposer votre colonne ‘filenames’ réconciliée (qui apparaît comme nouvelle) (cf instructions dans la section 5). Noter : cette colonne DOIT avoir une ligne verte (qui prouve que la réconciliation a été faite).
• File path: glisser-déposer dans ce champ la colonne ‘file path’ (qu’il s’agisse de chemins d’accès aux fichiers ou d’URLs)
• File name: ici, de nouveau, vous allez glisser-déposer la colonne avec les noms de fichiers tels que vous souhaitez qu’ils apparaissent sur Wikimedia Commons
• Wikitext: glisser-déposer votre colonne de Wikitexte ici.
• Captions: Si vous avez créé une colonne avec des légendes, vous pouvez la glisser/traîner ici. Assurez-vous d’ajouter la langue correspondante.

• Statements (déclarations) : cliquez sur ‘+add statement’ pour ajouter les déclarations de données structurées une par une. Voici des exemples de bonnes déclarations de bases sont (cf aussi la section 3 S’assurer d’avoir toutes les données…):

• date de fondation ou de création (P571) (date de création du fichier, pas de l’objet qui s’y trouve) - voir https://commons.wikimedia.org/wiki/Commons:Structured_data/Modeling/Date pour quelques conseils
• Créé par (P170) (personne qui a créé le fichier) - voir https://commons.wikimedia.org/wiki/Commons:Structured_data/Modeling/Author pour quelques conseils
• source du fichier (P7482) - voir https://commons.wikimedia.org/wiki/Commons:Structured_data/Modeling/Source pour quelques conseils
• Statut des droits d’auteur (P6216) (du fichier) - https://commons.wikimedia.org/wiki/Commons:Structured_data/Modeling/Copyright 
• Conditions d’utilisation (P275) (du fichier) - https://commons.wikimedia.org/wiki/Commons:Structured_data/Modeling/Copyright 
• dépeint (P180), attention, pour les œuvres choisir aussi “sujet principal” et “représentation numérique de”^[w] - https://commons.wikimedia.org/wiki/Commons:Structured_data/Modeling/Depiction et https://commons.wikimedia.org/wiki/Commons:Structured_data/Modeling/Depiction#Works_of_art 

8 Se connecter et verser ses fichiers !

Dans le menu de l’extension Wikibase, sélectionnez ‘Upload edits to Wikibase…’ et connectez-vous à Wikimedia Commons avec votre nom d’utilisat-eur-rice. OpenRefine vous incitera à utiliser un bot de mots de passe, mais ce n’est pas nécessaire, et vous pouvez ignorer cette invitation. Donnez un résumé de modifications descriptif. Pas besoin de changer la valeur maxlag. Cliquez sur ‘Upload edits’ et votre versement va commencer.

Plus d’informations : https://docs.openrefine.org/manual/wikibase/uploading 

Les fichiers que vous avez versé devraient apparaître dans la catégorie https://commons.wikimedia.org/wiki/Category:Uploaded_with_OpenRefine et sur votre historique de contributions/imports sur Wikimedia Commons.