megalis-bretagne/opendata-extraction

URL des délibérations

Closed this issue · 17 comments

Les PDFs concernant les délibération génèrent des liens qui mènent vers du 404. Ils ne sont donc pas consultables.

Cause probable: Des espaces dans les noms des fichiers PDF se déportent sur les URL auto-générés

Testé sur: Ville de Rennes (beaucoup de cas) et Rennes Métropole (aucun cas détecté).

Cordialement,
Ben Lister
Chargé de mission open data Rennes Métropole

@lvinsonneau Tu n'as pas le bon encodage dans excel. Il faut utiliser utf8, sinon tu vas avoir des problème avec les accents
Le lien que tu as utilisé se trouve dans le fichier suivants:

COLL_NOM;COLL_SIRET;DELIB_ID;DELIB_DATE;DELIB_MATIERE_CODE;DELIB_MATIERE_NOM;DELIB_OBJET;BUDGET_ANNEE;BUDGET_NOM;PREF_ID;PREF_DATE;VOTE_EFFECTIF;VOTE_REEL;VOTE_POUR;VOTE_CONTRE;VOTE_ABSTENTION;DELIB_URL
"COMMUNE DE LOQUEFFRET";"21290141715";"0705202122";"2022-01-27";"3.5";"Autres actes de gestion du domaine public";"vente poulfoan";"";"";"";"";"";"";"";"";"";"https://data.megalis.bretagne.bzh/OpenData/212901417/Deliberation/2022/vente parcelle d970 à poulfoan-tampon.pdf"
"COMMUNE DE LOQUEFFRET";"21290141715";"04020221";"2022-02-08";"7.1";"Decisions budgetaires";"demande subventions voirie";"";"";"";"";"";"";"";"";"";"https://data.megalis.bretagne.bzh/OpenData/212901417/Deliberation/2022/delib subventions voirie-tampon.pdf"
"COMMUNE DE LOQUEFFRET";"21290141715";"04020222";"2022-02-08";"7.1";"Decisions budgetaires";"subventions chaudière";"";"";"";"";"";"";"";"";"";"https://data.megalis.bretagne.bzh/OpenData/212901417/Deliberation/2022/changement chaudière-tampon.pdf"
"COMMUNE DE LOQUEFFRET";"21290141715";"0402202212";"2022-03-07";"7.10";"Divers";"financement chaudiere";"";"";"";"";"";"";"";"";"";"https://data.megalis.bretagne.bzh/OpenData/212901417/Deliberation/2022/financement chaudière-tampon.pdf"

Lorsque j'ouvre dans excel je choisis encodage utf8

image

OK, merci @yguenneugues .
@ListerRM : as-tu moyen de gérer l'encodage de l'URL dans ton cas de réutilisation des données opendata ?

Bonjour,

Oui, et je suis déjà en UTF8. Le problème vient des URLs pré-générés avec des espaces dedans (et des caractères spéciaux)
CaptureDelibVdR

Une solution serait peut-être d'encoder en html le nom de la délibération.
Exemple
https://data.megalis.bretagne.bzh/OpenData/213502388/Deliberation/2022/DCM2022-0017%20-%20Personnel%20%E2%80%93%20Avenant%20n1%20%C3%A0%20la%20convention%20cadre%20de%20financement%20et%20de%20fonctionnement%20ASMR%20en%20date%20du%201er%20avril%202021%20-tampon.pdf

A la place de :
https://data.megalis.bretagne.bzh/OpenData/213502388/Deliberation/2022/DCM2022-0017 - Personnel – Avenant n1 à la convention cadre de financement et de fonctionnement ASMR en date du 1er avril 2021 -tampon.pdf

Bonjour @ListerRM ,
En effet on constate bien le problème lié à l'utilisation dans le portail https://data.rennesmetropole.fr/
Open Data Soft (c'est bien ce produit qui est derrière ?) ne gère pas cela correctement semble-t-il.

En curl, wget ou dans un navigateur en direct ça passe bien. Depuis Excel aussi.

Bref, on va encoder les blancs de l'URL et cela devrait résoudre le problème.

encodage de l'url de la délibération fait dans le SDCL

installé en preprod

Merci @yguenneugues
@ListerRM : c'est OK pour toi ?

@yguenneugues J'ai répondu par mail mais c'est pas passé. J'utilise seulement l'URL publique et j'ai toujours ce soucis d'URL pour la ville. Donc si c'est en preprod j'ai pas accès pour le coup.

Merci

Effectivement @ListerRM , cela devrait être mis en production d'ici peu par @yguenneugues

installé en production aujourd'hui

vous pouvez tester avec l'api:
exemple l'url ci-dessous permet de générer votre SCDL des délibération pour l'année 2022
https://data-api.megalis.bretagne.bzh/api/v1/scdl/deliberation/212901417/2022

J'ai testé directement avec ODS et ca fonctionne très bien, merci!

@ListerRM : de quoi parles-tu précisément ?
Tu veux dire que ce qui marchait le 13 mai dernier, n'est plus opérationnel ?

@lvinsonneau j'ai écrit ce commentaire il y a des mois (en avril) et c'est réglé depuis. Aucune idée pourquoi il affiche "il y a une heure". A ignorer donc!

OK, merci Ben @ListerRM !