PB de récupération de données DATAtourisme sur mutualisé
... / PB de récupération de don...
BMPCreated with Sketch.BMPZIPCreated with Sketch.ZIPXLSCreated with Sketch.XLSTXTCreated with Sketch.TXTPPTCreated with Sketch.PPTPNGCreated with Sketch.PNGPDFCreated with Sketch.PDFJPGCreated with Sketch.JPGGIFCreated with Sketch.GIFDOCCreated with Sketch.DOC Error Created with Sketch.
question

PB de récupération de données DATAtourisme sur mutualisé

Par
FabriceP23
Créé le 2024-09-23 11:11:37 (edited on 2024-11-18 11:09:47) dans Hébergement Web-old

Bonjour,

Sur un hébergement mutualisé, j'essaye de récupérer un flux de données de DATAtourisme par la commande :
file_get_contents("https://diffuseur.datatourisme.fr/webservice/b8300f90ed345e428732df10a71f9f7d/f708a82d-c588-49a9-b3d7-xxxxxxxxxxxxx");
Et cela me renvoie une erreur 504 Gateway time out.

Par contre, si j'utilise la même commande pour récupérer un flux de données de TourInFrance ou Intramuraos
file_get_contents("https://api-v3.tourinsoft.com/api/syndications/cdt22.tourinsoft.com/8aa98432-72e8-4eba-b2cf-deb61eecf1c8?format=json");
cela fonctionne !

J'ai essayé en passant par du Curl, mais j'ai le même résultat.

Je me suit renseigné côté DATAtourisme, mais il ne bloque pas mon IP et ne reçoivent pas mes requêtes.
Donc le problème semble venir du côté d'OVH !
Cela fonctionne sur un VPS d'OVH.

Le support OVH, me dit de passer sur du VPS ou de me démerder ! Donc support = 0 !

Si quelqu'un peu m'aiguiller vers une réponse cohérente ?
Merci.


19 réponses ( Latest reply on 2024-11-18 11:10:57 Par
janus57
)

Bonjour @FabriceP23

Pas forcément, il peut y avoir des règles beaucoup plus strictes de protection sur les hébergements mutualisés OVH


504 Gateway time out.


Essayez un peu avec une adresse raccourcie https://diffuseur.datatourisme.fr/webservice/xxx
qui doit renvoyer un 404 et pas un 504

Je ne vois pas qui renvoie ce 504: OVH ou datatourisme.fr ?

Messieurs,

Je suis d'accord que les règles sur un mutua sont souvent plus strictes.
Mais cela ne me permet pas de comprendre pourquoi il bloquerais DATAtourisme.

L'erreur 504 est généré par mon hébergement car la commande n'a pas de réponse.


L'erreur 504 est généré par mon hébergement


Puisque vous le dites.

Faites un ticket incident auprès d'OVH.

C'est ce que j'ai fait.
Mais la réponse du support est :
> Je comprends votre préoccupation et le problème auquel vous êtes confronté. Néanmoins, votre demande d'utilisation de cette commande dépassant le cadre des services que nous fournissons à nos clients, je vous informe que notre support ne peut vous accompagner sur ce sujet.

> Je vous recommande alors de contacter un webmaster qui pourra vous aider dans ce domaine.

> En complément, je vous mets à disposition notre marketplace ainsi qu'une liste de partenaires maîtrisant nos offres OVHcloud via ces liens :
> - Marketplace OVHcloud : marketplace.ovhcloud.com/
> - Partenaires OVHcloud approuvés : partner.ovhcloud.com/fr/directory/

> En cas de besoin, la communauté OVHcloud qui regroupe développeurs et utilisateurs est activement présente sur notre forum : https://community.ovh.com.

Donc ils doivent penser que les personnes sur le forums sont plus expérimentés et ont plus de connaissances qu'eux et qu'elles pourront répondre à cette question.

Bonjour,

et un simple curl cela fonctionne (exemple : https://janus57.fr/curl_test.php) ?

Cela ressemble a un bann de datatourisme de l'ip du cluster.

Cordialement, janus57


Donc ils doivent penser que les personnes sur le forums sont plus expérimentés et ont plus de connaissances qu'eux et qu'elles pourront répondre à cette question

Non @FabriceP23, pas du tout.
Seulement tes questions sortent du périmètre du support car elle concernent que la gestion de ton hébergement que tu es sensée savoir faire.

Non en Curl, ça donne le même résultat.
Et non, l'IP n'est pas bloquée par DATAtourisme.

Et oui ce code marche sur d'autre mutualisée qu'OVH.

Bonjour,


Et oui ce code marche sur d'autre mutualisée qu'OVH.


Et non, l'IP n'est pas bloquée par DATAtourisme.


comment vous pouvez en être sûr ?

Cordialement, janus57


Et non, l'IP n'est pas bloquée par DATAtourisme.


Quelle est votre IP, d'après vous ?
(il ne me semble pas que vous ayez donné votre nom de domaine, donc on n'a aucune piste)

Bonjour,

si j'ai trouvé le bon site, celui-ci est sur le cluster010, donc il faut demander à datatourisme s'il ont pas banni "51.68.11.211".

Car je viens de tester via un lien de @Fritz2cat, un curl sur le cluster021 fonctionne mais pas le 010 ("Connection timed out after 60000 milliseconds"), cela je conforte dans mon idée que l'IP a été bloqué car OVH essaye d'avoir la même configuration sur tous les cluster, donc si le blocage était côté OVH il serait sur l’ensemble du mutu normalement.

**EDIT :**
Vous avez bien indiqué la mauvaise IP dans ce topic : https://support.datatourisme.fr/t/importation-du-flux-impossible/2637/18

Cordialement, janus57


si j'ai trouvé le bon site, celui-ci est sur le cluster010



Et non, l'IP n'est pas bloquée par DATAtourisme.


J'ai aussi trouvé votre site. (enfin, je pense)
Attention, votre certificat SSL contient 72 noms de domaine et il y a une limite de 99, imposée par Let's Encrypt (et non par OVH).

Bonjour,

Désoler pour le temps de réponse.

> si j'ai trouvé le bon site, celui-ci est sur le cluster010, donc il faut demander à datatourisme s'il ont pas banni "51.68.11.211".

Oui, je suis bien sur le cluster10, mais quand je regarde dans mon manager OVH, j'ai l'adresse IP 2001:41d0:1:1b00:213:186:33:19 et quand je fais un ping sur mon nom de domaine, je récupère bien la même adresse IP.

Dans les prochains jours je vais essayer sur 2 autres mutualisé d'OVH et je vous redis.

Bonjour,


Oui, je suis bien sur le cluster10, mais quand je regarde dans mon manager OVH, j'ai l'adresse IP 2001:41d0:1:1b00:213:186:33:19 et quand je fais un ping sur mon nom de domaine, je récupère bien la même adresse IP.

c'est l'ip d'entrée et non de sortie (Cf : https://help.ovhcloud.com/csm/fr-web-hosting-clusters-ip-addresses?id=kb_article_view&sysparm_article=KB0052378)


Dans les prochains jours je vais essayer sur 2 autres mutualisé d'OVH et je vous redis.

sur le cluster021 cela fonctionne (vous pouvez tester ici : https://janus57.fr/curl_test.php)

Cordialement, janus57


sur le cluster021 cela fonctionne


J'ai un domaine dont je m'occupe, qui est aussi sur cluster010.

Peux-tu me donner ton script ou un fragment ?
Edit: je peux me flageller, c'est sur la page


Oui, je suis bien sur le cluster10


J'ai testé l'accès à https : / / datatourisme depuis plusieurs hébergements sur différents clusters avec le script de @janus57 (merci à lui)

Verdict:

cluster010: Connection timed out after 60000 milliseconds
cluster013: Connection timed out after 60000 milliseconds
cluster012: ok
cluster017: Connection timed out after 60000 milliseconds

Voili voulou c'est du n'importe quoi chez OVH

Bonjour,


Voili voulou c'est du n'importe quoi chez OVH

ou chez datatourisme qui bloque car certains ont abusé sur les crawl depuis des adresses mutu (déjà vu).

Cordialement, janus57


ou chez datatourisme qui bloque car certains ont abusé sur les crawl depuis des adresses mutu (déjà vu).


Tu as probablement raison car quand je teste une adresse https improbable référencée nulle part, ça fonctionne.

Bonjour,


Tu as probablement raison car quand je teste une adresse https improbable référencée nulle part, ça fonctionne.

si tu essaye avec "https://info.datatourisme.fr" qui est sur un autre de leur serveur => fonctionne
+ le fait que c'est pas identique chez OVH selon le cluster (alors que les clusters sont managé par les même outils d'automation) => pour moi il y a 1% de chance que le blocage est côté OVH.

**EDIT 21h25:**
Tiens l'ip de mon VPS de test est banni chez eux (j'ai essayé de mettre en place un proxy pour voir si en passant a travers mon proxy cela fonctionne de nouveau sur le cluster010)

**EDIT 26/09/2024 à 5h58 :**
Si je test avec mon proxy, depuis le cluster010 (merci @Fritz2cat pour la mise à dispo), j'ai bien une réponse:
[code]
HTTP/1.1 301 Moved Permanently
server: nginx
date: Thu, 26 Sep 2024 03:57:25 GMT
content-type: text/html
content-length: 178
location: https://www.datatourisme.fr/webservice/b8300f90ed345e428732df10a71f9f7d/
content-security-policy: default-src 'self' 'unsafe-inline' ; style-src 'self' https://fonts.googleapis.com 'unsafe-inline' ; img-src 'self' *.openstreetmap.org data:
strict-transport-security: max-age=34560000; preload
x-frame-options: DENY


301 Moved Permanently

301 Moved Permanently



nginx



[/code]
Mais vu que j'ai fait ça à l'arrache, leur système détecte que je passe pas par leur FQDN et me redirige vers leur FQDN ou là cela ne fonctionne plus après.

**EDIT 27/09/2024 à 18h42 :**
Mon VPS est de nouveau bloqué, je ne sais pas si c'est chez eux ou leur hébergeur mais il y a clairement quelque chose qui fait du filtrage.
[code]
root@vps-test:~# curl -I https://diffuseur.datatourisme.fr
curl: (28) Failed to connect to diffuseur.datatourisme.fr port 443 after 130989 ms: Couldn't connect to server
[/code]

Cordialement, janus57