Configuration Cloud Disk Array avec serveur Proxmox

HerveT 2016-11-02 14:33:39 UTC #1

Bonjour,
J'ai souscris la semaine passée à l'offre Cloud Disk Array afin de disposer d'un cluster de stockage pour nos serveurs Proxmox et stocker les images de nos VMs. Pour la configuration, j'ai suivi les guides OVH et en particulier https://docs.ovh.com/gb/en/cloud/ceph/use-your-cluster-with-rbd.
Lors de la vérification de la configuration par la commande rbd -n client.myuser list mypool, j'obtiens le message d'erreur suivant en boucle
2016-11-02 14:41:23.104441 7f74b8571700 0 -- xxx.xxx.xxx.xxx:0/1024547 >> xxx.xxx.xxx.xxx:6789/0 pipe(0x55a5c670c2b0 sd=3 :49026 s=1 pgs=0 cs=0 l=1 c=0x55a5c670c540).connect protocol feature mismatch, my fffffffffff < peer 4000fffefdfbfff missing 400000000000000
2016-11-02 14:41:23.104472 7f74b8571700 0 -- xxx.xxx.xxx.xxx:0/1024547 >> xxx.xxx.xxx.xxx:6789/0 pipe(0x55a5c670c2b0 sd=3 :49026 s=1 pgs=0 cs=0 l=1 c=0x55a5c670c540).fault
J'ai contacté le support OVH la semaine dernière qui devait revenir vers moi et sans nouvelle ce jour j'ai rappelé avec pour unique réponse que le support pour cette solution "Sunrise" n'est pris en compte que sur community.ovh.com
Je m'adresse donc à vous afin d'obtenir de l'aide pour résoudre mon problème.
Merci par avance

EtienneM 2016-11-02 16:13:34 UTC #2

Bonjour,

Il est probable que votre kernel soit trop ancien pour échanger avec le cluster Ceph.
Quelle est la version de votre kernel?

Pourriez vous également me donner votre numéro de ticket? Possible qu'il y ait eu un raté, vous auriez du avoir le support habituel.

HerveT 2016-11-02 17:24:17 UTC #3

La dernière version du kernel proxmox est active (les mises à jour sont appliquées dès leur publication)
Linux 4.4.21-1-pve #1 SMP Thu Oct 27 09:31:44 CEST 2016 x86_64 GNU/Linux
Votre support m'a répondu qu'il ne pouvait pas pour l'instant ouvrir de ticket pour cette offre Sunrise et que je devais adresser mes demandes sur community.ovh.com.
Merci d'avance pour votre aide

EtienneM 2016-11-02 17:43:44 UTC #4

La dernière version avec le dernier tunable nécessite un kernel 4.5 .

Je peux downgrade ce tunable pour que cela fonctionne, l'impact sera une légère baisse des performances.

Pouvez-vous me donner en privé votre numéro de ticket svp? Ainsi je retrouverai votre cluster.

Etienne

HerveT 2016-11-03 06:03:47 UTC #5

Bonjour Étienne,
Vous souhaitez un numéro de ticket incident ou notre ID client OVH ?
Je suis en RDV en ce début de journée, je reviendrai vers vous en fin de matinée après avoir eu votre confirmation pour cet ID.
Bonne journée

EtienneM 2016-11-03 08:10:49 UTC #6

Idéalement le numéro d'incident sinon avec le nic je le retrouverai.

EtienneM 2016-11-03 09:32:18 UTC #7

Pour info si vous êtes à l'aise avec l'APIv6 vous pouvez le faire vous même : https://api.ovh.com --> /dedicated/ceph/{serviceName} , paramètre crushTunables

je suis entrain d'écrire une documentation avec les compatibilités et tunables.

PhilippeR4 2017-03-24 15:56:49 UTC #8

Bonjour,
Je viens vers vous car je rencontre actuellement le même problème que la personne qui à ouvert ce topic,
Je souhaite utiliser un Cloud Disk Array avec des serveurs Proxmox qui on un Kernel Linux 4.4.44-1-pve
et lors de la commande :
rbd -n client.myuser list mypool
j'ai en retour :
2017-03-24 16:23:32.108669 7ff83fdf6700 0 -- xxx.xxx.xxx.xxx:0/1002851 >> xxx.xxx.xxx.xxx:6789/0 pipe(0x5632686c7310 sd=3 :44536 s=1 pgs=0 cs=0 l=1 c=0x5632686c75a0).connect protocol feature mismatch, my fffffffffff < peer 4000fffefdfbfff missing 400000000000000
2017-03-24 16:23:32.108709 7ff83fdf6700 0 -- xxx.xxx.xxx.xxx.44:0/1002851 >> xxx.xxx.xxx.xxx:6789/0 pipe(0x5632686c7310 sd=3 :44536 s=1 pgs=0 cs=0 l=1 c=0x5632686c75a0).fault
2017-03-24 16:23:32.136151 7ff83fdf6700 0 -- xxx.xxx.xxx.xxx:0/1002851 >> xxx.xxx.xxx.xxx:6789/0 pipe(0x5632686c7310 sd=3 :44538 s=1 pgs=0 cs=0 l=1 c=0x5632686c75a0).connect protocol feature mismatch, my fffffffffff < peer 4000fffefdfbfff missing 400000000000000
2017-03-24 16:23:32.363726 7ff83fdf6700 0 -- xxx.xxx.xxx.xxx:0/1002851 >> xxx.xxx.xxx.xxx:6789/0 pipe(0x5632686c7310 sd=3 :44540 s=1 pgs=0 cs=0 l=1 c=0x5632686c75a0).connect protocol feature mismatch, my fffffffffff < peer 4000fffefdfbfff missing 400000000000000
Pourriez vous m'aidé ?

EtienneM 2017-03-24 16:11:23 UTC #9

Bonjour,
Les logs indiquent que vous n'arrivez pas à communiquer avec le cluster ceph car votre client est plus ancien que le serveur.

Je vous conseille d'ajouter les dépots officiels puis de mettre à jour ceph-common.
http://docs.ceph.com/docs/master/install/get-packages/

N'hésitez pas à répondre ici si vous avez besoin de plus d'informations.

ps : la documentation proxmox/CDA est en cours de relecture et sera bientôt publiée.

PhilippeR4 2017-03-24 16:28:35 UTC #10

Bonjour,
J'ai fait se que vous m'avez conseillé et ça à l'air de fonctionner, je vous remercie.

EtienneM 2017-03-24 21:22:06 UTC #11

Parfait

PhilippeR4 2017-03-27 08:14:01 UTC #12

Bonjour,

J'ai durant le mappage de l'image un problème, voici le message qui apparaît :

rbd: sysfs write failed
In some cases useful info is found in syslog - try "dmesg | tail" or so.
rbd: map failed: (110) Connection timed out

en regardant dans les logs voici ce que je trouve :

libceph: mon1 xxx.xxx.xxx.xxx:6789 feature set mismatch, my 106b84a842a42 < server's 40106b84a842a42, missing 400000000000000
libceph: mon1 xxx.xxx.xxx.xxx:6789 missing required protocol features

Vous auriez une idée du problème ?

EtienneM 2017-03-27 10:39:17 UTC #13

Vous avec quelle version de kernel?
Vous utilisez proxmox?

PhilippeR4 2017-03-27 12:18:50 UTC #14

La version du kernel est, Linux 4.4.44-1-pve c'est sur un Proxmox, oui.j'ai suivis vos conseil pour la mise à jour du paquet ceph-common, pour cette partie ça à marché, j'ai réussi à crée une image. Cependant impossible de la mapper.
J'aurais aussi voulu savoir ou son stocker ses images et si ont peut les supprimer ?

Merci,

EtienneM 2017-03-27 12:27:39 UTC #15

Vous passez par proxmox pour accéder au stockage? Ou vous faites un rbd map à la main?

Les images sont stockées sur le cluster, elles servent ensuite à stocker les objets. Vous pouvez la supprimer si besoin (mais vous perdrez les données)

PhilippeR4 2017-03-27 12:59:41 UTC #16

Je suis la fiche info d'ovh pour la mise en place du cloud Disk Array sur un Proxmox : https://docs.ovh.com/gb/en/cloud/storage/ceph/use-your-cluster-with-rbd/
et j'en suis à l'étape : Map the Image, j'effectue toute les commandes depuis mes serveur Proxmox.

Admin user for cloud disk array CEPH / RBD

EtienneM 2017-03-27 13:02:29 UTC #17

Il faut passer par la configuration de proxmox
https://pve.proxmox.com/wiki/Storage:_Ceph#Configure_Proxmox_to_use_the_ceph_cluster

LudovicD18 2023-05-11 10:32:05 UTC #18

Bonjour,
Je reprends le fil cette discussion car je rencontre aujourd'hui un blocage plu so umoins équivalent sur lequel le support ovh n'a pas l'ai pressé de m'aider :

Situation :
Mon archi Proxmox : pve-manager/7.2-11/b76d3178 (running kernel: 5.15.64-1-pve)
ceph : ceph version 16.2.11 (578f8e68e41b0a98523d0045ef6db90ce6f2e5ab) pacific (stable)

offre Cloud disk array OVH Version 15.2.16 (octopus)

J'ai suivi la procédure décrite par la documentation OVH (obsolète en l'occurence) : https://help.ovhcloud.com/csm/fr-public-cloud-storage-ceph-use-proxmox?id=kb_article_view&sysparm_article=KB0046646

Malheureusement, le stockage apparait bien dans l'interface graphique proxmox, mais celui-ci reste inaccessible, et fait même planter toute l'interface en cas d'accès à l'onglet VMs ou containers.

Sur les conseils du support, j'ai re vérifié 3 fois les ACL, les pools, les trousseaux de clés, les paramètres du pare-feu , rien a faire

la commande ceph fonctionne :

root@:~# ceph -m xx.xxx.xx.xx -n client.proxmox --keyring=/etc/pve/priv/ceph/OVH_CEPH_RBD.keyring osd pool ls detail

pool 1 'device_health_metrics' replicated size 3 min_size 2 crush_rule 0 object_hash rjenkins pg_num 1 pgp_num 1 autoscale_mode on last_change 105 flags hashpspool stripe_width 0 pg_num_min 1 application mgr_devicehealth
pool 6 'cephfs.fs-default.data' replicated size 3 min_size 2 crush_rule 0 object_hash rjenkins pg_num 64 pgp_num 64 autoscale_mode on last_change 74 flags hashpspool stripe_width 0 application cephfs
pool 7 'cephfs.fs-default.meta' replicated size 3 min_size 2 crush_rule 0 object_hash rjenkins pg_num 32 pgp_num 32 autoscale_mode on last_change 74 flags hashpspool stripe_width 0 pg_autoscale_bias 4 pg_num_min 16 recovery_priority 5 application cephfs

mais impossible d'accéder au stockage en RBD ou CEPHFS... la commande rdb tourne en boucle sans aboutir

rbd -p rbd.proxmox_ct -m xx.xxx.xx.xx,xx.xxx.xx.xx,xx.xxx.xx.xx -n client.proxmox --keyring /etc/pve/priv/ceph/OVH_CEPH_RBD.keyring ls

timeout et plantage de l'interface

Est ce un problème de version de Ceph ? une autre piste ? qu'un a t'il deja réussi à monter un CDA OVH sur proxmox 7 (question posée au support restée sans réponse...)

Merci

Propulsé par Discourse, le rendu est meilleur avec le JavaScript activé

OVHcloud Community

Bienvenue sur votre espace communautaire. Posez des questions, recherchez des informations, publiez du contenu et interagissez avec d’autres membres d'OVHcloud Community.