Mise en place HA sur Proxmox avec IP failover

[DamienG22]

Bonjour à tous,

Je suis en train de tenter la mise en place d'un système permettant la bascule automatique entre serveur en cas de dysfonctionnement. Voici un schéma simplifié de l'installation

J'utilise 2 serveur proxmox.
Ils sont en cluster et j'utilise un stockage CEPH pour assurer une accessibilité du disque virtuel sur les 2nodes

Mes serveur sont des RISE, donc je ne peux pas passer par "vrack", si j'ai bien compris.

J'ai cru comprendre que pour faire de la HA, il fallait que je migre mon IP FO via l'api de OVH ? (a ce propos si quelqu'un a un bout de script, je suis preneur)
Il me reste également un soucis : pour que la VM puisse accéder à l’extérieur, il faut lui faire utiliser la GW du serveur physique. En cas de migration de ma VM, je vais donc devoir également modifier sa GW ?

Ça commence a faire une grosse usine a gaz tout ça ! Si vous avez des idées pour simplifier, je suis preneur. J'avais envisagé comme solution la mise en place d'un PFsense virtualisé entre le LAN et le WAN, sur chaque proxmox. Cela vous semble-t-il pertinent ?

Merci d'avance de votre aide ! :D

Damien

[janus57]

Bonjour,

juste pour info si on suit les docs pour faire du HA (surtout avec ceph) il faut 3 nœuds minimum.

Cordialement, janus57

[DamienG22]

Concernant le nombre de noeuds il est visiblement possible de n'en utiliser que 2 à condition d'avoir un 3e membre pour former le quorum et éviter le split-brain,

( cf : https://blog.zwindler.fr/2019/10/11/un-cluster-proxmox-ve-avec-seulement-2-machines/)

Je n'en ai pas parlé pour ne pas surcharger le post initial, mais la mise en place de ce 3e vote fait parti des travaux prévus ;-)

[janus57]

Bonjour,

3e membre pour former le quorum et éviter le split-brain,

pour la partie proxmox : oui

Pour la partie ceph c'est 3 nœuds minimum (du moins si j'ai bien cherché avec mon collègue car on veux monter la même infra mais pas chez un hébergeur car trop de contraintes en générale).

Note : pour du ceph en distribué de mémoire il faut du 10Gbps de bande passante d'après les recommandation proxmox et minimum du 1Gbps.

Cf : https://www.proxmox.com/en/downloads/item/proxmox-ve-ceph-benchmark-2020-09
Cf : https://pve.proxmox.com/wiki/Deploy_Hyper-Converged_Ceph_Cluster
Cf : https://forum.proxmox.com/threads/can-you-recommend-ceph-for-a-2-node-proxmox-setup.38107/
Cf : https://docs.ceph.com/en/nautilus/start/hardware-recommendations/
Cf : https://access.redhat.com/documentation/en-us/red_hat_ceph_storage/1.3/html/hardware_guide/minimum_recommendations
Cf : https://ceph.io/geen-categorie/zero-to-hero-guide-for-ceph-cluster-planning/

En tout cas bonne chance dans votre aventure pour faire ça chez OVH.

Cordialement, janus57

[EtienneM]

Je te déconseille fortement d'utiliser uniquement 2 noeuds ceph.
Lorsque tu auras de la corruption de données tu ne seras pas capable de dire quelle copie est correcte.

Attention aussi à la latence entre tes OSD, ça pourrait fortement impacter les performances de ton cluster.

Pour info on propose des clusters Ceph dédiés et managés : https://www.ovh.com/fr/cloud-disk-array/

[DamienG22]

Merci a tout les 2 pour vos réponses intéressantes et instructives :)

Au bilan, j'abandonne ce projet d'infra, et si on doit faire de la HA on le fera sur une archi dédiée, avec le budget en conséquence.

Merci encore pour votre aide et vos éclaircissements :)

Petite question subsidiaire :
Pour faire cela (HA + migration a chaud) il faut 3 serveurs + un vrack ? ou tout du moins 2 serveur + équipement de quorum + stockage CEPH a part ?

j'aimerai être sur d'avoir compris pour ensuite pouvoir budgétiser et proposer un tarif au décideur :)

Encore merci à tous :D

[JeanR]

Hello,

Ce que j'ai pu tester et qui marche bien, c'est de partir sur 3 serveurs proxmox avec HA
Le problème du disque partagé entre les machines c'est qu'il peut y avoir de l'IO surtout quand le nombre de vm devient conséquent.
Tu peux utiliser le stockage Ceph fournit par OVH, tu devrais avoir moins de latence à mon avis et donc de meilleurs performances.
Le tout intégré dans un vrack, tu n'as plus qu'a gérer tes machines comme il te convient.

Dans les faits, un serveur physique plante, la vm/conteneur est automatiquement basculé vers un autre des serveurs physiques, la coupure en fonction des réglages et de l'ordre de quelques minutes.

Plus l'infra est hautement redondée, protégée aux pannes, plus l'investissement est important voir exponentiel.
Attention au réseau privé, si tu as de la communication en interne que la bascule entre les serveurs physiques soit sans impact non plus

Bon courage

Captain Admin, Si ce n'est pas lui, qui vous sauvera ?