Que faire en cas de panne de son serveur en production ?

PragmaTICEA 2023-03-09 18:30:25 UTC #1

J'en ai fait l'expérience il y a quelques jours : mon serveur Kimsufi ne démarre plus correctement (merci OVH d'avoir retiré le Netboot !).
Du coup c'est le gros stress : plus de mails, plus de web, plus de services Nextcloud...
Toutes les données et paramètres de la machine sont sauvegardées ailleurs via backuppc (sur d'autres serveurs ou un stockage du type https://www.hetzner.com/storage/storage-box?country=fr)

Pour le mail, on peut s'en sortir en dépannage via un MX secondaire qui redirige les mails sur une autre boite ou serveur (un MX secondaire qui pointe sur le redirect.ovh.net avec un alias vers un autre mail m'a bien secouru)

Piste 1 : Je réinstalle complètement la machine et rebascule les données et paramètres :
C'est beaucoup de travail et de temps si l'on veut repartir sur une config toute neuve et ne restaurer que les fichiers de paramétrage et données.
Je n'ai jamais tenté de restaurer la sauvegarde backkupc de l'ensemble du système....

Piste 2 : Une réplication du serveur de production A vers un autre serveur de secours B. Tous les services pointent vers une "IPfailover" (additional ip) pour basculer de A à B sans changer les DNS. C'est lourd à gérer de la réplication à priori...et les Kimsufi n'acceptent pas l'ipfailover...

Piste 3 : De la haute disponibilité qui permettrait de passer d'un serveur à l'autre en cas de souci. C'est encore plus lourd non ?

Piste 4 : Passer par des VM (Proxmox ?) ou des dockers pour isoler les services (mail - web - applications ...). Plus facile à restaurer sur une autre machine ?

Piste 5 : ?

Les pannes ne sont pas aussi fréquentes et du coup ne justifient peut-être pas d'y passer trop de temps et d'énergie mais quand ça arrive, on ne sait plus comment s'en sortir ;)

J'en viens à ma question : quelle solution light mettre en place en cas de panne de son serveur ?

Merci
Fred

TTY 2023-03-10 09:22:48 UTC #2

Bonjour,
Je dirai piste 1 (en tout cas c'est ce que je fais).
C'est vrai que c'est un peu de boulot quand tu le fais une seul fois sur une machine a chaque version majeure de l'OS mais c'est quand même le plus sur.

Les pistes 2 et 3 sont oversized par rapport à la criticité du service je penses (et les coûts sont à minima doublés)

Piste 4 : Si toutes les VM sont sur un seul serveur et que celui-ci est en panne, ben ça revient un peu au même. Tu rajoutes également une couche de complexité qui doit être bien maîtrisé avec mise en prod.

Les problèmes difficilement solvables concernent souvent les parties les moins maîtrisées.

janus57 2023-03-10 09:33:10 UTC #3

Bonjour,

Pour moi la piste4 est pas mal en tout cas avec proxmox et si vous avez un second serveur sous la main.

Par contre pour moi il faudrait partir sur la gamme SYS si c'est de la "vraie" production.
Les Kimsufi c'est bien pour du test ou stockage mais pas plus.

Cordialement, janus57

Fritz2cat 2023-03-10 09:37:51 UTC #4

Les Kimsufi ne sont pas éligibles pour obtenir des adresses IP supplémentaires. Ceci me semble éliminer complètement la piste de la virtualisation (ou bien dites-moi comment vous feriez ?)

janus57 2023-03-10 09:42:05 UTC #5

Bonjour,

Bah justement passer sur un SYS pour avoir un minimum de fonctionnalités et surtout du support téléphonique en cas de réel problème.

En théorie on peut faire de la virtualisation sans IP-FO mais faut faire du NAT et c'est chiant le jour où on change de serveur.
Le réel intérêt des IP-FO est de la bouger de serveur en cas de pann et/ou migration et/ou si un client souhaite une IP juste pour lui.

Cordialement, janus57

TTY 2023-03-10 10:21:58 UTC #6

Oui les IP FO sont justes indispensables pour une prod sans trop de dowtime.

PragmaTICEA 2023-03-10 11:43:59 UTC #7

Merci de vos réponses.
Et tu fais comment @TTY ? Tout à la main ? Logiciel par logiciel ?
La réinstallation d'un serveur mail prend quand même pas mal de temps...
Peut-être prévoir un script d'installation mais il faut après être très rigoureux et bien le compléter au fur et à mesure des mises à jours ou corrections de config ?
Un copain me parle aussi de Ansible mais demande un peu de temps pour maîtriser l'outil..

Fred

PragmaTICEA 2023-03-10 11:51:20 UTC #8

Il n'y a plus de gamme SYS non ?
Qu'est-ce qui est juste au dessus des KS ?

Fred

janus57 2023-03-10 11:58:24 UTC #9

Bonjour,

Si si elle existe toujours => https://eco.ovhcloud.com/fr/

Cordialement, janus57

TTY 2023-03-10 14:15:49 UTC #10

J'ai un script de post installation.
Je ne doit l'adapter que lors des mises à jour majeures (Debian 10 vers 11 par exemple) et quelques corrections à la marge quand je résous un problème qu'on me signale.
Oui, il faut un peu de rigueur mais c'est quand même tout à fait faisable.
Au début je mettait tout sur un Wiki et faisais des copier / coller dans la console avant de finalement faire un script qui me pose des questions.
L'avantage également et surtout c'est d'avoir des machines très très proche au niveau installation ce qui facilite bien la maintenance.
En gros l’installation d'un serveur me prends 2h30 (il y a pas mal de soft et de configuration).

Un collègue me vante Ansible, depuis un moment, ça à l'air super également mais bon. Quand tu as une méthode qui convient à ton activité... Dur de trouver la motivation pour réapprendre un nouveau produit.

PragmaTICEA 2023-03-10 17:56:32 UTC #11

Je crois que la piste d'un script de post-installation est celle que je vais également tenter de mettre en place. Tu sais s'il y aurait des modèles de scripts à personnaliser plutôt que de partir d'une page blanche ?
Je regarderai plus tard les serveurs SYS plus complets mais aussi un peu plus chers ;)
Merci

janus57 2023-03-11 14:18:24 UTC #12

Bonjour,

ah oui c'est plus cher, mais rien que les IP-FO c'est un plus non négligeable, surtout si vous devez gérer un serveur mail, car repartir de 0 sur la réputation d'une IP pour un serveur mail, en 2023 c'est la mort.

Cordialement, janus57

TTY 2023-03-13 08:46:28 UTC #13

Je ne connais pas d'exemple de script de post install (c'est vraiment en fonction de tes besoins).
La réussite du script ne sera pas là dès la première tentative. Commence par copier/coller les commandes que tu passes pour faire ton installation.

-Les commande d'inastallation ne posent pas de problème.
-Pour les configuration tu peux soit faire des chercher / remplacer avec la commande sed, soit ré-écrire le fichier de config complet avec des commandes echo.
-Ton script peux aussi te poser des questions avec la commande read.

Corrige le script après ses premières exécutions etc...

Avec le temps j'écris un fichier par produit. Voilà par exemple le fichier le plus simple, l'installation de logwatch :

afficheOrange "[INFO]  Installation Logwatch"
apt install -y logwatch
afficheOrange "[INFO]  Configuration"
sed -i -e "s/mailer = \"\/usr\/sbin\/sendmail -t\"/mailer = \"fmt -s \| \/usr\/sbin\/sendmail -t\"/g" /usr/share/logwatch/default.conf/logwatch.conf

PragmaTICEA 2023-03-13 11:12:07 UTC #14

Merci pour cette illustration de ce à quoi pourrait ressembler un script d'installation.
Il va falloir que je me trouve un bon tuto sur la syntaxe et commandes bash... :)
Fred

Propulsé par Discourse, le rendu est meilleur avec le JavaScript activé

OVHcloud Community

Bienvenue sur votre espace communautaire. Posez des questions, recherchez des informations, publiez du contenu et interagissez avec d’autres membres d'OVHcloud Community.