Monter un cluster Proxmox VE, quorum et QDevice
Créer un cluster Proxmox VE, comprendre le quorum, sécuriser un cluster à 2 nœuds avec un QDevice, migrer des VM et connaître les limites réseau et matérielles.
Sur cette page
Ce guide explique comment réunir plusieurs serveurs Proxmox VE dans un cluster, comment fonctionne le quorum, comment fiabiliser un cluster à 2 nœuds avec un QDevice, et quelles limites vérifier avant de vous lancer.
Un cluster permet d'administrer tous les nœuds depuis une seule interface, de partager la configuration et de migrer des VM entre serveurs. Il ne remplace ni une sauvegarde, ni à lui seul une solution de haute disponibilité.
Vérifier que le cluster est adapté
Le point décisif est le réseau entre vos serveurs.
| Exigence | Détail |
|---|---|
| Latence | Moins de 5 ms entre tous les nœuds pour un fonctionnement stable |
| Stabilité | Corosync est sensible aux variations de latence : évitez un lien chargé par le stockage ou les sauvegardes |
| Ports | UDP 5405-5412 (Corosync), TCP 22 (SSH), TCP 8006 (API), TCP 60000-60050 (migration) |
| Horloge | Heure synchronisée sur tous les nœuds |
| Versions | Même version de Proxmox VE sur tous les nœuds |
| Identité | Nom d'hôte et adresse IP définitifs : ils ne peuvent plus être changés une fois le cluster créé |
| Nouveau nœud | Aucune VM ni conteneur sur le serveur qui rejoint le cluster |
Ce qu'un cluster n'apporte pas automatiquement
- Pas de bascule automatique des VM sans configuration de la haute disponibilité (HA).
- La HA demande au moins 3 nœuds, un stockage partagé et une redondance matérielle.
- Les disques locaux ne suivent pas seuls : une VM sur disque local est copiée lors de la migration, et elle n'est plus accessible si son nœud tombe en panne.
- Les réseaux privés et le NAT restent locaux :
vmbr1doit exister sur chaque nœud, et les redirections de port restent liées à l'adresse publique du serveur d'origine. - La migration à chaud n'est garantie qu'entre processeurs du même fabricant.
Prérequis
- Au moins 2 serveurs avec Proxmox VE installé, par exemple avec le guide Installer et configurer Proxmox VE
- Un accès
rooten SSH et le KVM IP de chaque serveur - Un mot de passe
rootconnu pour le nœud existant - Une sauvegarde récente de vos VM
Les exemples utilisent un réseau dédié au cluster :
| Nœud | Nom | Adresse du réseau de cluster |
|---|---|---|
| 1 | pve1 |
10.30.30.11 |
| 2 | pve2 |
10.30.30.12 |
| 3 (facultatif) | pve3 |
10.30.30.13 |
| QDevice (cluster à 2 nœuds) | arbitre |
10.30.30.20 |
Comprendre le quorum
Chaque nœud dispose d'une voix. Pour modifier l'état du cluster, il faut une majorité de voix : c'est le quorum. Il évite que deux parties isolées modifient chacune la configuration de leur côté (split-brain).
| Nœuds | Voix nécessaires | Pannes tolérées |
|---|---|---|
| 2 | 2 | 0 |
| 2 + QDevice | 2 sur 3 | 1 |
| 3 | 2 | 1 |
| 4 | 3 | 1 |
| 5 | 3 | 2 |
Sans quorum, le cluster passe en lecture seule : /etc/pve ne peut plus être modifié, et vous ne pouvez plus démarrer de VM ni changer leur configuration. Les VM déjà démarrées continuent de tourner tant que la HA n'est pas utilisée. Avec la HA, un nœud isolé peut s'arrêter de force (fencing) pour protéger les données.
Étape 1 : préparer chaque nœud
Sur tous les nœuds, mettez à jour le système, puis contrôlez les points suivants :
apt update
apt full-upgrade
pveversion
hostname
hostname --ip-address
chronyc trackingSur le ou les nœuds qui vont rejoindre le cluster, vérifiez qu'il n'y a aucune VM ni conteneur :
qm list
pct listSi un nœud contient déjà des machines, sauvegardez-les, supprimez-les, puis restaurez-les après l'intégration sous un identifiant libre. L'intégration remplace la configuration de /etc/pve, y compris celle des stockages.
Testez le réseau de cluster depuis chaque nœud vers les autres :
ping -c 20 10.30.30.12La colonne avg du résumé doit rester sous 5 ms, sans perte de paquets.
Adapter le pare-feu
Si vous avez configuré local_network sur l'adresse du serveur, comme le propose le guide d'installation, remplacez cette valeur par le réseau du cluster dans /etc/pve/firewall/cluster.fw, sur chaque nœud avant de créer le cluster :
[ALIASES]
local_network 10.30.30.0/24Contrôlez ensuite :
pve-firewall localnetLe pare-feu Proxmox génère automatiquement les règles Corosync pour ce réseau et l'ajoute aux hôtes de gestion. Une fois le cluster créé, la même commande liste les nœuds acceptés pour le trafic Corosync : vérifiez que chacun y figure. Si vous utilisez ALLOW_FROM dans /etc/default/pveproxy, ajoutez-y aussi les adresses des nœuds.
Étape 2 : créer le cluster
Sur pve1 uniquement. Le nom du cluster ne peut plus être modifié ensuite.
pvecm create mon-cluster --link0 10.30.30.11
pvecm statusDans l'interface web, l'équivalent se trouve dans Datacenter → Cluster → Create Cluster.
Étape 3 : ajouter les autres nœuds
Connectez-vous en SSH sur le nœud à ajouter, ici pve2 :
pvecm add 10.30.30.11 --link0 10.30.30.12La commande demande le mot de passe root de pve1 et vous fait valider l'empreinte de son certificat. Comparez-la avec celle affichée dans pve1 → System → Certificates.
Dans l'interface web, utilisez Datacenter → Cluster → Join Information sur pve1, puis Join Cluster sur pve2. Après l'intégration, le certificat du nœud change : rechargez la page et reconnectez-vous.
Ajoutez les nœuds un par un, en vérifiant l'état entre chaque ajout.
Étape 4 : vérifier le cluster
pvecm status
pvecm nodes
systemctl status corosync pve-cluster --no-pagerDans pvecm status, contrôlez ces lignes :
| Ligne | Valeur attendue |
|---|---|
Quorate |
Yes |
Nodes |
Nombre de nœuds prévu |
Expected votes |
Nombre total de voix |
Flags |
Quorate |
Créez un fichier de test sur un nœud et lisez-le sur un autre : /etc/pve est répliqué en temps réel.
echo test > /etc/pve/test-cluster.txtcat /etc/pve/test-cluster.txt
rm /etc/pve/test-cluster.txtÉtape 5 : ajouter un QDevice à un cluster de 2 nœuds
Un QDevice apporte une troisième voix depuis une machine externe. Il ne fait pas tourner de VM et il n'a pas besoin de la faible latence exigée par Corosync. Choisissez une machine indépendante des deux nœuds, sous Debian : un petit serveur convient, à condition qu'il ne soit pas hébergé sur l'un des deux nœuds.
| Nombre de nœuds | Recommandation Proxmox |
|---|---|
| 2 | QDevice recommandé |
| Autre nombre pair | QDevice possible |
| Nombre impair | Déconseillé : il devient presque un point de défaillance unique |
Installer les paquets
Sur la machine externe :
apt update
apt install corosync-qnetdSur chaque nœud du cluster :
apt install corosync-qdeviceOuvrir les accès
La machine externe doit accepter, uniquement depuis les nœuds :
- TCP 5403 pour le service
corosync-qnetd - SSH pour
root, le temps de la configuration
Avec UFW sur la machine externe, à répéter pour chaque nœud :
ufw allow from 10.30.30.11 to any port 5403 proto tcp
ufw allow from 10.30.30.11 to any port 22 proto tcpLa commande suivante copie la clé SSH du cluster vers la machine externe. Mettez en place un accès root par clé, ou autorisez temporairement root par mot de passe.
Activer le QDevice
Vérifiez que tous les nœuds sont en ligne, puis lancez sur un seul nœud :
pvecm qdevice setup 10.30.30.20
pvecm statusLe résultat doit ressembler à ceci :
Expected votes: 3
Highest expected: 3
Total votes: 3
Quorum: 2
Flags: Quorate Qdevice
Membership information
Nodeid Votes Qdevice Name
0x00000001 1 A,V,NMW 10.30.30.11 (local)
0x00000002 1 A,V,NMW 10.30.30.12
0x00000000 1 Qdevice| Indicateur | Signification |
|---|---|
A / NA |
Communication avec corosync-qnetd active ou non |
V / NV |
Le QDevice accorde ou non sa voix au nœud |
NMW |
Réglage par défaut (Not Master Wins) |
Rétablissez ensuite la restriction SSH de la machine externe si vous l'aviez assouplie.
Étape 6 : tester une panne maîtrisée
Faites ce test hors production, après vos sauvegardes. Dans un cluster avec QDevice ou à 3 nœuds, arrêtez un nœud sans VM importante, puis observez depuis l'autre :
pvecm statusQuorate doit rester à Yes. Redémarrez ensuite le nœud et vérifiez qu'il revient dans pvecm nodes.
Migrer une VM
Une VM éteinte ou en fonctionnement peut être déplacée entre les nœuds :
qm migrate 100 pve2
qm migrate 100 pve2 --online
qm migrate 100 pve2 --online --with-local-disksLa dernière commande copie aussi les disques locaux, ce qui peut être long. Avant de migrer, vérifiez que :
- le même pont (
vmbr1, par exemple) existe sur le nœud cible ; - le stockage cible dispose d'assez d'espace ;
- le type de processeur de la VM est compatible,
x86-64-v2-AESétant préférable àhostentre machines différentes.
Le trafic de migration est chiffré par défaut. Conservez ce mode si le réseau n'est pas entièrement sous votre contrôle. Si la VM utilise le NAT d'un nœud, ses redirections de port ne la suivent pas et ses connexions en cours seront interrompues.
Haute disponibilité et réplication
La HA redémarre automatiquement une VM sur un autre nœud après une panne. Proxmox exige au moins 3 nœuds, un stockage partagé et du matériel redondant. La détection et le redémarrage prennent environ 2 minutes.
Sans stockage partagé, la réplication ZFS copie régulièrement les disques vers un autre nœud. Elle est asynchrone : en cas de panne, les écritures réalisées depuis la dernière réplication sont perdues.
Mises à jour
Mettez à jour un nœud à la fois :
- Vérifiez que le cluster est sain avec
pvecm status. - Migrez les VM du nœud concerné, ou arrêtez-les proprement.
- Lancez
apt update, puisapt full-upgrade. - Redémarrez si nécessaire et attendez le retour du nœud dans
pvecm nodes. - Contrôlez le quorum, puis passez au nœud suivant.
Ne laissez pas les nœuds sur des versions différentes plus longtemps que nécessaire. Pour une version majeure, suivez le guide de montée de version de Proxmox.
Sauvegardes
La réplication de /etc/pve n'est pas une sauvegarde : une erreur ou une suppression est immédiatement propagée à tous les nœuds. Configurez des sauvegardes dans Datacenter → Backup, vers un stockage extérieur.
L'offre Proxmox Backup Server de HostMyServers s'ajoute au niveau du datacenter et devient utilisable par les nœuds. Consultez Connecter PBS à Proxmox VE.
Retirer un nœud
-
Migrez toutes ses VM et conteneurs, puis sauvegardez ses données locales.
-
Supprimez ses tâches de réplication. Retirez le QDevice s'il y en a un.
-
Notez le nom du nœud avec
pvecm nodes, puis éteignez-le. -
Depuis un autre nœud :
Terminalpvecm delnode pve3 pvecm nodes
L'erreur could not kill node (error = cs_err_not_exist) peut être ignorée. Les anciens fichiers restent dans /etc/pve/nodes/pve3 : récupérez ce qui vous est utile, puis supprimez ce dossier. Pour réintégrer le serveur, réinstallez Proxmox VE avant de l'ajouter de nouveau.
En cas de problème
this host already contains virtual guests
Le nœud à ajouter contient des VM ou des conteneurs. Sauvegardez-les, supprimez-les, rejoignez le cluster, puis restaurez-les sous un identifiant libre.
corosync is already running, is this node already in a cluster?!
Le serveur appartient déjà à un cluster, ou une tentative précédente a laissé des traces. Vérifiez avec pvecm status. La solution la plus propre est de réinstaller le nœud.
cluster not ready - no quorum?
Le nœud n'a pas de quorum, et /etc/pve est en lecture seule.
pvecm status
systemctl status corosync --no-pager
journalctl -b -u corosync --no-pager | tail -n 50Rétablissez d'abord le réseau ou le nœud manquant. En dernier recours, et seulement si vous êtes certain que l'autre partie est réellement arrêtée :
pvecm expected 1Des liens Corosync tombent régulièrement
Des messages signalant un lien down ou des Retransmit dans journalctl -u corosync indiquent un réseau instable ou saturé. Mesurez la latence et séparez Corosync du trafic de stockage et de sauvegarde. Vous pouvez aussi prévoir un second lien avec --link1.
Host key verification failed
Mettez à jour les certificats et les empreintes SSH du cluster :
pvecm updatecertsLe QDevice apparaît en NA
Le nœud ne joint pas corosync-qnetd. Sur la machine externe, vérifiez le service et le port TCP 5403 :
systemctl status corosync-qnetd --no-pager
ss -tln | grep 5403Depuis un nœud, testez ensuite l'accès :
timeout 3 bash -c '</dev/tcp/10.30.30.20/5403' && echo "port joignable"La migration échoue
Lisez le journal de la tâche dans l'interface web. Les causes courantes sont un pont absent sur le nœud cible, un stockage indisponible, un ISO encore monté sur un stockage local ou un type de processeur host incompatible. Retirez l'ISO avec qm set 100 --ide2 none,media=cdrom.