Creare un cluster Proxmox VE, quorum e QDevice
Creare un cluster Proxmox VE, capire il quorum, mettere in sicurezza un cluster a 2 nodi con un QDevice, migrare le VM e conoscere i limiti di rete e hardware.
In questa pagina
Questa guida spiega come riunire più server Proxmox VE in un cluster, come funziona il quorum, come rendere affidabile un cluster a 2 nodi con un QDevice e quali limiti verificare prima di iniziare.
Un cluster permette di amministrare tutti i nodi da un'unica interfaccia, di condividere la configurazione e di migrare le VM tra i server. Non sostituisce un backup e, da solo, non costituisce una soluzione di alta disponibilità.
Verificare che il cluster sia adatto
Il punto decisivo è la rete tra i tuoi server.
| Requisito | Dettaglio |
|---|---|
| Latenza | Meno di 5 ms tra tutti i nodi per un funzionamento stabile |
| Stabilità | Corosync è sensibile alle variazioni di latenza: evita un collegamento carico per lo storage o i backup |
| Porte | UDP 5405-5412 (Corosync), TCP 22 (SSH), TCP 8006 (API), TCP 60000-60050 (migrazione) |
| Orologio | Ora sincronizzata su tutti i nodi |
| Versioni | Stessa versione di Proxmox VE su tutti i nodi |
| Identità | Nome host e indirizzo IP definitivi: non possono più essere cambiati una volta creato il cluster |
| Nuovo nodo | Nessuna VM né container sul server che entra nel cluster |
Cosa un cluster non offre automaticamente
- Nessun failover automatico delle VM senza configurare l'alta disponibilità (HA).
- L'HA richiede almeno 3 nodi, uno storage condiviso e una ridondanza hardware.
- I dischi locali non seguono da soli: una VM su disco locale viene copiata durante la migrazione e non è più accessibile se il suo nodo si guasta.
- Le reti private e il NAT restano locali:
vmbr1deve esistere su ogni nodo e i reindirizzamenti di porta restano legati all'indirizzo pubblico del server di origine. - La migrazione a caldo è garantita solo tra processori dello stesso produttore.
Prerequisiti
- Almeno 2 server con Proxmox VE installato, ad esempio con la guida Installare e configurare Proxmox VE
- Un accesso
rootin SSH e il KVM IP di ogni server - Una password
rootnota per il nodo esistente - Un backup recente delle tue VM
Gli esempi utilizzano una rete dedicata al cluster:
| Nodo | Nome | Indirizzo sulla rete del cluster |
|---|---|---|
| 1 | pve1 |
10.30.30.11 |
| 2 | pve2 |
10.30.30.12 |
| 3 (facoltativo) | pve3 |
10.30.30.13 |
| QDevice (cluster a 2 nodi) | arbitre |
10.30.30.20 |
Capire il quorum
Ogni nodo dispone di un voto. Per modificare lo stato del cluster serve una maggioranza di voti: è il quorum. Evita che due parti isolate modifichino ciascuna la configurazione per conto proprio (split-brain).
| Nodi | Voti necessari | Guasti tollerati |
|---|---|---|
| 2 | 2 | 0 |
| 2 + QDevice | 2 su 3 | 1 |
| 3 | 2 | 1 |
| 4 | 3 | 1 |
| 5 | 3 | 2 |
Senza quorum, il cluster passa in sola lettura: /etc/pve non può più essere modificato e non puoi più avviare VM né cambiarne la configurazione. Le VM già avviate continuano a funzionare finché non viene utilizzata l'HA. Con l'HA, un nodo isolato può arrestarsi forzatamente (fencing) per proteggere i dati.
Fase 1: preparare ogni nodo
Su tutti i nodi, aggiorna il sistema, quindi controlla i punti seguenti:
apt update
apt full-upgrade
pveversion
hostname
hostname --ip-address
chronyc trackingSul nodo o sui nodi che entreranno nel cluster, verifica che non ci siano VM né container:
qm list
pct listSe un nodo contiene già delle macchine, esegui il backup, eliminale e ripristinale dopo l'integrazione con un identificativo libero. L'integrazione sostituisce la configurazione di /etc/pve, compresa quella degli storage.
Prova la rete del cluster da ogni nodo verso gli altri:
ping -c 20 10.30.30.12La colonna avg del riepilogo deve restare sotto i 5 ms, senza perdita di pacchetti.
Adattare il firewall
Se hai configurato local_network sull'indirizzo del server, come proposto nella guida all'installazione, sostituisci questo valore con la rete del cluster in /etc/pve/firewall/cluster.fw, su ogni nodo prima di creare il cluster:
[ALIASES]
local_network 10.30.30.0/24Controlla quindi:
pve-firewall localnetIl firewall Proxmox genera automaticamente le regole Corosync per questa rete e la aggiunge agli host di gestione. Una volta creato il cluster, lo stesso comando elenca i nodi accettati per il traffico Corosync: verifica che ci siano tutti. Se usi ALLOW_FROM in /etc/default/pveproxy, aggiungi anche gli indirizzi dei nodi.
Fase 2: creare il cluster
Solo su pve1. Il nome del cluster non può più essere modificato in seguito.
pvecm create mio-cluster --link0 10.30.30.11
pvecm statusNell'interfaccia web, l'equivalente si trova in Datacenter → Cluster → Create Cluster.
Fase 3: aggiungere gli altri nodi
Connettiti in SSH al nodo da aggiungere, in questo caso pve2:
pvecm add 10.30.30.11 --link0 10.30.30.12Il comando chiede la password root di pve1 e ti fa confermare l'impronta del suo certificato. Confrontala con quella visualizzata in pve1 → System → Certificates.
Nell'interfaccia web, usa Datacenter → Cluster → Join Information su pve1, quindi Join Cluster su pve2. Dopo l'integrazione, il certificato del nodo cambia: ricarica la pagina e accedi di nuovo.
Aggiungi i nodi uno alla volta, verificando lo stato tra un'aggiunta e l'altra.
Fase 4: verificare il cluster
pvecm status
pvecm nodes
systemctl status corosync pve-cluster --no-pagerIn pvecm status, controlla queste righe:
| Riga | Valore atteso |
|---|---|
Quorate |
Yes |
Nodes |
Numero di nodi previsto |
Expected votes |
Numero totale di voti |
Flags |
Quorate |
Crea un file di prova su un nodo e leggilo su un altro: /etc/pve viene replicato in tempo reale.
echo test > /etc/pve/test-cluster.txtcat /etc/pve/test-cluster.txt
rm /etc/pve/test-cluster.txtFase 5: aggiungere un QDevice a un cluster di 2 nodi
Un QDevice fornisce un terzo voto da una macchina esterna. Non esegue VM e non ha bisogno della bassa latenza richiesta da Corosync. Scegli una macchina indipendente dai due nodi, con Debian: va bene un piccolo server, purché non sia ospitato su uno dei due nodi.
| Numero di nodi | Raccomandazione di Proxmox |
|---|---|
| 2 | QDevice consigliato |
| Altro numero pari | QDevice possibile |
| Numero dispari | Sconsigliato: diventa quasi un singolo punto di guasto |
Installare i pacchetti
Sulla macchina esterna:
apt update
apt install corosync-qnetdSu ogni nodo del cluster:
apt install corosync-qdeviceAprire gli accessi
La macchina esterna deve accettare, solo dai nodi:
- TCP 5403 per il servizio
corosync-qnetd - SSH per
root, per il tempo della configurazione
Con UFW sulla macchina esterna, da ripetere per ogni nodo:
ufw allow from 10.30.30.11 to any port 5403 proto tcp
ufw allow from 10.30.30.11 to any port 22 proto tcpIl comando seguente copia la chiave SSH del cluster sulla macchina esterna. Configura un accesso root con chiave, oppure autorizza temporaneamente root con password.
Attivare il QDevice
Verifica che tutti i nodi siano online, quindi esegui su un solo nodo:
pvecm qdevice setup 10.30.30.20
pvecm statusIl risultato deve essere simile a questo:
Expected votes: 3
Highest expected: 3
Total votes: 3
Quorum: 2
Flags: Quorate Qdevice
Membership information
Nodeid Votes Qdevice Name
0x00000001 1 A,V,NMW 10.30.30.11 (local)
0x00000002 1 A,V,NMW 10.30.30.12
0x00000000 1 Qdevice| Indicatore | Significato |
|---|---|
A / NA |
Comunicazione con corosync-qnetd attiva o meno |
V / NV |
Il QDevice concede o meno il proprio voto al nodo |
NMW |
Impostazione predefinita (Not Master Wins) |
Ripristina poi la restrizione SSH della macchina esterna, se l'avevi allentata.
Fase 6: provare un guasto controllato
Esegui questa prova fuori dalla produzione, dopo i backup. In un cluster con QDevice o a 3 nodi, arresta un nodo senza VM importanti, quindi osserva dall'altro:
pvecm statusQuorate deve restare su Yes. Riavvia poi il nodo e verifica che ricompaia in pvecm nodes.
Migrare una VM
Una VM spenta o in esecuzione può essere spostata tra i nodi:
qm migrate 100 pve2
qm migrate 100 pve2 --online
qm migrate 100 pve2 --online --with-local-disksL'ultimo comando copia anche i dischi locali, operazione che può richiedere tempo. Prima di migrare, verifica che:
- lo stesso bridge (ad esempio
vmbr1) esista sul nodo di destinazione; - lo storage di destinazione disponga di spazio sufficiente;
- il tipo di processore della VM sia compatibile: tra macchine diverse,
x86-64-v2-AESè preferibile ahost.
Il traffico di migrazione è cifrato per impostazione predefinita. Mantieni questa modalità se la rete non è interamente sotto il tuo controllo. Se la VM usa il NAT di un nodo, i suoi reindirizzamenti di porta non la seguono e le connessioni in corso verranno interrotte.
Alta disponibilità e replica
L'HA riavvia automaticamente una VM su un altro nodo dopo un guasto. Proxmox richiede almeno 3 nodi, uno storage condiviso e hardware ridondante. Il rilevamento e il riavvio richiedono circa 2 minuti.
Senza storage condiviso, la replica ZFS copia regolarmente i dischi su un altro nodo. È asincrona: in caso di guasto, le scritture effettuate dopo l'ultima replica vanno perse.
Aggiornamenti
Aggiorna un nodo alla volta:
- Verifica che il cluster sia integro con
pvecm status. - Migra le VM del nodo interessato, oppure arrestale correttamente.
- Esegui
apt update, quindiapt full-upgrade. - Riavvia se necessario e attendi il ritorno del nodo in
pvecm nodes. - Controlla il quorum, quindi passa al nodo successivo.
Non lasciare i nodi su versioni diverse più a lungo del necessario. Per una versione principale, segui la guida all'aggiornamento di versione di Proxmox.
Backup
La replica di /etc/pve non è un backup: un errore o un'eliminazione viene propagato immediatamente a tutti i nodi. Configura i backup in Datacenter → Backup, verso uno storage esterno.
L'offerta Proxmox Backup Server di HostMyServers si aggiunge a livello di datacenter e diventa utilizzabile dai nodi. Consulta Connettere PBS a Proxmox VE.
Rimuovere un nodo
-
Migra tutte le sue VM e i suoi container, quindi esegui il backup dei suoi dati locali.
-
Elimina le sue attività di replica. Rimuovi il QDevice, se presente.
-
Annota il nome del nodo con
pvecm nodes, quindi spegnilo. -
Da un altro nodo:
Terminalepvecm delnode pve3 pvecm nodes
L'errore could not kill node (error = cs_err_not_exist) può essere ignorato. I vecchi file restano in /etc/pve/nodes/pve3: recupera ciò che ti serve, quindi elimina questa cartella. Per reintegrare il server, reinstalla Proxmox VE prima di aggiungerlo di nuovo.
In caso di problemi
this host already contains virtual guests
Il nodo da aggiungere contiene VM o container. Esegui il backup, eliminali, entra nel cluster, quindi ripristinali con un identificativo libero.
corosync is already running, is this node already in a cluster?!
Il server appartiene già a un cluster, oppure un tentativo precedente ha lasciato delle tracce. Verifica con pvecm status. La soluzione più pulita è reinstallare il nodo.
cluster not ready - no quorum?
Il nodo non ha il quorum e /etc/pve è in sola lettura.
pvecm status
systemctl status corosync --no-pager
journalctl -b -u corosync --no-pager | tail -n 50Ripristina prima la rete o il nodo mancante. Come ultima risorsa, e solo se hai la certezza che l'altra parte sia realmente arrestata:
pvecm expected 1I collegamenti Corosync cadono regolarmente
Messaggi che segnalano un collegamento down o dei Retransmit in journalctl -u corosync indicano una rete instabile o satura. Misura la latenza e separa Corosync dal traffico di storage e di backup. Puoi anche prevedere un secondo collegamento con --link1.
Host key verification failed
Aggiorna i certificati e le impronte SSH del cluster:
pvecm updatecertsIl QDevice risulta NA
Il nodo non raggiunge corosync-qnetd. Sulla macchina esterna, verifica il servizio e la porta TCP 5403:
systemctl status corosync-qnetd --no-pager
ss -tln | grep 5403Da un nodo, prova poi l'accesso:
timeout 3 bash -c '</dev/tcp/10.30.30.20/5403' && echo "porta raggiungibile"La migrazione non riesce
Leggi il log dell'attività nell'interfaccia web. Le cause più comuni sono un bridge assente sul nodo di destinazione, uno storage non disponibile, un'ISO ancora montata su uno storage locale o un tipo di processore host incompatibile. Rimuovi l'ISO con qm set 100 --ide2 none,media=cdrom.