搭建 Proxmox VE 集群:仲裁与 QDevice
创建 Proxmox VE 集群,了解仲裁机制,使用 QDevice 保障双节点集群,迁移虚拟机,并了解网络和硬件方面的限制。
本页内容
本指南介绍如何将多台 Proxmox VE 服务器组成集群、仲裁(quorum)的工作原理、如何使用 QDevice 提高双节点集群的可靠性,以及在开始之前需要确认哪些限制。
集群让您可以在同一界面中管理所有节点、共享配置,并在服务器之间迁移虚拟机。它不能替代备份,仅靠它本身也不构成高可用方案。
确认集群是否适合您
关键在于服务器之间的网络。
| 要求 | 详情 |
|---|---|
| 延迟 | 所有节点之间低于 5 ms,以保证稳定运行 |
| 稳定性 | Corosync 对延迟波动很敏感:请避免使用被存储或备份流量占用的链路 |
| 端口 | UDP 5405-5412(Corosync)、TCP 22(SSH)、TCP 8006(API)、TCP 60000-60050(迁移) |
| 时钟 | 所有节点时间同步 |
| 版本 | 所有节点使用相同版本的 Proxmox VE |
| 身份 | 主机名和 IP 地址须为最终值:集群创建后无法再更改 |
| 新节点 | 加入集群的服务器上没有虚拟机或容器 |
集群不会自动提供的功能
- 未配置高可用(HA)时,虚拟机不会自动故障转移。
- HA 至少需要 3 个节点、共享存储和硬件冗余。
- 本地磁盘不会自动跟随:使用本地磁盘的虚拟机在迁移时会被复制,一旦其所在节点发生故障,该虚拟机将无法访问。
- 私有网络和 NAT 仍是本地的:每个节点上都必须存在
vmbr1,端口转发仍绑定在原服务器的公网地址上。 - 热迁移仅在同一厂商的处理器之间才有保证。
前提条件
- 至少 2 台已安装 Proxmox VE 的服务器,例如按照安装和配置 Proxmox VE指南安装
- 每台服务器的
rootSSH 访问权限和 KVM IP - 已知现有节点的
root密码 - 虚拟机的近期备份
示例使用一个专用于集群的网络:
| 节点 | 名称 | 集群网络地址 |
|---|---|---|
| 1 | pve1 |
10.30.30.11 |
| 2 | pve2 |
10.30.30.12 |
| 3(可选) | pve3 |
10.30.30.13 |
| QDevice(双节点集群) | arbitre |
10.30.30.20 |
了解仲裁
每个节点拥有一票。要修改集群状态,必须获得多数票,这就是仲裁。它可以防止两个彼此隔离的部分各自修改配置(split-brain,脑裂)。
| 节点数 | 所需票数 | 可容忍的故障数 |
|---|---|---|
| 2 | 2 | 0 |
| 2 + QDevice | 3 票中需 2 票 | 1 |
| 3 | 2 | 1 |
| 4 | 3 | 1 |
| 5 | 3 | 2 |
没有仲裁时,集群会进入只读状态:/etc/pve 无法修改,您也无法启动虚拟机或更改其配置。只要未使用 HA,已启动的虚拟机会继续运行。使用 HA 时,被隔离的节点可能会被强制停止(fencing)以保护数据。
步骤 1:准备每个节点
在所有节点上更新系统,然后检查以下各项:
apt update
apt full-upgrade
pveversion
hostname
hostname --ip-address
chronyc tracking在将要加入集群的节点上,确认没有任何虚拟机或容器:
qm list
pct list如果节点上已有虚拟机或容器,请先备份并删除,待加入集群后再以未被占用的 ID 恢复。加入集群会替换 /etc/pve 中的配置,包括存储配置。
从每个节点测试到其他节点的集群网络:
ping -c 20 10.30.30.12摘要中的 avg 列应保持低于 5 ms,且没有丢包。
调整防火墙
如果您按照安装指南的建议将 local_network 配置为服务器地址,请在创建集群之前,在每个节点的 /etc/pve/firewall/cluster.fw 中将该值替换为集群网络:
[ALIASES]
local_network 10.30.30.0/24然后检查:
pve-firewall localnetProxmox 防火墙会自动为该网络生成 Corosync 规则,并将其加入管理主机。集群创建后,同一命令会列出 Corosync 流量允许的节点:请确认每个节点都在其中。如果您在 /etc/default/pveproxy 中使用了 ALLOW_FROM,也请将各节点的地址添加进去。
步骤 2:创建集群
仅在 pve1 上执行。集群名称之后无法再修改。
pvecm create my-cluster --link0 10.30.30.11
pvecm status在 Web 界面中,对应的操作位于 Datacenter → Cluster → Create Cluster。
步骤 3:添加其他节点
通过 SSH 连接到要添加的节点,此处为 pve2:
pvecm add 10.30.30.11 --link0 10.30.30.12该命令会要求输入 pve1 的 root 密码,并让您确认其证书指纹。请将其与 pve1 → System → Certificates 中显示的指纹进行比对。
在 Web 界面中,请在 pve1 上使用 Datacenter → Cluster → Join Information,然后在 pve2 上使用 Join Cluster。加入后,节点的证书会发生变化:请刷新页面并重新登录。
请逐个添加节点,每次添加后都检查状态。
步骤 4:验证集群
pvecm status
pvecm nodes
systemctl status corosync pve-cluster --no-pager在 pvecm status 中,请检查以下各行:
| 行 | 预期值 |
|---|---|
Quorate |
Yes |
Nodes |
预期的节点数 |
Expected votes |
总票数 |
Flags |
Quorate |
在一个节点上创建测试文件,并在另一个节点上读取:/etc/pve 是实时复制的。
echo test > /etc/pve/test-cluster.txtcat /etc/pve/test-cluster.txt
rm /etc/pve/test-cluster.txt步骤 5:为双节点集群添加 QDevice
QDevice 通过一台外部机器提供第三票。它不运行虚拟机,也不需要 Corosync 所要求的低延迟。请选择一台独立于两个节点的 Debian 机器:一台小型服务器即可,前提是它不托管在这两个节点中的任何一个上。
| 节点数 | Proxmox 建议 |
|---|---|
| 2 | 建议使用 QDevice |
| 其他偶数 | 可以使用 QDevice |
| 奇数 | 不建议:它几乎会成为单点故障 |
安装软件包
在外部机器上:
apt update
apt install corosync-qnetd在集群的每个节点上:
apt install corosync-qdevice开放访问
外部机器必须接受以下连接,且仅限来自各节点:
corosync-qnetd服务使用的 TCP 5403- 配置期间供
root使用的 SSH
如果外部机器使用 UFW,请对每个节点重复执行:
ufw allow from 10.30.30.11 to any port 5403 proto tcp
ufw allow from 10.30.30.11 to any port 22 proto tcp下一条命令会将集群的 SSH 密钥复制到外部机器。请配置 root 密钥登录,或临时允许 root 使用密码登录。
启用 QDevice
确认所有节点都在线,然后在其中一个节点上执行:
pvecm qdevice setup 10.30.30.20
pvecm status结果应类似于:
Expected votes: 3
Highest expected: 3
Total votes: 3
Quorum: 2
Flags: Quorate Qdevice
Membership information
Nodeid Votes Qdevice Name
0x00000001 1 A,V,NMW 10.30.30.11 (local)
0x00000002 1 A,V,NMW 10.30.30.12
0x00000000 1 Qdevice| 标志 | 含义 |
|---|---|
A / NA |
与 corosync-qnetd 的通信是否处于活动状态 |
V / NV |
QDevice 是否将其选票投给该节点 |
NMW |
默认设置(Not Master Wins) |
如果您此前放宽了外部机器的 SSH 限制,请随后恢复。
步骤 6:测试受控故障
请在非生产环境中、完成备份后进行此测试。在带 QDevice 或有 3 个节点的集群中,停止一个没有重要虚拟机的节点,然后在另一个节点上观察:
pvecm statusQuorate 应保持为 Yes。然后重新启动该节点,并确认它重新出现在 pvecm nodes 中。
迁移虚拟机
已关机或正在运行的虚拟机都可以在节点之间迁移:
qm migrate 100 pve2
qm migrate 100 pve2 --online
qm migrate 100 pve2 --online --with-local-disks最后一条命令还会复制本地磁盘,可能耗时较长。迁移前,请确认:
- 目标节点上存在相同的网桥(例如
vmbr1); - 目标存储有足够的空间;
- 虚拟机的处理器类型兼容,在不同机器之间,
x86-64-v2-AES优于host。
迁移流量默认经过加密。如果网络并非完全由您控制,请保持此模式。如果虚拟机使用某个节点的 NAT,其端口转发不会随之迁移,正在进行的连接也会中断。
高可用与复制
HA 会在发生故障后自动在另一个节点上重启虚拟机。Proxmox 要求至少 3 个节点、共享存储和冗余硬件。检测和重启大约需要 2 分钟。
没有共享存储时,ZFS 复制会定期将磁盘复制到另一个节点。它是异步的:发生故障时,自上次复制以来写入的数据将会丢失。
更新
请一次更新一个节点:
- 使用
pvecm status确认集群状态正常。 - 迁移该节点上的虚拟机,或将其正常关闭。
- 执行
apt update,然后执行apt full-upgrade。 - 如有需要请重启,并等待该节点重新出现在
pvecm nodes中。 - 检查仲裁,然后处理下一个节点。
请勿让各节点长时间处于不同版本。进行大版本升级时,请按照 Proxmox 的升级指南操作。
备份
/etc/pve 的复制不是备份:错误操作或删除会立即传播到所有节点。请在 Datacenter → Backup 中配置备份,并存放到外部存储。
HostMyServers 的 Proxmox Backup Server 服务可在数据中心级别添加,之后各节点均可使用。请参阅将 PBS 连接到 Proxmox VE。
移除节点
-
迁移其所有虚拟机和容器,然后备份其本地数据。
-
删除其复制任务。如果有 QDevice,请将其移除。
-
使用
pvecm nodes记下节点名称,然后将其关机。 -
在另一个节点上执行:
终端pvecm delnode pve3 pvecm nodes
错误 could not kill node (error = cs_err_not_exist) 可以忽略。旧文件仍保留在 /etc/pve/nodes/pve3 中:请取回您需要的内容,然后删除该目录。要让该服务器重新加入集群,请先重新安装 Proxmox VE,再将其添加回来。
故障排除
this host already contains virtual guests
要添加的节点上存在虚拟机或容器。请将其备份并删除,加入集群后再以未被占用的 ID 恢复。
corosync is already running, is this node already in a cluster?!
该服务器已属于某个集群,或之前的尝试留下了残余。请使用 pvecm status 检查。最干净的解决办法是重新安装该节点。
cluster not ready - no quorum?
该节点没有仲裁,/etc/pve 处于只读状态。
pvecm status
systemctl status corosync --no-pager
journalctl -b -u corosync --no-pager | tail -n 50请先恢复网络或缺失的节点。万不得已时,且仅在您确定另一部分确实已停止运行的情况下,才可执行:
pvecm expected 1Corosync 链路频繁断开
journalctl -u corosync 中出现链路 down 或 Retransmit 消息,表明网络不稳定或已饱和。请测量延迟,并将 Corosync 与存储和备份流量分开。您也可以使用 --link1 配置第二条链路。
Host key verification failed
更新集群的证书和 SSH 指纹:
pvecm updatecertsQDevice 显示为 NA
节点无法访问 corosync-qnetd。请在外部机器上检查该服务和 TCP 5403 端口:
systemctl status corosync-qnetd --no-pager
ss -tln | grep 5403然后在节点上测试连通性:
timeout 3 bash -c '</dev/tcp/10.30.30.20/5403' && echo "端口可达"迁移失败
请在 Web 界面中查看任务日志。常见原因包括目标节点上缺少网桥、存储不可用、本地存储上的 ISO 仍处于挂载状态,或 host 处理器类型不兼容。可使用 qm set 100 --ide2 none,media=cdrom 移除 ISO。