中文

应用程序

搭建 Proxmox VE 集群:仲裁与 QDevice

创建 Proxmox VE 集群,了解仲裁机制,使用 QDevice 保障双节点集群,迁移虚拟机,并了解网络和硬件方面的限制。

阅读约 10 分钟, 更新于 2026年11月18日

本页内容

本指南介绍如何将多台 Proxmox VE 服务器组成集群、仲裁(quorum)的工作原理、如何使用 QDevice 提高双节点集群的可靠性,以及在开始之前需要确认哪些限制。

集群让您可以在同一界面中管理所有节点、共享配置,并在服务器之间迁移虚拟机。它不能替代备份,仅靠它本身也不构成高可用方案。

确认集群是否适合您

关键在于服务器之间的网络。

要求 详情
延迟 所有节点之间低于 5 ms,以保证稳定运行
稳定性 Corosync 对延迟波动很敏感:请避免使用被存储或备份流量占用的链路
端口 UDP 5405-5412(Corosync)、TCP 22(SSH)、TCP 8006(API)、TCP 60000-60050(迁移)
时钟 所有节点时间同步
版本 所有节点使用相同版本的 Proxmox VE
身份 主机名和 IP 地址须为最终值:集群创建后无法再更改
新节点 加入集群的服务器上没有虚拟机或容器

集群不会自动提供的功能

  • 未配置高可用(HA)时,虚拟机不会自动故障转移。
  • HA 至少需要 3 个节点、共享存储和硬件冗余。
  • 本地磁盘不会自动跟随:使用本地磁盘的虚拟机在迁移时会被复制,一旦其所在节点发生故障,该虚拟机将无法访问。
  • 私有网络和 NAT 仍是本地的:每个节点上都必须存在 vmbr1,端口转发仍绑定在原服务器的公网地址上。
  • 热迁移仅在同一厂商的处理器之间才有保证。

前提条件

  • 至少 2 台已安装 Proxmox VE 的服务器,例如按照安装和配置 Proxmox VE指南安装
  • 每台服务器的 root SSH 访问权限和 KVM IP
  • 已知现有节点的 root 密码
  • 虚拟机的近期备份

示例使用一个专用于集群的网络:

节点 名称 集群网络地址
1 pve1 10.30.30.11
2 pve2 10.30.30.12
3(可选) pve3 10.30.30.13
QDevice(双节点集群) arbitre 10.30.30.20

了解仲裁

每个节点拥有一票。要修改集群状态,必须获得多数票,这就是仲裁。它可以防止两个彼此隔离的部分各自修改配置(split-brain,脑裂)。

节点数 所需票数 可容忍的故障数
2 2 0
2 + QDevice 3 票中需 2 票 1
3 2 1
4 3 1
5 3 2

没有仲裁时,集群会进入只读状态:/etc/pve 无法修改,您也无法启动虚拟机或更改其配置。只要未使用 HA,已启动的虚拟机会继续运行。使用 HA 时,被隔离的节点可能会被强制停止(fencing)以保护数据。

步骤 1:准备每个节点

在所有节点上更新系统,然后检查以下各项:

终端
apt update
apt full-upgrade
pveversion
hostname
hostname --ip-address
chronyc tracking

在将要加入集群的节点上,确认没有任何虚拟机或容器:

终端
qm list
pct list

如果节点上已有虚拟机或容器,请先备份并删除,待加入集群后再以未被占用的 ID 恢复。加入集群会替换 /etc/pve 中的配置,包括存储配置。

从每个节点测试到其他节点的集群网络:

终端
ping -c 20 10.30.30.12

摘要中的 avg 列应保持低于 5 ms,且没有丢包。

调整防火墙

如果您按照安装指南的建议将 local_network 配置为服务器地址,请在创建集群之前,在每个节点的 /etc/pve/firewall/cluster.fw 中将该值替换为集群网络:

配置
[ALIASES]
local_network 10.30.30.0/24

然后检查:

终端
pve-firewall localnet

Proxmox 防火墙会自动为该网络生成 Corosync 规则,并将其加入管理主机。集群创建后,同一命令会列出 Corosync 流量允许的节点:请确认每个节点都在其中。如果您在 /etc/default/pveproxy 中使用了 ALLOW_FROM,也请将各节点的地址添加进去。

步骤 2:创建集群

仅在 pve1 上执行。集群名称之后无法再修改。

终端
pvecm create my-cluster --link0 10.30.30.11
pvecm status

在 Web 界面中,对应的操作位于 Datacenter → Cluster → Create Cluster。

步骤 3:添加其他节点

通过 SSH 连接到要添加的节点,此处为 pve2:

终端
pvecm add 10.30.30.11 --link0 10.30.30.12

该命令会要求输入 pve1 的 root 密码,并让您确认其证书指纹。请将其与 pve1 → System → Certificates 中显示的指纹进行比对。

在 Web 界面中,请在 pve1 上使用 Datacenter → Cluster → Join Information,然后在 pve2 上使用 Join Cluster。加入后,节点的证书会发生变化:请刷新页面并重新登录。

请逐个添加节点,每次添加后都检查状态。

步骤 4:验证集群

终端
pvecm status
pvecm nodes
systemctl status corosync pve-cluster --no-pager

在 pvecm status 中,请检查以下各行:

行 预期值
Quorate Yes
Nodes 预期的节点数
Expected votes 总票数
Flags Quorate

在一个节点上创建测试文件,并在另一个节点上读取:/etc/pve 是实时复制的。

终端
echo test > /etc/pve/test-cluster.txt
终端
cat /etc/pve/test-cluster.txt
rm /etc/pve/test-cluster.txt

步骤 5:为双节点集群添加 QDevice

QDevice 通过一台外部机器提供第三票。它不运行虚拟机,也不需要 Corosync 所要求的低延迟。请选择一台独立于两个节点的 Debian 机器:一台小型服务器即可,前提是它不托管在这两个节点中的任何一个上。

节点数 Proxmox 建议
2 建议使用 QDevice
其他偶数 可以使用 QDevice
奇数 不建议:它几乎会成为单点故障

安装软件包

在外部机器上:

终端
apt update
apt install corosync-qnetd

在集群的每个节点上:

终端
apt install corosync-qdevice

开放访问

外部机器必须接受以下连接,且仅限来自各节点:

  • corosync-qnetd 服务使用的 TCP 5403
  • 配置期间供 root 使用的 SSH

如果外部机器使用 UFW,请对每个节点重复执行:

终端
ufw allow from 10.30.30.11 to any port 5403 proto tcp
ufw allow from 10.30.30.11 to any port 22 proto tcp

下一条命令会将集群的 SSH 密钥复制到外部机器。请配置 root 密钥登录,或临时允许 root 使用密码登录。

启用 QDevice

确认所有节点都在线,然后在其中一个节点上执行:

终端
pvecm qdevice setup 10.30.30.20
pvecm status

结果应类似于:

文本
Expected votes:   3
Highest expected: 3
Total votes:      3
Quorum:           2
Flags:            Quorate Qdevice

Membership information
    Nodeid      Votes    Qdevice Name
0x00000001          1    A,V,NMW 10.30.30.11 (local)
0x00000002          1    A,V,NMW 10.30.30.12
0x00000000          1            Qdevice
标志 含义
A / NA 与 corosync-qnetd 的通信是否处于活动状态
V / NV QDevice 是否将其选票投给该节点
NMW 默认设置(Not Master Wins)

如果您此前放宽了外部机器的 SSH 限制,请随后恢复。

步骤 6:测试受控故障

请在非生产环境中、完成备份后进行此测试。在带 QDevice 或有 3 个节点的集群中,停止一个没有重要虚拟机的节点,然后在另一个节点上观察:

终端
pvecm status

Quorate 应保持为 Yes。然后重新启动该节点,并确认它重新出现在 pvecm nodes 中。

迁移虚拟机

已关机或正在运行的虚拟机都可以在节点之间迁移:

终端
qm migrate 100 pve2
qm migrate 100 pve2 --online
qm migrate 100 pve2 --online --with-local-disks

最后一条命令还会复制本地磁盘,可能耗时较长。迁移前,请确认:

  • 目标节点上存在相同的网桥(例如 vmbr1);
  • 目标存储有足够的空间;
  • 虚拟机的处理器类型兼容,在不同机器之间,x86-64-v2-AES 优于 host。

迁移流量默认经过加密。如果网络并非完全由您控制,请保持此模式。如果虚拟机使用某个节点的 NAT,其端口转发不会随之迁移,正在进行的连接也会中断。

高可用与复制

HA 会在发生故障后自动在另一个节点上重启虚拟机。Proxmox 要求至少 3 个节点、共享存储和冗余硬件。检测和重启大约需要 2 分钟。

没有共享存储时,ZFS 复制会定期将磁盘复制到另一个节点。它是异步的:发生故障时,自上次复制以来写入的数据将会丢失。

更新

请一次更新一个节点:

  1. 使用 pvecm status 确认集群状态正常。
  2. 迁移该节点上的虚拟机,或将其正常关闭。
  3. 执行 apt update,然后执行 apt full-upgrade。
  4. 如有需要请重启,并等待该节点重新出现在 pvecm nodes 中。
  5. 检查仲裁,然后处理下一个节点。

请勿让各节点长时间处于不同版本。进行大版本升级时,请按照 Proxmox 的升级指南操作。

备份

/etc/pve 的复制不是备份:错误操作或删除会立即传播到所有节点。请在 Datacenter → Backup 中配置备份,并存放到外部存储。

HostMyServers 的 Proxmox Backup Server 服务可在数据中心级别添加,之后各节点均可使用。请参阅将 PBS 连接到 Proxmox VE。

移除节点

  1. 迁移其所有虚拟机和容器,然后备份其本地数据。

  2. 删除其复制任务。如果有 QDevice,请将其移除。

  3. 使用 pvecm nodes 记下节点名称,然后将其关机。

  4. 在另一个节点上执行:

    终端
    pvecm delnode pve3
    pvecm nodes

错误 could not kill node (error = cs_err_not_exist) 可以忽略。旧文件仍保留在 /etc/pve/nodes/pve3 中:请取回您需要的内容,然后删除该目录。要让该服务器重新加入集群,请先重新安装 Proxmox VE,再将其添加回来。

故障排除

this host already contains virtual guests

要添加的节点上存在虚拟机或容器。请将其备份并删除,加入集群后再以未被占用的 ID 恢复。

corosync is already running, is this node already in a cluster?!

该服务器已属于某个集群,或之前的尝试留下了残余。请使用 pvecm status 检查。最干净的解决办法是重新安装该节点。

cluster not ready - no quorum?

该节点没有仲裁,/etc/pve 处于只读状态。

终端
pvecm status
systemctl status corosync --no-pager
journalctl -b -u corosync --no-pager | tail -n 50

请先恢复网络或缺失的节点。万不得已时,且仅在您确定另一部分确实已停止运行的情况下,才可执行:

终端
pvecm expected 1

Corosync 链路频繁断开

journalctl -u corosync 中出现链路 down 或 Retransmit 消息,表明网络不稳定或已饱和。请测量延迟,并将 Corosync 与存储和备份流量分开。您也可以使用 --link1 配置第二条链路。

Host key verification failed

更新集群的证书和 SSH 指纹:

终端
pvecm updatecerts

QDevice 显示为 NA

节点无法访问 corosync-qnetd。请在外部机器上检查该服务和 TCP 5403 端口:

终端
systemctl status corosync-qnetd --no-pager
ss -tln | grep 5403

然后在节点上测试连通性:

终端
timeout 3 bash -c '</dev/tcp/10.30.30.20/5403' && echo "端口可达"

迁移失败

请在 Web 界面中查看任务日志。常见原因包括目标节点上缺少网桥、存储不可用、本地存储上的 ISO 仍处于挂载状态,或 host 处理器类型不兼容。可使用 qm set 100 --ide2 none,media=cdrom 移除 ISO。

参考