RU

Приложения

Создание кластера Proxmox VE, кворум и QDevice

Создание кластера Proxmox VE, принцип работы кворума, защита кластера из 2 узлов с помощью QDevice, миграция ВМ, сетевые и аппаратные ограничения.

10 мин чтения, обновлено 18 ноября 2026 г.

На этой странице

В этом руководстве описано, как объединить несколько серверов Proxmox VE в кластер, как работает кворум, как повысить надёжность кластера из 2 узлов с помощью QDevice и какие ограничения следует проверить перед началом.

Кластер позволяет управлять всеми узлами из одного интерфейса, использовать общую конфигурацию и переносить ВМ между серверами. Он не заменяет резервное копирование и сам по себе не является решением высокой доступности.

Подходит ли вам кластер

Решающее значение имеет сеть между вашими серверами.

Требование Подробности
Задержка Менее 5 мс между всеми узлами для стабильной работы
Стабильность Corosync чувствителен к колебаниям задержки: не используйте канал, нагруженный трафиком хранилища или резервного копирования
Порты UDP 5405-5412 (Corosync), TCP 22 (SSH), TCP 8006 (API), TCP 60000-60050 (миграция)
Часы Синхронизированное время на всех узлах
Версии Одна и та же версия Proxmox VE на всех узлах
Идентификация Окончательные имя хоста и IP-адрес: после создания кластера их изменить нельзя
Новый узел Никаких ВМ и контейнеров на сервере, который присоединяется к кластеру

Чего кластер не даёт автоматически

  • Нет автоматического переключения ВМ без настройки высокой доступности (HA).
  • Для HA нужно не менее 3 узлов, общее хранилище и аппаратное резервирование.
  • Локальные диски сами не перемещаются: ВМ на локальном диске копируется при миграции и становится недоступной, если её узел выходит из строя.
  • Частные сети и NAT остаются локальными: vmbr1 должен существовать на каждом узле, а пробросы портов остаются привязанными к публичному адресу исходного сервера.
  • Живая миграция гарантируется только между процессорами одного производителя.

Предварительные требования

  • Не менее 2 серверов с установленным Proxmox VE, например по руководству Установка и настройка Proxmox VE
  • Доступ root по SSH и KVM IP для каждого сервера
  • Известный пароль root существующего узла
  • Свежая резервная копия ваших ВМ

В примерах используется выделенная сеть кластера:

Узел Имя Адрес в сети кластера
1 pve1 10.30.30.11
2 pve2 10.30.30.12
3 (необязательно) pve3 10.30.30.13
QDevice (кластер из 2 узлов) arbitre 10.30.30.20

Что такое кворум

У каждого узла есть один голос. Чтобы изменить состояние кластера, необходимо большинство голосов — это и есть кворум. Он не позволяет двум изолированным частям менять конфигурацию независимо друг от друга (split-brain).

Узлы Необходимо голосов Допустимо отказов
2 2 0
2 + QDevice 2 из 3 1
3 2 1
4 3 1
5 3 2

Без кворума кластер переходит в режим только для чтения: /etc/pve больше нельзя изменять, вы не можете запускать ВМ и менять их конфигурацию. Уже запущенные ВМ продолжают работать, пока не используется HA. При использовании HA изолированный узел может быть принудительно остановлен (fencing) для защиты данных.

Шаг 1: подготовить каждый узел

На всех узлах обновите систему, затем проверьте следующее:

Терминал
apt update
apt full-upgrade
pveversion
hostname
hostname --ip-address
chronyc tracking

На узле или узлах, которые будут присоединяться к кластеру, убедитесь в отсутствии ВМ и контейнеров:

Терминал
qm list
pct list

Если на узле уже есть машины, создайте их резервные копии, удалите их, а после присоединения восстановите под свободными идентификаторами. Присоединение заменяет конфигурацию /etc/pve, включая конфигурацию хранилищ.

Проверьте сеть кластера с каждого узла до остальных:

Терминал
ping -c 20 10.30.30.12

Значение в столбце avg итоговой статистики должно оставаться ниже 5 мс, без потери пакетов.

Настройка брандмауэра

Если вы задали для local_network адрес сервера, как предлагается в руководстве по установке, замените это значение на сеть кластера в /etc/pve/firewall/cluster.fw на каждом узле до создания кластера:

Конфигурация
[ALIASES]
local_network 10.30.30.0/24

Затем проверьте:

Терминал
pve-firewall localnet

Брандмауэр Proxmox автоматически создаёт правила Corosync для этой сети и добавляет её к хостам управления. После создания кластера эта же команда выводит узлы, для которых разрешён трафик Corosync: убедитесь, что в списке есть каждый из них. Если вы используете ALLOW_FROM в /etc/default/pveproxy, добавьте туда и адреса узлов.

Шаг 2: создать кластер

Только на pve1. Впоследствии имя кластера изменить нельзя.

Терминал
pvecm create my-cluster --link0 10.30.30.11
pvecm status

В веб-интерфейсе то же самое находится в разделе Datacenter → Cluster → Create Cluster.

Шаг 3: добавить остальные узлы

Подключитесь по SSH к добавляемому узлу, в данном случае pve2:

Терминал
pvecm add 10.30.30.11 --link0 10.30.30.12

Команда запросит пароль root узла pve1 и попросит подтвердить отпечаток его сертификата. Сравните его с отпечатком, показанным в разделе pve1 → System → Certificates.

В веб-интерфейсе используйте Datacenter → Cluster → Join Information на pve1, затем Join Cluster на pve2. После присоединения сертификат узла изменится: обновите страницу и войдите снова.

Добавляйте узлы по одному, проверяя состояние после каждого добавления.

Шаг 4: проверить кластер

Терминал
pvecm status
pvecm nodes
systemctl status corosync pve-cluster --no-pager

В выводе pvecm status проверьте следующие строки:

Строка Ожидаемое значение
Quorate Yes
Nodes Запланированное число узлов
Expected votes Общее число голосов
Flags Quorate

Создайте тестовый файл на одном узле и прочитайте его на другом: /etc/pve реплицируется в реальном времени.

Терминал
echo test > /etc/pve/test-cluster.txt
Терминал
cat /etc/pve/test-cluster.txt
rm /etc/pve/test-cluster.txt

Шаг 5: добавить QDevice в кластер из 2 узлов

QDevice добавляет третий голос с внешней машины. На нём не выполняются ВМ, и ему не нужна низкая задержка, которой требует Corosync. Выберите машину под управлением Debian, не зависящую от обоих узлов: подойдёт небольшой сервер при условии, что он не размещён на одном из двух узлов.

Число узлов Рекомендация Proxmox
2 QDevice рекомендуется
Другое чётное число QDevice возможен
Нечётное число Не рекомендуется: он становится почти единой точкой отказа

Установка пакетов

На внешней машине:

Терминал
apt update
apt install corosync-qnetd

На каждом узле кластера:

Терминал
apt install corosync-qdevice

Открытие доступа

Внешняя машина должна принимать, только от узлов:

  • TCP 5403 для службы corosync-qnetd
  • SSH для root на время настройки

При использовании UFW на внешней машине повторите для каждого узла:

Терминал
ufw allow from 10.30.30.11 to any port 5403 proto tcp
ufw allow from 10.30.30.11 to any port 22 proto tcp

Следующая команда копирует SSH-ключ кластера на внешнюю машину. Настройте для root вход по ключу или временно разрешите root вход по паролю.

Активация QDevice

Убедитесь, что все узлы в сети, затем выполните на одном узле:

Терминал
pvecm qdevice setup 10.30.30.20
pvecm status

Результат должен выглядеть примерно так:

Текст
Expected votes:   3
Highest expected: 3
Total votes:      3
Quorum:           2
Flags:            Quorate Qdevice

Membership information
    Nodeid      Votes    Qdevice Name
0x00000001          1    A,V,NMW 10.30.30.11 (local)
0x00000002          1    A,V,NMW 10.30.30.12
0x00000000          1            Qdevice
Индикатор Значение
A / NA Связь с corosync-qnetd активна или нет
V / NV QDevice отдаёт или не отдаёт свой голос узлу
NMW Настройка по умолчанию (Not Master Wins)

Затем верните ограничение SSH на внешней машине, если вы его ослабляли.

Шаг 6: проверить контролируемый отказ

Выполняйте эту проверку вне рабочей среды и после создания резервных копий. В кластере с QDevice или из 3 узлов остановите узел без важных ВМ, затем наблюдайте за состоянием с другого узла:

Терминал
pvecm status

Quorate должен оставаться Yes. Затем снова запустите узел и убедитесь, что он вернулся в pvecm nodes.

Миграция ВМ

Выключенную или работающую ВМ можно перемещать между узлами:

Терминал
qm migrate 100 pve2
qm migrate 100 pve2 --online
qm migrate 100 pve2 --online --with-local-disks

Последняя команда также копирует локальные диски, что может занять много времени. Перед миграцией убедитесь, что:

  • на целевом узле существует тот же мост (например, vmbr1);
  • в целевом хранилище достаточно места;
  • тип процессора ВМ совместим: между разными машинами x86-64-v2-AES предпочтительнее, чем host.

Трафик миграции по умолчанию шифруется. Сохраняйте этот режим, если сеть не находится полностью под вашим контролем. Если ВМ использует NAT узла, её пробросы портов не перейдут вместе с ней, а текущие соединения будут прерваны.

Высокая доступность и репликация

HA автоматически перезапускает ВМ на другом узле после отказа. Proxmox требует не менее 3 узлов, общее хранилище и резервированное оборудование. Обнаружение отказа и перезапуск занимают около 2 минут.

Без общего хранилища репликация ZFS регулярно копирует диски на другой узел. Она асинхронна: при отказе данные, записанные после последней репликации, теряются.

Обновления

Обновляйте по одному узлу за раз:

  1. Убедитесь, что кластер исправен, с помощью pvecm status.
  2. Перенесите ВМ с этого узла или корректно остановите их.
  3. Выполните apt update, затем apt full-upgrade.
  4. При необходимости перезагрузите узел и дождитесь его появления в pvecm nodes.
  5. Проверьте кворум, затем переходите к следующему узлу.

Не оставляйте узлы на разных версиях дольше необходимого. При переходе на новую основную версию следуйте руководству по обновлению от Proxmox.

Резервное копирование

Репликация /etc/pve не является резервной копией: ошибка или удаление немедленно распространяются на все узлы. Настройте резервное копирование в разделе Datacenter → Backup на внешнее хранилище.

Услуга Proxmox Backup Server от HostMyServers добавляется на уровне датацентра и становится доступной для узлов. См. руководство Подключение PBS к Proxmox VE.

Удаление узла

  1. Перенесите все его ВМ и контейнеры, затем сохраните его локальные данные.

  2. Удалите его задания репликации. Удалите QDevice, если он есть.

  3. Запишите имя узла с помощью pvecm nodes, затем выключите его.

  4. С другого узла выполните:

    Терминал
    pvecm delnode pve3
    pvecm nodes

Ошибку could not kill node (error = cs_err_not_exist) можно игнорировать. Старые файлы остаются в /etc/pve/nodes/pve3: заберите то, что вам нужно, затем удалите этот каталог. Чтобы вернуть сервер в кластер, переустановите Proxmox VE, прежде чем добавлять его снова.

Устранение неполадок

this host already contains virtual guests

На добавляемом узле есть ВМ или контейнеры. Создайте их резервные копии, удалите их, присоединитесь к кластеру, затем восстановите их под свободными идентификаторами.

corosync is already running, is this node already in a cluster?!

Сервер уже входит в кластер, или предыдущая попытка оставила следы. Проверьте с помощью pvecm status. Самое чистое решение — переустановить узел.

cluster not ready - no quorum?

У узла нет кворума, и /etc/pve доступен только для чтения.

Терминал
pvecm status
systemctl status corosync --no-pager
journalctl -b -u corosync --no-pager | tail -n 50

Сначала восстановите сеть или отсутствующий узел. В крайнем случае, и только если вы уверены, что другая часть действительно остановлена:

Терминал
pvecm expected 1

Каналы Corosync регулярно отключаются

Сообщения о канале в состоянии down или записи Retransmit в journalctl -u corosync указывают на нестабильную или перегруженную сеть. Измерьте задержку и отделите Corosync от трафика хранилища и резервного копирования. Можно также предусмотреть второй канал с помощью --link1.

Host key verification failed

Обновите сертификаты и отпечатки SSH кластера:

Терминал
pvecm updatecerts

QDevice отображается как NA

Узел не может связаться с corosync-qnetd. На внешней машине проверьте службу и порт TCP 5403:

Терминал
systemctl status corosync-qnetd --no-pager
ss -tln | grep 5403

Затем проверьте доступ с узла:

Терминал
timeout 3 bash -c '</dev/tcp/10.30.30.20/5403' && echo "порт доступен"

Миграция завершается ошибкой

Прочитайте журнал задачи в веб-интерфейсе. Частые причины: отсутствие моста на целевом узле, недоступное хранилище, ISO-образ, всё ещё смонтированный из локального хранилища, или несовместимый тип процессора host. Извлеките ISO-образ командой qm set 100 --ide2 none,media=cdrom.

Ссылки