Создание кластера Proxmox VE, кворум и QDevice
Создание кластера Proxmox VE, принцип работы кворума, защита кластера из 2 узлов с помощью QDevice, миграция ВМ, сетевые и аппаратные ограничения.
На этой странице
В этом руководстве описано, как объединить несколько серверов Proxmox VE в кластер, как работает кворум, как повысить надёжность кластера из 2 узлов с помощью QDevice и какие ограничения следует проверить перед началом.
Кластер позволяет управлять всеми узлами из одного интерфейса, использовать общую конфигурацию и переносить ВМ между серверами. Он не заменяет резервное копирование и сам по себе не является решением высокой доступности.
Подходит ли вам кластер
Решающее значение имеет сеть между вашими серверами.
| Требование | Подробности |
|---|---|
| Задержка | Менее 5 мс между всеми узлами для стабильной работы |
| Стабильность | Corosync чувствителен к колебаниям задержки: не используйте канал, нагруженный трафиком хранилища или резервного копирования |
| Порты | UDP 5405-5412 (Corosync), TCP 22 (SSH), TCP 8006 (API), TCP 60000-60050 (миграция) |
| Часы | Синхронизированное время на всех узлах |
| Версии | Одна и та же версия Proxmox VE на всех узлах |
| Идентификация | Окончательные имя хоста и IP-адрес: после создания кластера их изменить нельзя |
| Новый узел | Никаких ВМ и контейнеров на сервере, который присоединяется к кластеру |
Чего кластер не даёт автоматически
- Нет автоматического переключения ВМ без настройки высокой доступности (HA).
- Для HA нужно не менее 3 узлов, общее хранилище и аппаратное резервирование.
- Локальные диски сами не перемещаются: ВМ на локальном диске копируется при миграции и становится недоступной, если её узел выходит из строя.
- Частные сети и NAT остаются локальными:
vmbr1должен существовать на каждом узле, а пробросы портов остаются привязанными к публичному адресу исходного сервера. - Живая миграция гарантируется только между процессорами одного производителя.
Предварительные требования
- Не менее 2 серверов с установленным Proxmox VE, например по руководству Установка и настройка Proxmox VE
- Доступ
rootпо SSH и KVM IP для каждого сервера - Известный пароль
rootсуществующего узла - Свежая резервная копия ваших ВМ
В примерах используется выделенная сеть кластера:
| Узел | Имя | Адрес в сети кластера |
|---|---|---|
| 1 | pve1 |
10.30.30.11 |
| 2 | pve2 |
10.30.30.12 |
| 3 (необязательно) | pve3 |
10.30.30.13 |
| QDevice (кластер из 2 узлов) | arbitre |
10.30.30.20 |
Что такое кворум
У каждого узла есть один голос. Чтобы изменить состояние кластера, необходимо большинство голосов — это и есть кворум. Он не позволяет двум изолированным частям менять конфигурацию независимо друг от друга (split-brain).
| Узлы | Необходимо голосов | Допустимо отказов |
|---|---|---|
| 2 | 2 | 0 |
| 2 + QDevice | 2 из 3 | 1 |
| 3 | 2 | 1 |
| 4 | 3 | 1 |
| 5 | 3 | 2 |
Без кворума кластер переходит в режим только для чтения: /etc/pve больше нельзя изменять, вы не можете запускать ВМ и менять их конфигурацию. Уже запущенные ВМ продолжают работать, пока не используется HA. При использовании HA изолированный узел может быть принудительно остановлен (fencing) для защиты данных.
Шаг 1: подготовить каждый узел
На всех узлах обновите систему, затем проверьте следующее:
apt update
apt full-upgrade
pveversion
hostname
hostname --ip-address
chronyc trackingНа узле или узлах, которые будут присоединяться к кластеру, убедитесь в отсутствии ВМ и контейнеров:
qm list
pct listЕсли на узле уже есть машины, создайте их резервные копии, удалите их, а после присоединения восстановите под свободными идентификаторами. Присоединение заменяет конфигурацию /etc/pve, включая конфигурацию хранилищ.
Проверьте сеть кластера с каждого узла до остальных:
ping -c 20 10.30.30.12Значение в столбце avg итоговой статистики должно оставаться ниже 5 мс, без потери пакетов.
Настройка брандмауэра
Если вы задали для local_network адрес сервера, как предлагается в руководстве по установке, замените это значение на сеть кластера в /etc/pve/firewall/cluster.fw на каждом узле до создания кластера:
[ALIASES]
local_network 10.30.30.0/24Затем проверьте:
pve-firewall localnetБрандмауэр Proxmox автоматически создаёт правила Corosync для этой сети и добавляет её к хостам управления. После создания кластера эта же команда выводит узлы, для которых разрешён трафик Corosync: убедитесь, что в списке есть каждый из них. Если вы используете ALLOW_FROM в /etc/default/pveproxy, добавьте туда и адреса узлов.
Шаг 2: создать кластер
Только на pve1. Впоследствии имя кластера изменить нельзя.
pvecm create my-cluster --link0 10.30.30.11
pvecm statusВ веб-интерфейсе то же самое находится в разделе Datacenter → Cluster → Create Cluster.
Шаг 3: добавить остальные узлы
Подключитесь по SSH к добавляемому узлу, в данном случае pve2:
pvecm add 10.30.30.11 --link0 10.30.30.12Команда запросит пароль root узла pve1 и попросит подтвердить отпечаток его сертификата. Сравните его с отпечатком, показанным в разделе pve1 → System → Certificates.
В веб-интерфейсе используйте Datacenter → Cluster → Join Information на pve1, затем Join Cluster на pve2. После присоединения сертификат узла изменится: обновите страницу и войдите снова.
Добавляйте узлы по одному, проверяя состояние после каждого добавления.
Шаг 4: проверить кластер
pvecm status
pvecm nodes
systemctl status corosync pve-cluster --no-pagerВ выводе pvecm status проверьте следующие строки:
| Строка | Ожидаемое значение |
|---|---|
Quorate |
Yes |
Nodes |
Запланированное число узлов |
Expected votes |
Общее число голосов |
Flags |
Quorate |
Создайте тестовый файл на одном узле и прочитайте его на другом: /etc/pve реплицируется в реальном времени.
echo test > /etc/pve/test-cluster.txtcat /etc/pve/test-cluster.txt
rm /etc/pve/test-cluster.txtШаг 5: добавить QDevice в кластер из 2 узлов
QDevice добавляет третий голос с внешней машины. На нём не выполняются ВМ, и ему не нужна низкая задержка, которой требует Corosync. Выберите машину под управлением Debian, не зависящую от обоих узлов: подойдёт небольшой сервер при условии, что он не размещён на одном из двух узлов.
| Число узлов | Рекомендация Proxmox |
|---|---|
| 2 | QDevice рекомендуется |
| Другое чётное число | QDevice возможен |
| Нечётное число | Не рекомендуется: он становится почти единой точкой отказа |
Установка пакетов
На внешней машине:
apt update
apt install corosync-qnetdНа каждом узле кластера:
apt install corosync-qdeviceОткрытие доступа
Внешняя машина должна принимать, только от узлов:
- TCP 5403 для службы
corosync-qnetd - SSH для
rootна время настройки
При использовании UFW на внешней машине повторите для каждого узла:
ufw allow from 10.30.30.11 to any port 5403 proto tcp
ufw allow from 10.30.30.11 to any port 22 proto tcpСледующая команда копирует SSH-ключ кластера на внешнюю машину. Настройте для root вход по ключу или временно разрешите root вход по паролю.
Активация QDevice
Убедитесь, что все узлы в сети, затем выполните на одном узле:
pvecm qdevice setup 10.30.30.20
pvecm statusРезультат должен выглядеть примерно так:
Expected votes: 3
Highest expected: 3
Total votes: 3
Quorum: 2
Flags: Quorate Qdevice
Membership information
Nodeid Votes Qdevice Name
0x00000001 1 A,V,NMW 10.30.30.11 (local)
0x00000002 1 A,V,NMW 10.30.30.12
0x00000000 1 Qdevice| Индикатор | Значение |
|---|---|
A / NA |
Связь с corosync-qnetd активна или нет |
V / NV |
QDevice отдаёт или не отдаёт свой голос узлу |
NMW |
Настройка по умолчанию (Not Master Wins) |
Затем верните ограничение SSH на внешней машине, если вы его ослабляли.
Шаг 6: проверить контролируемый отказ
Выполняйте эту проверку вне рабочей среды и после создания резервных копий. В кластере с QDevice или из 3 узлов остановите узел без важных ВМ, затем наблюдайте за состоянием с другого узла:
pvecm statusQuorate должен оставаться Yes. Затем снова запустите узел и убедитесь, что он вернулся в pvecm nodes.
Миграция ВМ
Выключенную или работающую ВМ можно перемещать между узлами:
qm migrate 100 pve2
qm migrate 100 pve2 --online
qm migrate 100 pve2 --online --with-local-disksПоследняя команда также копирует локальные диски, что может занять много времени. Перед миграцией убедитесь, что:
- на целевом узле существует тот же мост (например,
vmbr1); - в целевом хранилище достаточно места;
- тип процессора ВМ совместим: между разными машинами
x86-64-v2-AESпредпочтительнее, чемhost.
Трафик миграции по умолчанию шифруется. Сохраняйте этот режим, если сеть не находится полностью под вашим контролем. Если ВМ использует NAT узла, её пробросы портов не перейдут вместе с ней, а текущие соединения будут прерваны.
Высокая доступность и репликация
HA автоматически перезапускает ВМ на другом узле после отказа. Proxmox требует не менее 3 узлов, общее хранилище и резервированное оборудование. Обнаружение отказа и перезапуск занимают около 2 минут.
Без общего хранилища репликация ZFS регулярно копирует диски на другой узел. Она асинхронна: при отказе данные, записанные после последней репликации, теряются.
Обновления
Обновляйте по одному узлу за раз:
- Убедитесь, что кластер исправен, с помощью
pvecm status. - Перенесите ВМ с этого узла или корректно остановите их.
- Выполните
apt update, затемapt full-upgrade. - При необходимости перезагрузите узел и дождитесь его появления в
pvecm nodes. - Проверьте кворум, затем переходите к следующему узлу.
Не оставляйте узлы на разных версиях дольше необходимого. При переходе на новую основную версию следуйте руководству по обновлению от Proxmox.
Резервное копирование
Репликация /etc/pve не является резервной копией: ошибка или удаление немедленно распространяются на все узлы. Настройте резервное копирование в разделе Datacenter → Backup на внешнее хранилище.
Услуга Proxmox Backup Server от HostMyServers добавляется на уровне датацентра и становится доступной для узлов. См. руководство Подключение PBS к Proxmox VE.
Удаление узла
-
Перенесите все его ВМ и контейнеры, затем сохраните его локальные данные.
-
Удалите его задания репликации. Удалите QDevice, если он есть.
-
Запишите имя узла с помощью
pvecm nodes, затем выключите его. -
С другого узла выполните:
Терминалpvecm delnode pve3 pvecm nodes
Ошибку could not kill node (error = cs_err_not_exist) можно игнорировать. Старые файлы остаются в /etc/pve/nodes/pve3: заберите то, что вам нужно, затем удалите этот каталог. Чтобы вернуть сервер в кластер, переустановите Proxmox VE, прежде чем добавлять его снова.
Устранение неполадок
this host already contains virtual guests
На добавляемом узле есть ВМ или контейнеры. Создайте их резервные копии, удалите их, присоединитесь к кластеру, затем восстановите их под свободными идентификаторами.
corosync is already running, is this node already in a cluster?!
Сервер уже входит в кластер, или предыдущая попытка оставила следы. Проверьте с помощью pvecm status. Самое чистое решение — переустановить узел.
cluster not ready - no quorum?
У узла нет кворума, и /etc/pve доступен только для чтения.
pvecm status
systemctl status corosync --no-pager
journalctl -b -u corosync --no-pager | tail -n 50Сначала восстановите сеть или отсутствующий узел. В крайнем случае, и только если вы уверены, что другая часть действительно остановлена:
pvecm expected 1Каналы Corosync регулярно отключаются
Сообщения о канале в состоянии down или записи Retransmit в journalctl -u corosync указывают на нестабильную или перегруженную сеть. Измерьте задержку и отделите Corosync от трафика хранилища и резервного копирования. Можно также предусмотреть второй канал с помощью --link1.
Host key verification failed
Обновите сертификаты и отпечатки SSH кластера:
pvecm updatecertsQDevice отображается как NA
Узел не может связаться с corosync-qnetd. На внешней машине проверьте службу и порт TCP 5403:
systemctl status corosync-qnetd --no-pager
ss -tln | grep 5403Затем проверьте доступ с узла:
timeout 3 bash -c '</dev/tcp/10.30.30.20/5403' && echo "порт доступен"Миграция завершается ошибкой
Прочитайте журнал задачи в веб-интерфейсе. Частые причины: отсутствие моста на целевом узле, недоступное хранилище, ISO-образ, всё ещё смонтированный из локального хранилища, или несовместимый тип процессора host. Извлеките ISO-образ командой qm set 100 --ide2 none,media=cdrom.