Синхронизация файлов с помощью rclone
Синхронизируйте файлы с помощью rclone в хранилище S3 или на SFTP-сервер: шифрование на стороне клиента, архивы, планирование через systemd и тестовое восстановление.
На этой странице
Ваши значения
Укажите их один раз, и команды в руководстве обновятся.
Это руководство объясняет, как с помощью rclone отправлять файлы вашего VPS или выделенного сервера в S3-совместимое хранилище или в другой сервис, например на SFTP-сервер. Данные будут шифроваться перед отправкой, синхронизация будет выполняться по расписанию, а вы проверите, что умеете их восстанавливать.
Предварительные требования
- Сервер под управлением Debian 12 или 13 либо Ubuntu 22.04 или 24.04 с доступом
sudo - Бакет S3 с ключом доступа и секретным ключом либо SFTP-сервер
- Точное системное время: см. наше руководство Настройка NTP
- Место вне сервера для хранения конфигурации rclone и паролей
Открывать входящие порты не нужно. Серверу должен быть доступен исходящий порт 443 для S3 или порт SSH удалённого сервера для SFTP.
Установка rclone
Проект не рекомендует пакеты из дистрибутивов, которые часто устарели. Установите официальный пакет. На момент написания актуальная версия — 1.76.0: посмотрите страницу загрузки и при необходимости измените RCLONE_VERSION.
RCLONE_VERSION="v1.76.0"
ARCH="$(dpkg --print-architecture)"
FILE="rclone-${RCLONE_VERSION}-linux-${ARCH}.deb"
cd /tmp
curl -fsSLO "https://downloads.rclone.org/${RCLONE_VERSION}/${FILE}"
curl -fsSLO "https://downloads.rclone.org/${RCLONE_VERSION}/SHA256SUMS"
sha256sum --check --ignore-missing SHA256SUMS
sudo apt install -y "./${FILE}"
rclone versionПроверка должна вывести OK для пакета. Предупреждение о неверно отформатированных строках — это нормально, так как файл содержит и собственную подпись.
Настройка хранилища S3
В примерах используется Object Storage HostMyServers, совместимое с S3. Опубликованная на этой странице конечная точка: https://s3.lyn.io.hostmyservers.net. Бакет называется mes-sauvegardes: измените это имя под себя.
-
Создайте файл конфигурации, доступный для чтения только
root:Терминалsudo install -d -m 700 /root/.config /root/.config/rclone sudo install -m 600 /dev/null /root/.config/rclone/rclone.conf sudo nano /root/.config/rclone/rclone.conf -
Добавьте этот блок:
Конфигурация[hms-s3] type = s3 provider = Other access_key_id = ВАШ_КЛЮЧ_ДОСТУПА secret_access_key = ВАШ_СЕКРЕТНЫЙ_КЛЮЧ endpoint = https://s3.lyn.io.hostmyservers.net acl = privateДля другого S3-совместимого провайдера измените
endpointи добавьтеregion = ВАШ_РЕГИОН, если он этого требует. -
Проверьте доступ и создайте бакет, если он ещё не существует:
Терминалsudo rclone lsd hms-s3: sudo rclone mkdir hms-s3:mes-sauvegardes
Добавление шифрования
Тип crypt шифрует содержимое, а также имена файлов и каталогов перед отправкой. Он работает как дополнительный слой поверх хранилища.
-
Сгенерируйте два секрета и создайте зашифрованное хранилище
hms-crypt:ТерминалCRYPT_PASS="$(openssl rand -hex 32)" CRYPT_SALT="$(openssl rand -hex 32)" sudo rclone config create hms-crypt crypt remote=hms-s3:mes-sauvegardes/crypt filename_encryption=standard directory_name_encryption=true password="$CRYPT_PASS" password2="$CRYPT_SALT" --obscure printf 'password: %s\npassword2: %s\n' "$CRYPT_PASS" "$CRYPT_SALT" unset CRYPT_PASS CRYPT_SALT -
Скопируйте оба выведенных значения в ваш менеджер паролей, а также сохраните файл
rclone.confвне сервера:Терминалsudo cat /root/.config/rclone/rclone.conf -
Убедитесь, что имена на удалённой стороне действительно зашифрованы:
Терминалecho "rclone test" | sudo tee /tmp/rclone-test.txt > /dev/null sudo rclone copy /tmp/rclone-test.txt hms-crypt:test sudo rclone ls hms-crypt:test sudo rclone ls hms-s3:mes-sauvegardes/crypt sudo rclone purge hms-crypt:testПервый список покажет
rclone-test.txt, второй — нечитаемое имя.
При стандартном шифровании ограничивайте имена файлов примерно 143 символами, чтобы избежать проблем.
Выбор подходящей команды
| Команда | Действие | Риск |
|---|---|---|
rclone copy |
Копирует новые или изменённые файлы, ничего не удаляя | Низкий |
rclone sync |
Делает назначение идентичным источнику, включая удаления | Высокий |
rclone move |
Копирует, затем удаляет из источника | Высокий |
rclone check |
Сравнивает источник и назначение | Нет |
rclone cryptcheck |
Сравнивает локальные файлы с зашифрованным хранилищем | Нет |
Первая синхронизация
В примерах синхронизируется /srv/data. Замените этот путь вашим каталогом.
-
Создайте список исключений:
Терминалsudo nano /etc/rclone-sync.filterТекст- *.tmp - .cache/** - node_modules/** -
Всегда делайте пробный запуск перед синхронизацией:
Терминалsudo rclone sync /srv/data hms-crypt:current --filter-from /etc/rclone-sync.filter --dry-run --verbose -
Если список вас устраивает, запустите отправку:
Терминалsudo rclone sync /srv/data hms-crypt:current --filter-from /etc/rclone-sync.filter --progress -
Проверьте результат:
Терминалsudo rclone cryptcheck /srv/data hms-crypt:current --one-way --filter-from /etc/rclone-sync.filter
Проверка восстановления
Выполните этот тест сейчас, а затем регулярно. Удалённая копия полезна, только если вы умеете её прочитать и расшифровать.
-
Восстановите всё во временный каталог и сравните:
Терминалsudo rm -rf /var/tmp/rclone-restore sudo rclone copy hms-crypt:current /var/tmp/rclone-restore --progress sudo diff -r /srv/data /var/tmp/rclone-restore | head -n 20В выводе должны появиться только файлы, исключённые или изменённые после синхронизации.
-
Проверьте также восстановление одного файла, изменив его путь:
Терминалsudo rclone copyto hms-crypt:current/dossier/fichier.txt /var/tmp/fichier-restaure.txt -
Проверьте восстановление на другой машине: установите rclone, поместите
rclone.confиз вашей внешней копии в/root/.config/rclone/, затем выполните ту же командуrclone copy. Этот тест доказывает, что ваша копия конфигурации полна. -
Затем удалите тестовые файлы:
Терминалsudo rm -rf /var/tmp/rclone-restore /var/tmp/fichier-restaure.txt
Планирование синхронизации
Следующий скрипт перемещает каждый заменённый или удалённый файл в архивный каталог с датой и хранит 30 последних.
-
Создайте скрипт:
Терминалsudo nano /usr/local/sbin/rclone-sync.shТерминал#!/bin/bash set -euo pipefail SOURCE="/srv/data" REMOTE="hms-crypt:" KEEP_ARCHIVES=30 STAMP="$(date +%F_%H%M%S)" rclone sync "$SOURCE" "${REMOTE}current" \ --backup-dir "${REMOTE}archive/$STAMP" \ --filter-from /etc/rclone-sync.filter \ --max-delete 1000 \ --fast-list \ --log-level INFO \ --stats 5m \ --stats-one-line { rclone lsf --dirs-only "${REMOTE}archive" 2>/dev/null || true; } | sort | head -n -"$KEEP_ARCHIVES" | while IFS= read -r dir; do rclone purge "${REMOTE}archive/${dir%/}" done--max-delete 1000прерывает операцию, если должно исчезнуть более 1 000 файлов. Этот предел защищает ваши данные, если исходный каталог по ошибке оказался пустым, например когда диск не примонтирован. Подберите его под ваш объём. -
Создайте службу:
Терминалsudo chmod 700 /usr/local/sbin/rclone-sync.sh sudo nano /etc/systemd/system/rclone-sync.serviceКонфигурация[Unit] Description=rclone sync Wants=network-online.target After=network-online.target [Service] Type=oneshot Environment=HOME=/root Nice=10 IOSchedulingClass=idle ExecStart=/usr/local/sbin/rclone-sync.sh -
Создайте таймер:
Терминалsudo nano /etc/systemd/system/rclone-sync.timerКонфигурация[Unit] Description=Daily rclone sync [Timer] OnCalendar=*-*-* 04:15:00 RandomizedDelaySec=20min Persistent=true [Install] WantedBy=timers.target -
Включите его и выполните первый запуск:
Терминалsudo systemctl daemon-reload sudo systemctl enable --now rclone-sync.timer sudo systemctl start rclone-sync.service sudo journalctl -u rclone-sync.service -n 30 --no-pager
Чтобы вернуть старую версию файла, выведите список архивов, затем скопируйте нужный файл:
sudo rclone lsf hms-crypt:archive
sudo rclone copyto hms-crypt:archive/2026-11-18_041500/dossier/fichier.txt /var/tmp/ancienne-version.txtВерсионирование, объявленное на странице тарифа HMS, может дополнить этот механизм. Сохранённые версии при этом входят в тарифицируемый объём.
Другой сервис: пример SFTP
rclone поддерживает множество сервисов, перечисленных в его документации. Вот как направить синхронизацию на другой сервер по SFTP, здесь backup.ваш-домен.com.
-
Создайте отдельный ключ, установите его на удалённый сервер и сохраните его отпечаток:
Терминалsudo install -d -m 700 /root/.ssh sudo ssh-keygen -t ed25519 -N '' -C 'rclone' -f /root/.ssh/rclone_sftp sudo ssh-copy-id -i /root/.ssh/rclone_sftp.pub ВАШ_ПОЛЬЗОВАТЕЛЬ@backup.ваш-домен.com sudo ssh -i /root/.ssh/rclone_sftp ВАШ_ПОЛЬЗОВАТЕЛЬ@backup.ваш-домен.com trueПри первом подключении сравните показанный отпечаток с отпечатком удалённого сервера, прежде чем принять его.
-
Добавьте этот блок в
/root/.config/rclone/rclone.conf:Конфигурация[backup-sftp] type = sftp host = backup.ваш-домен.com user = ВАШ_ПОЛЬЗОВАТЕЛЬ port = 22 key_file = /root/.ssh/rclone_sftp known_hosts_file = /root/.ssh/known_hosts -
Проверьте доступ:
Терминалsudo rclone mkdir backup-sftp:rclone sudo rclone lsd backup-sftp: -
Чтобы зашифровать и эти данные, создайте второе хранилище
crypt:ТерминалCRYPT_PASS="$(openssl rand -hex 32)" CRYPT_SALT="$(openssl rand -hex 32)" sudo rclone config create sftp-crypt crypt remote=backup-sftp:rclone/crypt password="$CRYPT_PASS" password2="$CRYPT_SALT" --obscure printf 'password: %s\npassword2: %s\n' "$CRYPT_PASS" "$CRYPT_SALT" unset CRYPT_PASS CRYPT_SALTХраните эти значения вне сервера, затем укажите в скрипте
REMOTE="sftp-crypt:", чтобы использовать это назначение.
Обновление rclone
rclone selfupdate --check
sudo rclone selfupdate --package deb
rclone versionПосле обновления запустите синхронизацию вручную и просмотрите её журнал.
Если что-то пошло не так
didn't find section in config file
Имя перед двоеточием не соответствует ни одному блоку конфигурации, либо rclone читает другой файл. При использовании sudo проверьте:
sudo rclone config file
sudo rclone listremotesSignatureDoesNotMatch, InvalidAccessKeyId или AccessDenied
Проверьте оба ключа и конечную точку, указанную для вашего сервиса. Если в ошибке упоминается регион, добавьте region со значением, которое предоставил ваш провайдер хранилища, либо обратитесь в поддержку из вашего клиентского кабинета.
RequestTimeTooSkewed
Часы сервера сбились. Проверьте их командой timedatectl, затем следуйте нашему руководству Настройка NTP.
NoSuchBucket или directory not found
Бакет или путь не существует. Проверьте его имя командой sudo rclone lsd hms-s3:. Для исходного каталога убедитесь, что он действительно существует на сервере.
failed to authenticate decrypted block - bad password?
Пароль crypt не соответствует данным, либо удалённый файл повреждён. Восстановите rclone.conf из вашей внешней копии, не создавая зашифрованное хранилище заново с новыми секретами.
--max-delete threshold reached
Число удалений превышает ваш лимит, и операция остановилась. Сначала убедитесь, что источник полон, затем проверьте с помощью --dry-run. Повышайте лимит, только если эти удаления действительно нужны.
file name too long
Зашифрованное имя превышает лимит хранилища. Сократите соответствующие имена, ориентируясь максимум на 143 символа.
Служба завершается ошибкой без понятного сообщения
Увеличьте уровень детализации, запустив скрипт вручную с добавленным к команде rclone sync параметром --log-level DEBUG, затем посмотрите:
sudo systemctl status rclone-sync.service --no-pager
sudo journalctl -u rclone-sync.service -n 100 --no-pager