Резервное копирование и восстановление

В разделе описаны способы создания и восстановления резервных копий системы.

Резервное копирование скриптом

Скрипт выполняет автоматическое формирование архивного файла, который включает резервные копии базы данных PostgreSQL, конфигурационные файлы сервисов, а также дополнительные данные: шаблоны и конфигурации nginx. Полученный архив может быть использован для восстановления системы при необходимости.

Для запуска необходимо выполнить команду:

curl -o "./backup.sh" "https://public-repo.svcp.io/utility/backup.sh" && \
    sudo chmod +x "./backup.sh" && \
    ./backup.sh

Архив резервной копии сохраняется в директории: /opt/backups/

Ручное резервное копирование

Подготовка

Создать директорию для резервных копий:

sudo mkdir -p /opt/backups

Создать временную директорию:

sudo mkdir -p /opt/backups/node0

Резервное копирование базы данных PostgreSQL

Проверить наличие файла конфигурации:

sudo ls -la /opt/sp-spider-broker/.env

Открыть файл и посмотреть значения переменных подключения к базе (DB_HOST, DB_PORT, DB_USER, DB_PASSWORD, DB_NAME). Эти параметры понадобятся для бэкапа:

sudo grep -E '^DB_' /opt/sp-spider-broker/.env

Создать директорию для бэкапа PostgreSQL:

sudo mkdir -p /opt/backups/node0/postgres

Выполнить резервное копирование PostgreSQL с использованием считанных параметров:

sudo PGPASSWORD="DB_PASSWORD" pg_dump \
    -h "DB_HOST" \
    -p "DB_PORT" \
    -U "DB_USER" \
    "DB_DATABASE" \
    > /opt/backups/node0/postgres/DB_DATABASE.sql

Резервное копирование конфигурационных файлов

Ядро системы (DosGate)

Создать директорию для резервной копии DosGate:

sudo mkdir -p /opt/backups/node0/dosgate

Скопировать конфигурационный файл:

sudo cp /etc/dosgate.conf /opt/backups/node0/dosgate/

Выполнить резервное копирование: 

sudo dgadm --backup="/opt/backups/node0/dosgate/dgadm_backup" --no-lic

Сессионный модуль (DosGate-UH)

Создать директорию для резервной копии:

sudo mkdir -p /opt/backups/node0/dosgate-uh

Скопировать конфигурационный файл:

sudo cp /etc/dosgate-uh.conf /opt/backups/node0/dosgate-uh/

Веб-интерфейс (SP-Spider)

Внимание: Компонент может быть установлен на отдельной ноде. Операции выполняются на той ноде, где установлен веб-интерфейс.

Создать директорию для резервной копии:

sudo mkdir -p /opt/backups/node0/sp-spider

Скопировать конфигурационный файл:

sudo cp /opt/sp-spider/.env /opt/backups/node0/sp-spider/

Брокер сообщений (SP-Spider-Broker)

Создать директорию для резервной копии:

sudo mkdir -p /opt/backups/node0/sp-spider-broker

Скопировать конфигурационный файл:

sudo cp /opt/sp-spider-broker/.env /opt/backups/node0/sp-spider-broker/

Модуль анализа логов (RLOG)

Создать директорию для резервной копии:

sudo mkdir -p /opt/backups/node0/rlog

Скопировать конфигурационный файл:

sudo cp /opt/rlog/.env /opt/backups/node0/rlog/

Посмотреть значение RULES_FOLDER в файле .env модуля RLOG:

grep "RULES_FOLDER" /opt/rlog/.env

Создать директорию для правил в резервной копии: 

sudo mkdir -p /opt/backups/node0/rlog/rules

Скопировать директорию с правилами RLOG: 

sudo cp -r RULES_FOLDER /opt/backups/node0/rlog/

Модуль автоматической генерации правил (Autopilot)

Создать директорию для резервной копии: 

sudo mkdir -p /opt/backups/node0/auto-rule

Скопировать конфигурационный файл: 

sudo cp /opt/auto-rule/.env /opt/backups/node0/auto-rule/

Скопировать файлы лицензий: 

sudo cp /opt/auto-rule/*.lic /opt/backups/node0/auto-rule/

Агент сбора метрик (Carbon-ClickHouse)

Создать директорию для резервной копии: 

sudo mkdir -p /opt/backups/node0/carbon-clickhouse

Скопировать конфигурационный файл: 

sudo cp /etc/carbon-clickhouse/carbon-clickhouse.conf /opt/backups/node0/carbon-clickhouse/

Хранилище метрик (Graphite-ClickHouse)

Создать директорию для резервной копии: 

sudo mkdir -p /opt/backups/node0/graphite-clickhouse

Скопировать конфигурационный файл: 

sudo cp /etc/graphite-clickhouse/graphite-clickhouse.conf /opt/backups/node0/graphite-clickhouse/

Nginx

Создать директорию для резервной копии: 

sudo mkdir -p /opt/backups/node0/nginx

Скопировать конфигурационный файл: 

sudo cp /etc/nginx/nginx.conf /opt/backups/node0/nginx/

Скопировать каталоги sites-enabled и sites-available: 

sudo cp -r /etc/nginx/sites-* /opt/backups/node0/nginx/

Создание архива

Создать архив:

sudo tar -czf /opt/backups/node0.tar.gz -C /opt/backups node0

Удалить временную директорию:

sudo rm -rf /opt/backups/node0

Проверить результат:

ls -la /opt/backups/node0.tar.gz

Проверить содержимое архива (отобразить первые 20 файлов): 

sudo tar -tzf /opt/backups/node0.tar.gz | head -20

В результате выполнения шагов сформирован архив /opt/backups/node0.tar.gz, содержащий резервные копии PostgreSQL и MongoDB, конфигурационные файлы сервисов и дополнительные данные (шаблоны, лицензии, конфигурации nginx)

Восстановление системы

Перейти в каталог /opt/backups/, найти архив с резервной копией и распаковать:

sudo tar -xzvf node0.tar.gz

Восстановление базы данных PostgreSQL

Перейти в каталог базы:

cd node0/postgres

Найти файл с расширением .sql.

При необходимости создать базу и пользователя:

sudo -u postgres psql
  • В консоли PostgreSQL выполнить:
CREATE DATABASE DB_DATABASE;
CREATE USER DB_USER WITH ENCRYPTED PASSWORD 'DB_PASSWORD';
GRANT ALL PRIVILEGES ON DATABASE DB_DATABASE TO DB_USER;
\q

Выполнить восстановление базы:

sudo PGPASSWORD="DB_PASSWORD" psql \
  -h "DB_HOST" \
  -p "DB_PORT" \
  -U "DB_USER" \
  -d "DB_DATABASE" \
  -f DB_DATABASE.sql

При необходимости обновить параметры подключения в конфигурационных файлах (.env) сервисов sp-spider, sp-spider-broker.

Перезапустить сервисы:

sudo systemctl restart sp-spider sp-spider-broker

Восстановление конфигурационных файлов

Ядро системы (DosGate)

Остановить Dosgate:

sudo systemctl stop dosgate

Очистить кэш:

sudo dgadm --batch=uh -y

Перейти в каталог с резервной копией:

cd node0/dosgate

Скопировать конфигурационный файл:

sudo cp ./dosgate.conf /etc/dosgate.conf

Выполнить восстановление конфигурации из резервной копии: 

sudo dgadm --restore="/opt/backups/node0/dosgate/dgadm_backup" --no-lic

Запустить сервис:

sudo systemctl start dosgate

Сессионный модуль (DosGate-UH)

Перейти в каталог с резервной копией:

cd node0/dosgate-uh

Скопировать конфигурационный файл:

sudo cp ./dosgate-uh.conf /etc/dosgate-uh.conf

Перезапустить сервис:

sudo systemctl restart dosgate-uh

Веб-интерфейс (SP-Spider)

Внимание: Компонент может быть установлен на отдельной ноде. Операции выполняются на той ноде, где установлен веб-интерфейс.

Перейти в каталог с резервной копией:

cd node0/sp-spider

Скопировать конфигурационный файл:

sudo cp ./.env /opt/sp-spider/.env

Перезапустить сервис:

sudo systemctl restart sp-spider

Брокер сообщений (SP-Spider-Broker)

Перейти в каталог с резервной копией:

cd node0/sp-spider-broker

Скопировать конфигурационный файл:

sudo cp ./.env /opt/sp-spider-broker/.env

Перезапустить сервис:

sudo systemctl restart sp-spider-broker

Модуль анализа логов (RLOG)

Перейти в каталог с резервной копией:

cd node0/rlog

Скопировать конфигурационный файл:

sudo cp ./.env /opt/rlog/.env

Перезапустить сервис:

sudo systemctl restart rlog

Модуль автоматической генерации правил (Autopilot)

Перейти в каталог с резервной копией:

cd node0/auto-rule

Скопировать конфигурационный файл:

sudo cp ./.env /opt/auto-rule/.env

Скопировать файлы лицензий:

sudo cp ./*.lic /opt/auto-rule/*.lic

Перезапустить сервис:

sudo systemctl restart auto_rule

Агент сбора метрик (Carbon-ClickHouse)

Перейти в каталог с резервной копией:

cd node0/carbon-clickhouse

Скопировать конфигурационный файл:

sudo cp ./carbon-clickhouse.conf /etc/carbon-clickhouse/carbon-clickhouse.conf

Перезапустить сервис:

sudo systemctl restart carbon-clickhouse

Хранилище метрик (Graphite-ClickHouse)

Перейти в каталог с резервной копией:

cd node0/graphite-clickhouse

Скопировать конфигурационный файл:

sudo cp ./graphite-clickhouse.conf /etc/graphite-clickhouse/graphite-clickhouse.conf

Перезапустить сервис:

sudo systemctl restart graphite-clickhouse

Nginx

Перейти в каталог с резервной копией:

cd node0/nginx

Скопировать конфигурационный файл:

sudo cp ./nginx.conf /etc/nginx/nginx.conf

Скопировать каталоги sites-enabled и sites-available:

sudo cp -r ./sites-* /etc/nginx/

Перезапустить сервис:

sudo systemctl restart nginx