Резервное копирование

Раздел описывает методы создания резервных копий. Поддерживается автоматизированное резервирование скриптом и ручное копирование.

Резервное копирование скриптом

Скрипт выполняет автоматическое формирование архивного файла, который включает резервные копии баз данных PostgreSQL и MongoDB, конфигурационные файлы сервисов, а также дополнительные данные: шаблоны и конфигурации nginx. Полученный архив может быть использован для восстановления системы при необходимости.

Для запуска необходимо выполнить команду:

curl -o "./backup.sh" "https://public-repo.svcp.io/utility/backup.sh" && \
    sudo chmod +x "./backup.sh" && \
    ./backup.sh

Архив резервной копии сохраняется в директории: /opt/backups/

Ручное резервное копирование

Подготовка

Создать директорию для резервных копий:

sudo mkdir -p /opt/backups

Создать временную директорию:

sudo mkdir -p /opt/backups/node0

Резервное копирование базы данных PostgreSQL

Проверить наличие файла конфигурации:

sudo ls -la /opt/sp-spider-broker/.env

Открыть файл и посмотреть значения переменных подключения к базе (DB_HOST, DB_PORT, DB_USER, DB_PASSWORD, DB_NAME). Эти параметры понадобятся для бэкапа:

sudo grep -E '^DB_' /opt/sp-spider-broker/.env

Создать директорию для бэкапа PostgreSQL:

sudo mkdir -p /opt/backups/node0/postgres

Выполнить резервное копирование PostgreSQL с использованием считанных параметров:

sudo PGPASSWORD="DB_PASSWORD" pg_dump \
    -h "DB_HOST" \
    -p "DB_PORT" \
    -U "DB_USER" \
    "DB_DATABASE" \
    > /opt/backups/node0/postgres/DB_DATABASE.sql

Резервное копирование базы данных MongoDB

Проверить наличие утилиты mongodump:

sudo which mongodump

Если утилита не найдена — установить:

sudo apt-get update
sudo apt-get install -y mongodb-clients

Получить параметры подключения к MongoDB из PostgreSQL:

sudo PGPASSWORD="DB_PASSWORD" psql \
  -h "DB_HOST" \
  -p "DB_PORT" \
  -U "DB_USER" \
  -d "DB_DATABASE" \
  -t -A \
  -c 'SELECT "mongoConnection"::text FROM public.node LIMIT 1;'

Создать директорию для резервной копии MongoDB:

sudo mkdir -p /opt/backups/node0/mongo

Выполнить резервное копирование MongoDB (подставьте свои значения из mongoConnection):

sudo mongodump \
    --host "DB_HOST" \
    --port "DB_PORT" \
    --username "DB_USER" \
    --password "DB_PASSWORD" \
    --db "DB_DATABASE" \
    --out /opt/backups/node0/mongo

Резервное копирование конфигурационных файлов

Ядро системы (DosGate)

Создать директорию для резервной копии DosGate:

sudo mkdir -p /opt/backups/node0/dosgate

Скопировать конфигурационный файл:

sudo cp /etc/dosgate.conf /opt/backups/node0/dosgate/

Выполнить резервное копирование:

sudo dgadm --backup="/opt/backups/node0/dosgate/dgadm_backup" --no-lic

Сессионный модуль (DosGate-UH)

Создать директорию для резервной копии:

sudo mkdir -p /opt/backups/node0/dosgate-uh

Скопировать конфигурационный файл:

sudo cp /etc/dosgate-uh.conf /opt/backups/node0/dosgate-uh/

Веб-интерфейс (SP-Spider)

Создать директорию для резервной копии:

sudo mkdir -p /opt/backups/node0/sp-spider

Скопировать конфигурационный файл:

sudo cp /opt/sp-spider/.env /opt/backups/node0/sp-spider/

Брокер синхронизаций (SP-Spider-Broker)

Создать директорию для резервной копии:

sudo mkdir -p /opt/backups/node0/sp-spider-broker

Скопировать конфигурационный файл:

sudo cp /opt/sp-spider-broker/.env /opt/backups/node0/sp-spider-broker/

Сервис событий (SP-Events)

Создать директорию для резервной копии:

sudo mkdir -p /opt/backups/node0/sp-events

Скопировать конфигурационный файл:

sudo cp /opt/sp-events/.env /opt/backups/node0/sp-events/

Скопировать каталог template:

sudo cp -r /opt/sp-events/template /opt/backups/node0/sp-events/

Модуль анализа логов (RLOG)

Создать директорию для резервной копии:

sudo mkdir -p /opt/backups/node0/rlog

Скопировать конфигурационный файл:

sudo cp /opt/rlog/.env /opt/backups/node0/rlog/

Посмотреть значение RULES_FOLDER в файле .env модуля RLOG:

grep "RULES_FOLDER" /opt/rlog/.env

Создать директорию для правил в резервной копии:

sudo mkdir -p /opt/backups/node0/rlog/rules

Скопировать директорию с правилами RLOG:

sudo cp -r RULES_FOLDER /opt/backups/node0/rlog/

Модуль автоматической генерации правил (AutoPilot)

Создать директорию для резервной копии:

sudo mkdir -p /opt/backups/node0/auto-rule

Скопировать конфигурационный файл:

sudo cp /opt/auto-rule/.env /opt/backups/node0/auto-rule/

Скопировать файлы лицензий:

sudo cp /opt/auto-rule/*.lic /opt/backups/node0/auto-rule/

Анализатор трафика (FlowCollector)

Создать директорию для резервной копии:

sudo mkdir -p /opt/backups/node0/spfc

Скопировать конфигурационный файл:

sudo cp /opt/spfc/etc/analyzer.yaml /opt/backups/node0/spfc/

Скопировать каталог etc:

sudo cp -r /opt/spfc/etc /opt/backups/node0/spfc/

Агент сбора метрик (Carbon-ClickHouse)

Создать директорию для резервной копии:

sudo mkdir -p /opt/backups/node0/carbon-clickhouse

Скопировать конфигурационный файл:

sudo cp /etc/carbon-clickhouse/carbon-clickhouse.conf /opt/backups/node0/carbon-clickhouse/

Хранилище метрик (Graphite-ClickHouse)

Создать директорию для резервной копии:

sudo mkdir -p /opt/backups/node0/graphite-clickhouse

Скопировать конфигурационный файл:

sudo cp /etc/graphite-clickhouse/graphite-clickhouse.conf /opt/backups/node0/graphite-clickhouse/

Nginx

Создать директорию для резервной копии:

sudo mkdir -p /opt/backups/node0/nginx

Скопировать конфигурационный файл:

sudo cp /etc/nginx/nginx.conf /opt/backups/node0/nginx/

Скопировать каталоги sites-enabled и sites-available:

sudo cp -r /etc/nginx/sites-* /opt/backups/node0/nginx/

Создание архива

Создать архив:

sudo tar -czf /opt/backups/node0.tar.gz -C /opt/backups node0

Удалить временную директорию:

sudo rm -rf /opt/backups/node0

Проверить результат:

ls -la /opt/backups/node0.tar.gz

Проверить содержимое архива (отобразить первые 20 файлов):

sudo tar -tzf /opt/backups/node0.tar.gz | head -20

В результате выполнения шагов сформирован архив /opt/backups/node0.tar.gz, содержащий резервные копии PostgreSQL и MongoDB, конфигурационные файлы сервисов и дополнительные данные (шаблоны, лицензии, конфигурации nginx)