/
opennet
/
FSBackup
Обзор
Документация
Войти
/
opennet
/
FSBackup
Код
Запросы
0
Пакеты
0
Релизы
0
CI/CD
Аналитика
Безопасность
master
README
476 строк
33 KB
Maxim Chirkov
convert README file from koi8-r to utf8 charset
01 окт 2013, 03:45
01 окт 2013, 03:45
0cb7988
Код
Авторство
О чём код?
FSBACKUP - file system backup and synchronization utility. * THIS SOFTWARE IS PROVIDED ``AS IS'' AND WITHOUT ANY WARRANTIES * For english documentation type 'perldoc fsbackip.pl' --------------------------------------------------------------------------- FSBACKUP - система инкрементального резервного копирования и синхронизации ФС. http://www.opennet.ru/dev/fsbackup/ По всем вопросам обращайтесь к автору: Maxim Chirkov <mc@tyumen.ru> --------------------------------------------------------------------------- СОДЕРЖАНИЕ: Назначение. Комплект поставки. Выполняемые функции. Установка. Файл конфигурации. Восстановление данных. Виды бэкапа. Типы хранилища для архива бэкапа. Шифрование бэкапа. Благодарности. --------------------------------------------------------------------------- Назначение: Система fsbackup была создана для обеспечения резервного копирования серверов разного масштаба на специально отведенном сервере бэкапа. Достоинствами метода резервного копирования на специально отведенном сервере, с использованием fsbackup, является: - высокая производительность (скорость передачи по 100Мбит сети намного выше скорости записи на ленточный накопитель), низкая себестоимость (цена Мб на современных жестких IDE дисках достаточно низкая); - надежность (возможность параллельного хранения нескольких резервных копий за разные моменты времени); - безопасность (применение PGP шифрования резервных копий перед записью на бэкап сервер); - автономность (один раз настроив систему бэкап будет производится автоматически, не нужно обслуживать стриммер), - возможность сохранения только измененных с последнего бэкапа данных, без затрат на копирования не изменившейся информации. - простота настройки и установки (как правило система способна функционировать сразу после запуска инсталляционного скрипта) - простота восстановления (открытый формат для хранения резервных копий (tar), позволяет восстановить данные без использования входящих в комплект утилит восстановления). - гибкость задания масок для помещения файлов и каталогов в архив. - поддержка бэкапа баз данных хранимых в MySQL и PostgreSQL. fsbackup может выполнять создание как полного образа сервера, так и резервных копий основных подсистем, исключая операционную систему. В случае полного бэкапа, полное восстановление работоспособности происходит в течении нескольких десятков минут, в случае частичного бэкапа для восстановления требуется несколько часов. В отличие от многих систем автоматического резервного копирования, в fsbackup применяется гибкая система построения масок (с использованием regex) для принятия решения о помещении файлов в бэкап. --------------------------------------------------------------------------- Комплект поставки: create_backup.sh Скрипт для периодического запуска всей подсистемы резервного копирования из crontab. install.pl Скрипт для установки программы и всех недостающих Perl модулей. fsbackup.pl Основной скрипт для бэкапа и синхронизации. cfg_example Пример файла конфигурации и документация по всем конфигурационным директивам. cache/ Образ директории для помещения временных хэшей. sys_backup/ Образ директории для помещения бэкапов созданных sysbackup.sh. modules/ Perl модули которые требуются для функционирования fsbackup.pl. scripts/ Директория со вспомогательными скриптами. scripts/mysql_backup.sh scripts/pgsql_backup.sh Скрипты для создания полного и частичного бэкапа базы данных хранимой в PostgreSQL или MySQL. Поддерживаются режимы работы: 1. полный бэкап всех баз и структур; 2. полный бэкап структур всех баз + бэкап данных в избранных базах/таблицах; 3. полный бэкап структур всех баз + бэкап данных во всех базах, кроме избранных баз/таблиц; scripts/sysbackup.sh Скрипт для сохранения списка всех установленных в системе пакетов для FreeBSD и Linux, для Linux использующих rpm - сохранение файлов конфигурации всех установленных в системе пакетов. scripts/sysrestore.sh Скрипт для автоматической установки всех пакетов, список которых был сохранен скриптом sysbackup.sh, в свеже-установленной системе. scripts/fsrestore.sh Скрипт для восстановления данных из инкрементального бэкапа. --------------------------------------------------------------------------- Выполняемые функции: - 2 метода вычисления контрольных сумм: timesize - по атрибутам (дата, время, размер, права доступа...) md5 - по содержимому файла. - 4 вида бэкапа: backup - инкрементальный бэкап в архив (т.е. копируются только изменившиеся с момента последнего бэкапа файлы). full_backup - полный бэкап в архив, без хэша (т.е. всегда копируются все файлы). sync - синхронизация дерева. hash - только генерация хэша, без помещения файлов в архив (может использоваться для определения какие файлы были изменены) - 3 типа хранилища бэкапа: local - хранение бэкапа в локальной файловой системе. remote_ssh - копирование бэкапа на удаленную машину с использованием SSH remote_ftp - копирование бэкапа на удаленную машину по FTP. - 8 встроенных операторов (можно использовать regex) для описания помещаемых в бэкап (или игнорируемых для помещения в бэкап) файлов: /dir[/file] - путь к файлу/директории для бэкапа. !/dir[/file] - отрицание пути, не помещать в бэкап (не маска, а реальный путь). # - комментарий =~ - маска для файла или директории, а не абсолютный путь. Первый или второй символ. f~ - маска для файла. Первый или второй символ. d~ - маска для директории. Первый или второй символ. =! - "НЕ" маска для файла или директории, а не абсолютный путь. Первый или второй символ. f! - "НЕ" маска для файла. Первый или второй символ. d! - "НЕ" маска для директории. Первый или второй символ. Ограничен по времени создания и размеру - Возможность шифрования бэкапа с помощью PGP. - Гибкое задание уровня инкрементальности. Например, при = 7 - 6 раз будут помещаться только изменения, на 7 раз бэкап будет объединен в один файл. - Скрипт для сохранения списка всех установленных в системе пакетов для FreeBSD и Linux. - Скрипты для создания полного и частичного бэкапа базы данных хранимой в PostgreSQL или MySQL. Поддерживаются режимы работы: - полный бэкап всех баз и структур; - полный бэкап структур всех баз + бэкап данных в избранных базах; - полный бэкап структур всех баз + бэкап данных во всех базах, кроме избранных баз; --------------------------------------------------------------------------- Установка: Для установки достаточно запустить скрипт ./install.pl Программа автоматически скопируется в заданный директивой --prefix каталог, по умолчанию установка производится в каталог /usr/local/fsbackup. После установки достаточно переименовать и отредактировать файл конфигурации cfg_example, следуя приведенным внутри cfg_example инструкциям. Затем, отредактируйте скрипт запуска "create_backup.sh", при необходимости измените путь к хранилищу бэкапа и название список используемых файлов конфигурации. Активируйте периодический запуск подсистема бэкапа в crontab: 18 4 * * * /usr/local/fsbackup/create_backup.sh| mail -s"`uname -n` backup report" root При использовании бэкапа SQL сервера или системы отредактируйте скрипты в директории ./scripts (mysql_backup.sh, pgsql_backup.sh, sysbackup.sh). Например: >su # ./install.pl # cd /usr/local/fsbackup # vi cfg_example # mv cfg_example server_backup.conf # vi create_backup.sh # crontab -e # cd scripts # vi sysbackup.sh # vi pgsql_backup.sh # exit > -------------------------------------------------------------------------- Файл конфигурации: Подробное описание всех параметров файла конфигурации смотрите в файле cfg_example. Внимание, при описании директорий для бэкапа нельзя указывать путь к символической ссылке, только полный путь к реальной директории. Например, если указано /home, а это символическая ссылка на /usr/home, то в бэкап будет помещены данные о символической ссылке, а не содержание директории. Рекомендуется, описать бэкап разных участков файловой системы в нескольких файлах конфигурации. Например, мной используется следующие несколько файлов конфигурации: server_etc.conf - описывает создание бэкапа директории /etc и секретных данных с использованием PGP шифрования; server_local.conf - бэкап /usr/local, за исключением временных файлов, бэкап БД. server_home.conf - бэкап директорий пользователей (/home или /usr/home) Внимание, директории для сохранения бэкапа в каждом конфигурационном файле должны отличаться ($cfg_remote_path, $cfg_local_path), сохранение в одной и той же директории нескольких, описанных разными .conf файлами, бэкапов не допустимо. --------------------------------------------------------------------------- Восстановление данных: Полная резервная копия может быть восстановлена в короткий промежуток времени без использования дополнительных, входящих в комплект fsbackup утилит. Например, если архив бэкапа сохранен в директории /mnt/full_backup, для полного восстановления достаточно набрать: # cd / # tar xzf /mnt/full_backup/full_backup.tar.gz # sh /mnt/full_backup/full_backup.dir Для полного восстановления данных из инкрементального бэкапа может использоваться скрипт scripts/fsrestore.sh, для восстановления просто отредактируйте пути внутри скрипта и запустите его. В случае частичного бэкапа файловой системы, без бэкапа файлов операционный системы, восстановить исходный набор установленных в момент бэкапа пакетов (должен быть разрешен запуск scripts/sysbackup.sh в create_backup.sh) поможет скрипт scripts/sysrestore.sh. После установки ОС, скрипт автоматически установит недостающие пакеты для FreeBSD и Linux. При бэкапе данных с SQL сервера PostgreSQL или Mysql, восстановление производится командами: psql -d template1 -f sqlbackupfile или mysql < sqlbackupfile. Таким образом можно привести типовой процесс полного восстановления системы: - базовая установка ОС (без дополнительных пакетов) - монтирование диска с бэкапом. - редактирование путей и запуск scripts/sysrestore.sh для установки нужных пакетов. - редактирование путей и запуск scripts/fsrestore.sh - запуск SQL сервера и восстановление баз. Назначение файлов при инкрементальном бэкапе (для не инкрементального - формат "имя.ext"): имя-время-том.tar.gz архив - бэкапа (имя_бэкапа-YYYY.MM.DD.HH.MM.SS-номер_тома.tar.gz). имя-время.del список удаленных с момента предыдущего бэкапа файлов имя-время.hash хэш таблица с контрольными суммами. имя-время.list список файлов в архиве. имя-время.dir команды для восстановления прав доступа и пустых директорий. --------------------------------------------------------------------------- Виды бэкапа: Вид бэкапа в файле конфигурации определяется параметром $cfg_backup_style: backup - инкрементальный бэкап в архив. Копируются только изменившиеся с момента последнего бэкапа файлы, уровень инкрементальности задается параметром $cfg_increment_level, параметр определяет через какого числа итераций файлы с инкрементальными копиями будут объединены в один файл. Например, при $cfg_increment_level = 7 - 6 раз будут помещаться только изменения, на 7 раз бэкап будет объединен в один файл. 0 - сколько угодно раз, без объединения. Достоинства - возможность отследить изменения (и восстановить данные) на любой момент со времени первой итерации, в архив копируются только измененные и новые данные, что значительно экономит трафик и место на диске. Подходит для ежедневного бэкапа динамично меняющейся или критичной к потере информации. full_backup - полный бэкап в архив, без хэша. В бэкап всегда помещаются все файлы отмеченные в файле конфигурации для резервного копирования). На сервере где сохраняется бэкап рекомендуется проводить вторичное резервирование, например, в crontab раз в неделю дублировать бэкап в другую директорию. Недостатки - огромный трафик для копирования бэкапа по сети и высокие требования к объему хранилища бэкапа. Достоинство - экономия процессорных ресурсов и памяти на создание и поддерживание хэша. Прекрасно подходит для бэкапа маломощных машин с ограниченными ресурсами или при статичности резервируемых данных (например, бэкап выносных рутеров раз в месяц). sync - синхронизация дерева (только для типа хранилища ssh или local). Почти то же, что и full_backup или backup (в зависимости от задания ключа -c при запуске fsbackup.pl), за исключением того, что копия не хранится в архиве, а область файловой системы отмеченная для бэкапа полностью воссоздается в заданной директории на бэкап сервере. Предназначено для параллельного хранения (синхронизации дерева) исходных текстов, содержимого web-сервера, синхронизации проектов с рабочей машины разработчика на сервер и т.д. hash - только генерация хэша, без помещения файлов в архив (опция -h). Может применяться для пометки помещения файлов в бэкап, без физического их перемещения, для отслеживания изменений в файловой системе для обнаружения подмены файлов злоумышленниками и т.д. Скрипт fsbackup.pl, поддерживает ряд ключей задаваемых в командной строке: fsbackup.pl [-n|-f|-h|-c] файл_конфигурации -n - создаем новый архив независимо от состояния хэша. -f - full_backup - полный бэкап в архив, без хэша. -h - hash - только генерация хэша, без помещения файлов в архив. -c - clean - очистка хранилища с инкрементальным бэкапом и создание нового бэкапа. --------------------------------------------------------------------------- Типы хранилища для архива бэкапа: Определение типа хранилища для бэкапа определяется в файле конфигурации переменной $cfg_type. Поддерживается 3 типа хранилищ: local, remote_ssh и remote_ftp. - local - сохранение бэкапа в локальной файловой системе. Конфигурация: $cfg_type="local"; $cfg_local_path="/var/backup"; # Путь к хранилищу. - remote_ssh - сохранение бэкапа на удаленном компьютере, данные передаются через шифрованное соединение организованное с использованием SSH. На системе с которой производится бэкап должен быть установлен ssh клиент, на удаленном - ssh сервер. Метод remote_ssh является наиболее защищенным, но и достаточно ресурсоемким. Предварительно необходимо настроить доступ бэкап клиента на сервер с использованием шифрованных ключей, без ввода пароля. Это делается следующим образом: Примем: локальная машина - машина с которой будет производиться бэкап и на которой будем запускать скрипт fsbackup.pl. Удаленная машина - машина на которую будут копироваться файлы с бэкапом. Запускаем на локальной машине программу ssh-keygen, на все задаваемые вопросы принимаем значения по умолчанию (поле passphrase оставляем пустым). Далее, запускаем программу ssh-copy-id user@remotehost, где user - пользователь удаленной машины remotehost - адрес удаленной машины, ( или вручную, на удаленной машине в директории ~/.ssh, создаем файл authorized_keys, куда копируем содержимое файла identity.pub с локальной машины). Для увеличения безопасности в файл ~/.ssh/authorized_keys на удаленной машине добавляем перед ключом (разделив пробелом) строку from="localhost", где localhost - адрес локальной машины (from="localhost" 1024 23 1343.....). Конфигурация: $cfg_type="remote_ssh"; $cfg_remote_host="server.remote.ru"; # Сервер на который будет копироваться бэкап. $cfg_remote_login="backup_login"; # Логин под которым будет сохранятся бэкап. $cfg_remote_path="/home/backup_login/backup"; # Директория куда должны помещаться файлы бэкапа, директория должна присутствовать. - remote_ftp - сохранение бэкапа на удаленном компьютере, данные передаются по протоколу ftp, на удаленном хосте должен быть запущен ftp сервер. Так как пароль хранится в файле конфигурации в открытом виде, желательно ограничить доступ к хосту к удаленному хосту через tcpwrapper или firewall, а так же ограничить вход пользователя, под которым будет храниться бэкап, только через chroot ftp. Положительными сторонами копирования по ftp, является высокая производительность закачки и небольшая нагрузка на CPU. Конфигурация: $cfg_type="remote_ftp"; $cfg_remote_host="server.remote.ru"; # Сервер на который будет копироваться бэкап. $cfg_remote_password="Test1234"; # пароль для входа по ftp. $cfg_remote_login="backup_login"; # Логин под которым будет сохранятся бэкап. $cfg_remote_path="/home/backup_login/backup"; # Директория куда должны помещаться файлы бэкапа, директория должна присутствовать. $cfg_remote_ftp_mode=0; # Active (0) или Passive (1) соединение. --------------------------------------------------------------------------- Шифрование бэкапа: Для шифрования бэкапа в системе должна быть установлена программа PGP шифрования GnuPG: http://www.gnupg.org (рекомендуется) или PGP: http://www.pgpi.org Далее: Локальная машина - машина на которой производится резервное копирование. Удаленная машина - машина куда сохраняется архив бэкапа. Рекомендации по работе с PGP программами для создания шифрованного бэкапа (для pgp2.6, pgp5.0, gnupg): Для создания публичного и секретного ключей наберите (на удаленной машине): pgp2.6> pgp -kg pgp5.0> pgpk -g gnupg> gpg --gen-key # если генерация ключа занимает слишком много времени воспользуйтесь ключом gpg --quick-random Экспортируйте созданный публичный ключ в файл (на удаленной машине): pgp2.6> pgp -akx <UserID> <файл куда будет записан ключ> pgp5.0> pgpk -ax <UserID> <файл куда будет записан ключ> gnupg> gpg --export -a <UserID> > <файл куда будет записан ключ> Затем, добавте созданный публичный ключ (на локальной машине): pgp2.6>pgp -ka <файл с ключом с удаленной машины> pgp5.0>pgpk -a <файл с ключом с удаленной машины> gnupg>gpg --import <файл куда будет записан ключ> # Для pgupg необходимо заверить ключ (gpg --gen-key на локльной машине не забудте): gnupg>gpg --sign-key <имя ключа> Для расшифровки необходимо запустить (на удаленной машине): pgp2.6>cat encrypted.tar.gz | pgp -f -z'пароль' > расшифрованный.tar.gz pgp5.0>cat encrypted.tar.gz | pgpv -f -z'пароль' > расшифрованный.tar.gz gnupg>cat encrypted.tar.gz | gpg --decrypt > расшифрованный.tar.gz Для шифрования используется (на локальной машине): pgp2.6>cat input| pgp -ef userid > output pgp5.0>cat input| pgpe -f userid > output gnupg>cat input| gpg -e -r userid > output --------------------------------------------------------------------------- Благодарности: Alex Sokoloff. <sokoloff@mail.ru> - Предложение о введении уровней говорливости (verbose mode). - Изменить запуск программы (ввести проверку на длину письма), вынести ее в файл fsbackup.cron. - Написал небольшой скрипт fsfind.pl для поиска файла в архивах он просматривает файлы list в директории с архивами. Может кому-то будет полезен. Работает с локальными архивами. - скрипт для бэкапа Interbase баз. Oleg S. Gints <oleg@cec.amur.elektra.ru>: - Предложение по введению дополнительного резервирования при использовании инкрементального бэкапа. - Обнаружение ошибки в mysql_backup.sh (для варианта полного архива пропущен ключ --all-databases) - Сообщение о неправильном определении уровня инкрементальности для локального бэкапа. - Замечание об отсутствии лидирующих нулей в новом формате именования файлов в бэкапе. Носков Илья <phantom@highway.ru>, Сергей Баукин <teq@highway.ru>: - Идея разбивки слишком больших файлов на несколько частей, предложения и патчи по создания архивов занимающих несколько Гб. Aleksey Kuznetsov <ahk@spb.edu> - Сообщение о пропуске ключа --all-databases в mysql_backup.sh Pavel Stoliarov <admin@tzto.infopac.ru> - Исправление ошибки приводящей к некорректной работе при локальном бэкапе. - Предложение по сохранению старых бэкапов после инкремента. Alexandr Zhukov <sacha@ic.vrn.ru> - Замечание по неправильной работе правила для исключения директории из бэкапа. Zherdev Anatoly <tolyar@mx.ru> - Патч и идея введения директивы $cfg_stopdir_prune, для отключения рекурсивного просмотра директорий, запрещаемых для помещения в бэкап. Priamikov Alexei <apriam@info.novsu.ac.ru> - Обнаружение ошибки в fsrestore.sh Valeriy Zavolodko <vals@pa.ktts.kharkov.ua> - Сообщение о недоработке при установке $cfg_root_path отличных от "/". Руслан Стельмаченко <xak2000@gmail.com> - Исправление досадной ошибки в скрипте бэкапа MySQL таблиц.