8 800 775-99-90

Репликация между ЦОДами: как обеспечить сохранность данных

Почему при репликации между ЦОДами можно потерять данные. Как обеспечить согласованность копий, исключить двойную запись и проверить восстановление сервисов.
Время чтения: 7 мин
13 часов назад
Обновлено: 12 часов назад

Репликация поддерживает копию данных на резервной площадке. Но даже с ней после аварии можно потерять последние изменения или столкнуться с ошибками при запуске приложений.

Бывает, что транзакции не успевают доехать до резерва, связанные данные оказываются в разных состояниях, а случайное удаление файла тиражируется на обе площадки.

Разберём, почему так происходит, как обеспечить согласованность данных и что проверить, чтобы резерв действительно помог восстановить работу после аварии.

Какие данные можно потерять при работающей репликации

При отказе основной площадки пропадают изменения, которые ещё не успели попасть на резерв. Сколько именно — зависит от способа репликации, задержек передачи и момента сбоя.

При асинхронной репликации основная система подтверждает запись, не дожидаясь ответа резервной площадки. Это позволяет избежать задержек. Но последние изменения могут ещё передаваться по сети, и если в этот момент основная площадка выйдет из строя, данные будут потеряны.

При синхронной репликации запись подтверждается с участием резервной площадки. Такой подход даёт более весомые гарантии сохранности данных. Однако нужно понимать, что именно означает подтверждение: данные просто получены резервным узлом или уже надёжно записаны на носитель? От этого зависит, какие изменения сохранятся при аварии.

У синхронного режима есть свои ограничения. Чем выше задержка между площадками, тем сильнее ожидание подтверждения влияет на приложения. А при обрыве связи система, в зависимости от настроек, может остановить запись или продолжить работу с другими гарантиями сохранности.

Способ репликации выбирают прежде всего с учётом RPO — допустимой потери данных. Время восстановления (RTO) зависит от другого: насколько автоматизировано переключение, как быстро обновляются DNS-записи или сетевые маршруты, сколько времени приложениям нужно на запуск.

Оба показателя задают заранее, но обеспечиваются они разными средствами. Поэтому при выборе технологии нужно учитывать требования приложений и проверять, как система поведёт себя при отказе основной площадки или обрыве связи.

Почему приложение работает с ошибками после переключения

Репликация прошла успешно, данные переданы на резервную площадку. Но после переключения приложение работает с ошибками: часть документов недоступна, операции не завершаются, а информация в сервисах не совпадает.

Причина может быть в нарушении согласованности данных.

Например, приложение хранит сведения о документах в PostgreSQL, а сами файлы — в отдельном хранилище.

База и файлы реплицируются разными механизмами, поэтому время сохранения у них может различаться. Допустим, в момент аварии реплика базы содержит изменения до 12:00, а реплика файлового хранилища — только до 11:58. Тогда в базе окажутся записи о документах, которых на резервной площадке нет.

Бывает и обратная ситуация: файл уже передан, а записи о нём в базе пока нет. Это не мешает работе приложения — остаётся лишний файл. Обычно для таких случаев сначала сохраняют файл, затем фиксируют запись в базе. А файлы, на которые больше никто не ссылается, периодически удаляет фоновая задача.

Однако и такой порядок не гарантирует согласованности реплик. Нужно учитывать, как данные передаются и восстанавливаются на каждой площадке.

Как обеспечить согласованность данных

Если связанные данные находятся на нескольких томах, можно использовать группы согласованности. Они фиксируют состояние томов в одной точке восстановления.

Выделяют два уровня согласованности.

На уровне дисков. Состояние данных соответствует внезапному отключению системы. После запуска приложению может потребоваться восстановление по журналам.

На уровне приложения. Точка восстановления создаётся с учётом работы самой системы — например, с использованием механизмов согласованной записи базы данных.

Но даже согласованное состояние дисков ещё не гарантирует правильной работы приложения.

Одна операция может затрагивать базу данных, файловое хранилище и очередь сообщений. Поэтому нужно учитывать порядок действий: какие изменения уже подтверждены, какие ещё обрабатываются и что произойдёт с незавершёнными операциями после восстановления.

При проектировании необходимо определить, какие данные связаны между собой и какие механизмы согласованного восстановления доступны на уровне СХД, виртуализации и приложений.

Для операций, прерванных аварией, также предусматривают восстановление или безопасную повторную обработку.

Как ошибка попадает на резервную площадку

Репликация передаёт на резервную площадку изменения данных, включая ошибочные. Если администратор случайно удалил таблицу, приложение повредило файлы или некорректный запрос испортил тысячи записей, эти изменения попадут на резерв.

В итоге обе площадки исправны, данные синхронизированы, а нужной информации уже нет.

Поэтому вместе с репликацией нужны механизмы восстановления предыдущих версий:

  • Снимки данных — позволяют вернуться к сохранённому состоянию, если нужная версия ещё доступна.
  • Резервные копии — помогают восстановить данные независимо от статуса реплик. Особенно важны копии, изолированные от основной инфраструктуры.
  • Восстановление на указанное время — позволяет выбрать состояние до ошибки. Например, в PostgreSQL для этого используют базовую резервную копию и архив журналов WAL.

Но и здесь есть ограничения.

Допустим, ошибку обнаружили через три дня, а снимки хранятся всего 24 часа. К этому моменту все доступные копии будут содержать повреждённые данные.

Поэтому срок хранения предыдущих версий должен учитывать, как быстро компания способна обнаружить ошибку.

Стоит заранее определить, где хранятся резервные копии, как долго они доступны и кто имеет право их изменять или удалять.

Если репликацией и бэкапами управляют из-под одной учётной записи, её компрометация может поставить под угрозу сразу все копии. Раздельные доступы, изолированное хранилище и защита от удаления снижают этот риск.

На выходе нужен понятный порядок восстановления: из какой копии возвращать данные, за какой момент времени и кто отвечает за эту операцию.

Что произойдёт, если обе площадки начнут принимать записи

Иногда связь между площадками пропадает, хотя оборудование продолжает работать.

Например, на основной площадке работает база данных, а на резервной хранится её копия. Связь обрывается. Основная база продолжает принимать записи, а резервная из-за ошибочного переключения тоже начинает работать как основная.

Теперь изменения записываются независимо в две копии одной базы. После восстановления связи данные могут конфликтовать. Вернуть репликацию в обычный режим без устранения расхождений уже не получится.

Главное правило — исключить одновременную запись на обеих площадках.

Для этого принудительно блокируют записи на прежнем основном узле. Но при разрыве связи возникает проблема: резервная площадка может потерять возможность связаться с основной, чтобы выполнить блокировку.

При этом по одному факту потери связи резерв не может определить, что произошло: основной узел действительно отказал или просто оборвался канал между площадками.

Как защититься от двойной записи

В некоторых кластерных архитектурах используют кворум — механизм, который определяет, какая часть системы имеет право продолжать работу.

Для схемы из двух площадок нужен третий независимый участник — арбитр. Его размещают отдельно, чтобы при потере связи между основными площадками система могла определить, какая сторона сохраняет большинство голосов для записи.

Сторона, потерявшая кворум, должна сама прекратить запись. Так исключают ситуацию, когда два узла одновременно считают себя основными.

Например, в Patroni для PostgreSQL используется внешний сервис координации — etcd или Consul. Основной узел должен регулярно подтверждать своё право на запись. Если в обычном режиме Patroni больше не может обновлять запись о своём лидерстве, он переводит PostgreSQL в режим только для чтения, освобождая основную роль.

При этом у Patroni есть специальный режим защиты на случай недоступности сервиса координации. Он позволяет основному узлу при определённых условиях продолжать работу, если связь со всеми известными участниками кластера сохраняется. Поэтому фактическое поведение зависит от настроек.

Если третьей независимой площадки нет и отсутствует другой надёжный способ исключить двойную запись, безопаснее отказаться от автоматического переключения. Тогда инженер сначала проверяет состояние основной системы и только после этого разрешает запуск резервной базы в основной роли.

В некоторых инструментах такой порядок предусмотрен архитектурой. Например, в CloudNativePG резервный кластер не становится основным автоматически при простой потере связи с исходным кластером. Для повышения резервного кластера требуется явное изменение его конфигурации.

Таким образом, при проектировании нужно заранее определить, кто принимает решение о переключении, как блокируется запись на прежней основной площадке и какие действия выполняются при обрыве связи.

Как вернуться на основную площадку

После переключения новые данные записываются уже на резервной площадке. Прежде чем вернуть нагрузку обратно, нужно передать накопившиеся изменения и определить роли обеих систем.

В PostgreSQL при определённых условиях для этого можно использовать утилиту pg_rewind. Она помогает синхронизировать прежний основной узел с новым. Если такой способ недоступен, реплику придётся создавать заново.

Время обратного переключения зависит от объёма накопленных изменений, пропускной способности каналов и возможностей технологии. Иногда потребуется технологическое окно.

Поэтому порядок возвращения на основную площадку стоит предусмотреть ещё при проектировании. Как и условия, при которых автоматическое переключение разрешено или должно быть заблокировано.

Почему зелёный статус репликации ещё ничего не гарантирует

Репликация может работать без ошибок, но проверить готовность резерва можно только в деле.

Во время испытаний проверяют несколько сценариев.

Сохранность данных. Какие последние изменения дошли до резервной площадки? Укладываются ли потери в допустимые пределы?

Согласованность. Корректно ли приложения работают с базами, файлами и очередями сообщений? Что происходит с незавершёнными операциями?

Восстановление после ошибок. Можно ли вернуть данные к состоянию до повреждения, если ошибочные изменения уже попали на обе площадки?

Безопасность переключения. Исключена ли одновременная запись в две копии? Что произойдёт, если связь с основной площадкой пропадёт, но её серверы продолжат работать?

Возврат к штатной работе. Получится ли синхронизировать данные и вернуть нагрузку на основную площадку?

По итогам испытаний фиксируют фактическое время восстановления, возможную потерю данных, состояние приложений и действия, потребовавшие ручного вмешательства.

Так команда получает конкретный перечень проблем, которые нужно устранить до реальной аварии.

Планируете репликацию между площадками или хотите проверить существующую схему? Возможные риски и варианты реализации можно обсудить с нашими инженерами.

Поделиться: