Итак, с кластерами разобрались, так что перейдем к возникшим проблемам. Вчера, в 2:22 ночи по московскому времени, система мониторинга состояния ЖЖ отрапортовала о сбое, возникшем на 7-м пользовательском кластере (имя кластера — Bratwurst¹, самый знаменитый житель — navalny, а сообщество — malyshi). Анализ показал, что в базе данных разрушены структуры и сами данные множества таблиц, и, следовательно, требуется recovery, а затем и восстановление данных с зеркалирующего сервера. Ввиду того, что этот процесс, по предварительным оценкам, прогнозировался по продолжительности на 5-6 часов, было принято решение полностью отключить кластер, дабы избежать потери данных в случае, если на самом зеркале внезапно произойдет сбой. В то время, пока восстанавливался 7-й кластер, что само по себе трудоемкий процесс, так как необходимо передать по локальной сети большое количество данных, а сеть, помимо этого, занята остальными процессами жизнедеятельности ЖЖ, система мониторинга подняла тревогу об аналогичном сбое на 9-м пользовательском кластере (имя кластера — ChickenTikka², самый знаменитый житель — drugoi, а сообщество — ru_politics). Для 9-го кластера потребовались те же процедуры, что и для 7-го, а сеть и так на 100% эксплуатируется ввиду активного процесса восстановления последнего. Тем самым изначально озвученные сроки значительно увеличились.

Все пользователи, находящиеся на данных кластерах, полностью потеряли доступ к ЖЖ, вне зависимости от того, куда они хотят в ЖЖ зайти. Ввиду того, что часть информации о пользователях и их записях собирается с кластеров в реальном времени, а 7-й и 9-й полностью отключены от системы, у остальных пользователей, чьи журналы не находятся на данных кластерах, ЖЖ стал вести себя в контексте ситуации. Например, если на данный момент именно на "этой" странице ленты друзей должна быть запись от пользователя с одного из двух аварийных кластеров, то лента друзей не открывается и выдает 500 или 503 ошибку. Или если в inbox есть сообщение от этого пользователя. Или есть у вас друг с аварийных кластеров в какой-либо группе друзей или сообщества, в которые вы можете писать записи, то update.bml также не будет работать. Проще говоря, ЖЖ работал по-разному нестабильно для разных пользователей.

По состоянию на 08:12 (здесь, выше и далее все время — московское) 7-й кластер восстановлен на 35%, 9-й — на 1.5%. 09:51: UC7 — 50%, UC9 — 5%. Для оптимизации работы сети восстановление 9-го кластера было отложено до момента завершения восстановления 7-го. 7-й кластер был полностью восстановлен и введен в строй в 14:41, а для 9-го возобновлена процедура восстановления. В 19:09 система рапортует, что при восстановлении 9-го кластера возникли проблемы, требующие вмешательства. Как результат, 9-й кластер восстановлен только к 04:42 утра, а работа ЖЖ полностью восстановлена к 05:40.

Некоторые пользователи с 9-го кластера могут до сих пор частично не видеть своих записей, созданных за последний день или два. Мы работаем над их восстановлением из архивов. Если у вас пропали какие-то записи, мы будем очень признательны, если вы сообщите об этом в Службу поддержки (livejournal.com/support/submit.bml), так как это поможет нам провести этот процесс значительно быстрее.

Кроме того, на все время ЧП в ЖЖ были отключены сервисы отложенных записей и доставки уведомлений. После восстановления все эти сервисы включены вновь, так что отложенные записи опубликовались с задержкой, а в рассылке уведомлений накопилась большая очередь, которая, по расчетам на текущий момент, будет расходиться еще несколько часов.

В причинах фактически одновременного серьезного выхода из строя двух кластеров нам еще предстоит разобраться, это займет какое-то время. О результатах я сообщу отдельно.

Всем пользователям платных сервисов будет компенсирован простой в размере одной недели.

Мы приносим свои извинения за доставленные неудобства. Не переключайтесь.

¹ Bratwurst – сарделька из телятины, говядины и/или свинины, приготовленная с большим количеством специй;
² ChickenTikka – афганское национальное блюдо, популярное во всем мире, из филе курицы, маринованной в йогурте со специями;