Очевидное-невероятное

[vit_r]

Сегодня на обеде мужик рассказывал, какой крутой и какой неубиваемый кластер у них стоит. И как в одном известном банке специалисты дёргали за разные железяки, вытаскивая и вставляя диски и прочее, а он работал, работал и работал. И что только, если загорится, и система пожаротушения не сработает. И что даже в этом случае маловероятно.

Короче, приходим с обеда, а он лежит.

Я, конечно, очень надеюсь, и ошибка там совсем другая, но всё это подозрительно совпало с запуском одного жирного запроса.

Comments

[kosenko-danila.livejournal.com]

Купил я себе часы, водонепроницаемые, противоударные. Жаль, сгорели.(с)

[vit-r.livejournal.com]

Нифига.

Если ты неубиваемый кластер, значит сломать тебя можно только кувалдой.

[yoshke.livejournal.com]

Кластер ведь не застрахован от ошибок софта. И один жирный селект вполне может его убить :)

[vit-r.livejournal.com]

24/7/365 вообще-то означает, что это программно-аппаратное решение, выполняющее свои функции, а не то, что он жужжит всё это время.

[yoshke.livejournal.com]

Кластер не защищает ни от ошибок в данных, ни от ошибок в запросах. А эти ошибки могут быть такого рода, что кластер перестанет жужжать.
Вообще же, 24/7/365 означает всего лишь бесперебойную работу - типа один из мастер-серверов навернулся, его работу автоматически принимает его близнец.
Если первый мастер навернулся от хардверной ошибки, то так и происходит. А если он навернулся от софта (неверного запроса, как в вашем случае), то эта ошибка реплицируется и на остальные мастеры/слейвы и они точно также наворачиваются.

[vit-r.livejournal.com]

Не. Это называется просто нормальной работой. На запрос с ошибкой возвращается ошибка и всё пашет дальше.

А вот, когда запрос ломает кластер, и он перестаёт реагировать на внешние раздражители или реагирует не так, как положено, это уже называется "жужжит, но не работает".

[yoshke.livejournal.com]

Вы просто не сталкивались, я думаю. Если запрос с ошибкой переполняет лог транзакций БД, то уже ничего не возвращается, т.к. БД просто не может стартовать новый процесс.

[vit-r.livejournal.com]

Если в системе, простой которой стоит дофига денег за каждую минуту, переполняется лог транзакций, у администратора отрывают всё, что отрывается.

[yoshke.livejournal.com]

Это безусловно. Но хороший администратор тогда просто включает аудит и в следующий раз отрывают у того, кто пишет запросы с такими ошибками. Ни администратор, ни система (сколько бы она не стоила) не могут быть гарантией от человеческих ошибок.

[vit-r.livejournal.com]

В принципе, если говорить о реальных задачах, система контроля качества должна гарантировать, что хардверные, программные и человеческие ошибки будут компенсированы.

Но сейчас это тестовая система. Скорее всего, что-то не туда сконфигурировано.

[zorag-ringael.livejournal.com]

Даже в настольных процессорах уже 30 лет как (начиная с 286го) встроены средства защиты позволяющие предотвратить ситуацию, когда единичная программа валит всю систему.

Так, что для современного не убиваемого кластера такое поведение действительно непозволительно.

[yoshke.livejournal.com]

:)

[zorag-ringael.livejournal.com]

x)))))
Есть вероятность, что скоро станешь легендой )))))

[vit-r.livejournal.com]

Я каждый раз вспоминаю анекдот про "друг вчера сервер сломал"

Мне кроме трудолюбия в этом проекте совершенно ничего показывать не стоит. Тем более, работаю я как-бы на тех, кто обещал 7/24/365.

С другой стороны, если найдётся ещё кто-то такой же и оно в продакшене ляжет, им будет очень грустно.