dastapov: (Default)
[personal profile] dastapov
Традиции выбора имени (hostname-а) для нового сервера в рамках большой компании - это жирный и слабоисследованый пласт IT-субкультуры.

Скажем, в большой компании Z было большое кол-во кластерных решений (не тех, которые computing clusters, а тех, которые HA). Типичный кластер состоял из двух нод, и технические особенности организации кластера требовали выдачи одного hostname для всего кластера в сборе, и еще по одному имени - для каждой ноды. Всего, стало быть, три.

Чтобы не путаться, какая нода с какой работает "в паре", имена им давали связанные - phobos и deimos, bill и gates, rolls и roys ... Сам кластер при этом называли по имени большой приложения. которое на нем крутилось.

Иногда кластеры "разбирали" и использовали ноды поотдельности. Имена им при этом сохраняли.

Все было замечательно, пока однажды система не дала сбой.

В один прекрасный день компания Z решила проапргейдить одну из своих "больших" систем XYZ. Скажем, с версии 3 на версию 5. Заодно и перенести ее на железо помощней. В качестве более мощного железа был взят кластер под Tru64 на двух "альфах". До этого в компании Z "альф" не было, и кластер так между собой и называли - "альфа".

На время апгрейда ноды кластера использовались поотдельности - под тестовую и "чистовую" системы, на которых производили и тестировали интеграцию новой версии с другими приложениями. Назвали их без затей - "test-xyz5" и "prod-xyz5", благо имена были временными.

Еще надо было найти где-то пару "девелоперских" машин, чтобы на них отрабатывать процедуру апгрейда и ее тестировать. Под раздачу попал один из старых кластеров, который разобрали на ноды по имени "alpha" и "romeo".

И вот тут все и началось

* Системе XYZ был нужен для работы Oracle. На alpha и romeo поставили под инстансу, назвав их "xyz3" и "xyz5".

* Из-за досадной оплошности Oracle instance "xyz3" использовали для тестовой инсталляции XYZ v.5. После этого ничего не оставалось, кроме как использовать Oracle instance "xyz5" для "тренировочной" инсталляции XYZ v.3.

* Роли "половинок" альфавского кластера тоже перепутали - на "test-xyz5" поселилась "чистовая" версия, а на "prod-xyz5" - тестовая.

Типичный диалоги времен этого проекта

- (тестеры) А где тестовые данные?
- Уже в базе
- В какой? В новой, пятой версии?
- Ага, в той, которая xyz3.
- Напомни, она где?
- На альфе, но не на той альфе, которая prod-xyz5, а на той, которая alpha
- ..... ээээээ .... повтори-ка еще раз? Что-то я не понял, мне на каком сервере тестировать?
- Ну, тестировать - на тестовой системе, prod-xyz5, а данные будут из тесторовой базы - xyz3.
- (у собеседника - core dumped)

Мораль: придумывая hostname, сразу думай, как он тебе вылезет боком :)

PS
Справедливости ради, надо заметить, что это был единственный mess-up с именами в компании Z, и даже непосредственные участники событий и системные администраторы не могли впоследствии внятно объяснить, как он произошел, и почему не был исправлен. Скорее всего, во всем виновата обычная спешка....
(deleted comment)

(no subject)

Date: 2006-09-27 08:14 am (UTC)
From: [identity profile] http://users.livejournal.com/_adept_/
Если его опустить в hibernate, а потом разбудить, то упадет вся сетка :)

Profile

dastapov: (Default)
Dmitry Astapov

May 2022

M T W T F S S
       1
2345678
9101112131415
161718 19202122
23242526272829
3031     

Most Popular Tags

Style Credit

Expand Cut Tags

No cut tags