Решение для среднего бизнеса

Сегмент, кому наиболее интересна виртуализация это средний бизнес.

Цель: обеспечить ИТ-сервисы для компании на 300-500 рабочих мест.

Сервисы: MS Terminal Server, AD, несколько MS SQL, MS ISA, MS Exchange 2007, File-сервер, SharePoint.

Виртуализация: на основе VMware ESXi.

Данный проект получился довольно сложным и проектная стадия длилась свыше двух месяцев. В проекте сразу было определено хранилище на FibreChannel, так как требовалось централизовать хранение данных,  но довольно трудно было определится с форм-фактором серверов. Изначально были выбраны стоечные, но подсчет стоимости обвязки в виде Ethernet-свитчей, KVM-свитча, FC-фабрик, мощного ИБП, а также представление о коммутации всего и всея приводили в панику.  В добавок, где-то с полгода  я интересовался блейд-серверами, ездил в гости к Dell, чуток тестил IBM BladeCenter E.

Первое, что  встретил при предложении выбрать блейд-шасси, это было сопротивление коллег: насколько надежно шасси? сколько лет будет поддержка и выпуск лезвий для него? что делать, если сдохнет “мать”? можно ли объединять ресурсы серверов? насколько меньше кушает электричество? Такие же вопросы мучали и меня самого, да еще какие компоненты за что отвечают, чтоб понять кучу непонятных кодов?

Но, рискнув, отправил требования поставщикам, а в ответ получил спецификацию, для понимания каждой строчке которой прочитал несколько сотен страниц инструкций, задал пару десятков вопросов производителю.

В итоге, было выбрано шасси Dell M1000e, вышедшее в конце 2007 года, позволяющие использовать до 16 лезвий. Стоимость решения вышла на 20% дешевле такого же набора в стойку.

Были получины ответы на мучавшие вопросы:

1. Материнской платы у шасси нет, есть два контроллера, смерть обоих не ведет к прекращению работы шасси.
2. Шасси спланировано на 5 лет развития, будут появляться новые поколения серверов.
3. Шасси есть пассивка.
4. Ресурсы лезвий объединять нельзя, такая воможность есть на лезвия с AMD Opteron у Fujitsu-Siemens.
5. Блоки питания очень эффективные, работают по умным алгоритмами, кушают процентов на 40 меньше аналогичного набора серверов и обвязки в стойке.
6. Управление в рамках шасси, даже нескольких, централизовано, а у Dell и децентрализовано одновременно.
7. Следуя пункту 6, есть отдельный IP-KVM у каждого лезвия.
8. FC-фабрика в виде железки стоит примерно “ничего”, платятся деньги за лицензии, часть включена сразу.

Вторым вопросом после выбора форм-фактора серверов стоял выбор хранилища, так как размер бюджета был ограничен, то в процессе отбора и сравнений, остановился на EMC AX4-5f с двумя сторадж-контроллерами, которые подключаются через две FC-фабрики. Это хранилище начального уровня с задатками от хранилищ среднего уровня. Особый интерес имело наличие бесшовных технологий миграции дисков VirtualLUN и объединения MetaLUN.

В процессе перерывания интернета выяснилась комичная ситуация, практически такое же решение известный Scott Lowe использовал в американской церкви ;). Читаем о его критерия выбора и впечатления – раз, два, три, четыре, пять, шесть.

Выбор шасси и хранилища определил аппаратную архитектуру решения. Остались мелочи, то есть детали.

Началось с выбора системы виртуализации – решили Microsoft на Microsoft. Пару месяцев тестировали Hyper-V, бета-версию MS VMM 2008. Пока тестировали на ноутбуке Андрея, ситуация не казалась печальной, кроме сильно глючной бета-версии MS VMM 2008, но, прикинув нарезку LUN под 20-30 сервисов, посчитали идею тупиковой. Выход бесплатной версии ESXi быстро развернул нас в другую сторону, с чем мы себя и поздравляем.

Определившись с гипервизором стали планировать нарезку лезвий и места на дисках хранилища. Если с лезвиями, как оказалось в итоге, можно было и не заморачиваться, так как наши приложения не смогли загрузить пару процессоров Intel Xeon 5420 в лезвии, то по дискам  запланировали одну полку SAS-дисков под SQL и Exchange, вторую SATA под файлы, но предварительную нарезку RAID пришлось выкинуть в топку.

Получив железо, нарезали сторадж по-задуманному, стали с Андреем тестировать скорость под многопоточной нагрузкой, оказалось, что выдача разных LUN из одной RAID группы разными сторадж-контроллерами ведёт к значительному провалу в производительности, так как они плохо согласуют работу между собой, по причине раздельных кешей. Решили отказаться от каждого RAID10 в пользу пары RAID1, что давало до 50% повышения скорости.

Выдача дисков производилась для операционных систем через vmdk, диски с данными для SQL, Exchange, File посредством RDM. Основная причина выбора была возможность восстановления данных при сбоях, так как нормальных методов поднять vmfs не существет до сих пор, ну и думали, что RDM побыстрее будет.

Нагрузка на лезвие планировалась по 4 виртуальных машины, так как уровень доверия к виртуализации был довольно низок, да и так удобней управлять лицензиями MS. Из-за этого все лезвия были оснащенны довольно малым объёмом оперативной памяти 8-16 ГБ. При тестирования 8 лезвий спокойно крутили порядка 15 продактив-серверов и столько же тестовых, ни разу не уперевшись в процессоры.

Для резервного копирования был выбран отдельный сервер DELL PE 1950 III с дисковой полкой DELL PV MD1000. ПО для бэкапов – MS DPM 2007, так как “что делать с бэкапами виртуальных машин?” – вопрос ещё тот ;). Поэтому выбранная система резервного копирования ориентирована на приложения и сервисы, а также на быстрое восстановление составных частей сервисов – файлов, почтовых ящиков и подобного.

В данном проекте мы мигрировали с физической среды на виртуальную, в основном старались устанавливать сервисы с нуля, переносить настройки и данные, и только там, где это было крайне затруднительно, использовали конвертер.

Общее время миграции составило 4,5 месяца. Сроками мы были неограничены, в процессе подготовки миграции перешли на использование DFS, часть ПО сервисов было обновлено на новые версии.

Каких результатов достигли:

1. сократили расходы на персонал – нагрузка снизилась в 2-3 раза
2. сократили расходы на электропитание – совместно с блейд-центром, скоращение расходов на 40%, экономия на электричестве больше 50 тысяч рублей в год
3. сократили расходы на кондиционирование – выключили один из кондиционеров, экономия десятки тысяч рублей год
4. сократили площади под ЦОД – высвободили одну стойку, убрали весь доисторический хлам, так как уже существовало помещение, стало просто просторней, то есть ходить стало можно 😉
5. повысили доступность сервисов до 99,9… – при выходе из строя одного из лезвий простой составил 2 минуты
6. сократили сверхурочные работы – за счет регламентных работ, например, обновление прошивок, чистка железа серверов, а также по причине прекращения сбоев – сократили сверхурочные работы на 95%, то есть в 20(!) раз
7. сокращение затрат на сервера – были серьезные инвестиции в железо, но это дает возможность не обновлять парк серверов
8. уменьшение времени внедрения новых сервисов/проектов – новый сервер подготавливается 30-40 мин

При наличии количества серверов более 20 следует рассмотреть виртуализацию, как приоритетное направление развития ИТ-инфраструктуры, дающие значительные преимущества в управлении, снижающее затраты, повышающее надежность и доступность сервисов.