Решение для среднего бизнеса

Сегмент, кому наиболее интересна виртуализация это средний бизнес.

Цель: обеспечить ИТ-сервисы для компании на 300-500 рабочих мест.

Сервисы: MS Terminal Server, AD, несколько MS SQL, MS ISA, MS Exchange 2007, File-сервер, SharePoint.

Виртуализация: на основе VMware ESXi.

Данный проект получился довольно сложным и проектная стадия длилась свыше двух месяцев. В проекте сразу было определено хранилище на FibreChannel, так как требовалось централизовать хранение данных,  но довольно трудно было определится с форм-фактором серверов. Изначально были выбраны стоечные, но подсчет стоимости обвязки в виде Ethernet-свитчей, KVM-свитча, FC-фабрик, мощного ИБП, а также представление о коммутации всего и всея приводили в панику.  В добавок, где-то с полгода  я интересовался блейд-серверами, ездил в гости к Dell, чуток тестил IBM BladeCenter E.

Первое, что  встретил при предложении выбрать блейд-шасси, это было сопротивление коллег: насколько надежно шасси? сколько лет будет поддержка и выпуск лезвий для него? что делать, если сдохнет “мать”? можно ли объединять ресурсы серверов? насколько меньше кушает электричество? Такие же вопросы мучали и меня самого, да еще какие компоненты за что отвечают, чтоб понять кучу непонятных кодов?

Но, рискнув, отправил требования поставщикам, а в ответ получил спецификацию, для понимания каждой строчке которой прочитал несколько сотен страниц инструкций, задал пару десятков вопросов производителю.

В итоге, было выбрано шасси Dell M1000e, вышедшее в конце 2007 года, позволяющие использовать до 16 лезвий. Стоимость решения вышла на 20% дешевле такого же набора в стойку.

Были получины ответы на мучавшие вопросы:

  1. Материнской платы у шасси нет, есть два контроллера, смерть обоих не ведет к прекращению работы шасси.
  2. Шасси спланировано на 5 лет развития, будут появляться новые поколения серверов.
  3. Шасси есть пассивка.
  4. Ресурсы лезвий объединять нельзя, такая воможность есть на лезвия с AMD Opteron у Fujitsu-Siemens.
  5. Блоки питания очень эффективные, работают по умным алгоритмами, кушают процентов на 40 меньше аналогичного набора серверов и обвязки в стойке.
  6. Управление в рамках шасси, даже нескольких, централизовано, а у Dell и децентрализовано одновременно.
  7. Следуя пункту 6, есть отдельный IP-KVM у каждого лезвия.
  8. FC-фабрика в виде железки стоит примерно “ничего”, платятся деньги за лицензии, часть включена сразу.

Вторым вопросом после выбора форм-фактора серверов стоял выбор хранилища, так как размер бюджета был ограничен, то в процессе отбора и сравнений, остановился на EMC AX4-5f с двумя сторадж-контроллерами, которые подключаются через две FC-фабрики. Это хранилище начального уровня с задатками от хранилищ среднего уровня. Особый интерес имело наличие бесшовных технологий миграции дисков VirtualLUN и объединения MetaLUN.

В процессе перерывания интернета выяснилась комичная ситуация, практически такое же решение известный Scott Lowe использовал в американской церкви ;). Читаем о его критерия выбора и впечатления – раз, два, три, четыре, пять, шесть.

Выбор шасси и хранилища определил аппаратную архитектуру решения. Остались мелочи, то есть детали.

Началось с выбора системы виртуализации – решили Microsoft на Microsoft. Пару месяцев тестировали Hyper-V, бета-версию MS VMM 2008. Пока тестировали на ноутбуке Андрея, ситуация не казалась печальной, кроме сильно глючной бета-версии MS VMM 2008, но, прикинув нарезку LUN под 20-30 сервисов, посчитали идею тупиковой. Выход бесплатной версии ESXi быстро развернул нас в другую сторону, с чем мы себя и поздравляем.

Определившись с гипервизором стали планировать нарезку лезвий и места на дисках хранилища. Если с лезвиями, как оказалось в итоге, можно было и не заморачиваться, так как наши приложения не смогли загрузить пару процессоров Intel Xeon 5420 в лезвии, то по дискам  запланировали одну полку SAS-дисков под SQL и Exchange, вторую SATA под файлы, но предварительную нарезку RAID пришлось выкинуть в топку.

Получив железо, нарезали сторадж по-задуманному, стали с Андреем тестировать скорость под многопоточной нагрузкой, оказалось, что выдача разных LUN из одной RAID группы разными сторадж-контроллерами ведёт к значительному провалу в производительности, так как они плохо согласуют работу между собой, по причине раздельных кешей. Решили отказаться от каждого RAID10 в пользу пары RAID1, что давало до 50% повышения скорости.

Выдача дисков производилась для операционных систем через vmdk, диски с данными для SQL, Exchange, File посредством RDM. Основная причина выбора была возможность восстановления данных при сбоях, так как нормальных методов поднять vmfs не существет до сих пор, ну и думали, что RDM побыстрее будет.

Нагрузка на лезвие планировалась по 4 виртуальных машины, так как уровень доверия к виртуализации был довольно низок, да и так удобней управлять лицензиями MS. Из-за этого все лезвия были оснащенны довольно малым объёмом оперативной памяти 8-16 ГБ. При тестирования 8 лезвий спокойно крутили порядка 15 продактив-серверов и столько же тестовых, ни разу не уперевшись в процессоры.

Для резервного копирования был выбран отдельный сервер DELL PE 1950 III с дисковой полкой DELL PV MD1000. ПО для бэкапов – MS DPM 2007, так как “что делать с бэкапами виртуальных машин?” – вопрос ещё тот ;). Поэтому выбранная система резервного копирования ориентирована на приложения и сервисы, а также на быстрое восстановление составных частей сервисов – файлов, почтовых ящиков и подобного.

В данном проекте мы мигрировали с физической среды на виртуальную, в основном старались устанавливать сервисы с нуля, переносить настройки и данные, и только там, где это было крайне затруднительно, использовали конвертер.

Общее время миграции составило 4,5 месяца. Сроками мы были неограничены, в процессе подготовки миграции перешли на использование DFS, часть ПО сервисов было обновлено на новые версии.

Каких результатов достигли:

  1. сократили расходы на персонал – нагрузка снизилась в 2-3 раза
  2. сократили расходы на электропитание – совместно с блейд-центром, скоращение расходов на 40%, экономия на электричестве больше 50 тысяч рублей в год
  3. сократили расходы на кондиционирование – выключили один из кондиционеров, экономия десятки тысяч рублей год
  4. сократили площади под ЦОД – высвободили одну стойку, убрали весь доисторический хлам, так как уже существовало помещение, стало просто просторней, то есть ходить стало можно 😉
  5. повысили доступность сервисов до 99,9… – при выходе из строя одного из лезвий простой составил 2 минуты
  6. сократили сверхурочные работы – за счет регламентных работ, например, обновление прошивок, чистка железа серверов, а также по причине прекращения сбоев – сократили сверхурочные работы на 95%, то есть в 20(!) раз
  7. сокращение затрат на сервера – были серьезные инвестиции в железо, но это дает возможность не обновлять парк серверов
  8. уменьшение времени внедрения новых сервисов/проектов – новый сервер подготавливается 30-40 мин

При наличии количества серверов более 20 следует рассмотреть виртуализацию, как приоритетное направление развития ИТ-инфраструктуры, дающие значительные преимущества в управлении, снижающее затраты, повышающее надежность и доступность сервисов.

21 thoughts on “Решение для среднего бизнеса”

  1. Молодцы!
    А на самом деле, главное, что просто навели порядок и прежде всего в головах. Респект.

    Цитата:
    Выдача дисков производилась для операционных систем через vmdk, диски с данными для SQL, Exchange, File посредством RDM. Основная причина выбора была возможность восстановления данных при сбоях, так как нормальных методов поднять vmfs не существет до сих пор, ну и думали, что RDM побыстрее будет.

    просто чтобы не забыть -http://www.itexperience.net/2008/03/03/howto-recreate-vmdk-files/

    Есть еще шаманские пляски на тему восстановления vmdk-файлов. Вполне они восстанавливаются, судя по тексту.

  2. В статье немного о другом…
    Дело в том, что жесткий диск VMDK состоит из RAW-данных (Flat VMDK) и указателя (VMDK). Соответственно, в статье про восстановление потерянных VMDK-файлов. А мы говорили про то, что допустим, у нас на сторадже большая VMFS-партиция, в которой куча VMDK. И вдруг, не дай бог :), эта партиция падает. Или же нам потребуется подключить эти разделы с данными непосредственно к Windows-машине. Вот поэтому и были выбраны RDM.

  3. Прошу прошения за запоздалый вопрос. А почему не смотрели в сторону XenServer 5.5 Free или к тому времени проект уже был завершен?
    Какой из ESXi использовали если 3.5 то какую версию update-а?

  4. Этот проект завершен, на момент его проектирования и запуска Xen не рассматривался, так как не было адекватной бесплатной версии.
    Использовалась версия ESXi3.5U2-U3-U4, регулярно хосты обновлялись.

  5. А в данный момент что бы вы выбрали?
    ESXi (Memory Overcomitment, Memory Page Sharing)
    или
    XenServer (есть централизовоное упраление + аналог VMotion)
    Стоит подобная дилема.

  6. 2andrei
    Я бы предложил обсудить детали вашего проекта по аська 67430157, так как ощущение, что хотите бесплатное решение, но вопросы задаете в теме про средний бизнес.
    Если есть бабло порекомендовал бы срочно – до 15 декабря 2009 года, покупать пакет vSphere Advanced Accel kit и выше, если хостов немного.
    Если бабла нет, то советую рассмотреть Hyper-V R2 либо Xen, но сейчас можно только потестировать, так как релиз гиперв-в р2 в октябре ;). В гипер-в р2 бесплатный моушн и НА, ну и , по слухам, НА будет бесплатный и в XEN.

  7. ESXi (Memory Overcomitment, Memory Page Sharing) – это не те вещи из-за который принципиально выбирается гипервизор, если денег нет на память, то лучше в проодактив не виртуализироваться ;).

  8. 2Mister Nobody
    Спасибо за желание помочь. К сожелению ICQ воспользоватся не могу, спицифика предприятия. 😉
    Ощущение по поводу бесплатного решения сложилось правильное. Кризис как ни как 🙁
    Цитата:Выход бесплатной версии ESXi быстро развернул нас в другую сторону, с чем мы себя и поздравляем.
    Вот поэтому меня и заинтересовал данный пост.
    Скорее всего пойду по такому же пути http://forum.ixbt.com/topic.cgi?id=7:33885-13#358
    Т.к. инфраструктура на ESX уже развернута 🙁

  9. Значит, решение было принято до задания вопроса 😉
    Можно поставить ESXi 3.5 u3 с патчами меньше апдейта 4 и радоваться жизни, получить функции гипервизора бесплатно. Решается проблема с бэкапами.

  10. Решил что лучше не ломать что уже работает.
    Получилось следующее:
    ESXi 3.5 u3 + VIMA 4.0 + Veem monitor + VeemFastscp + WinSCP
    Жить в принципе можно 🙂
    А XenServer Free попробуем для других проектов 😉

  11. Что могу добавить к решению “ESXi 3.5 u3 + VIMA 4.0 + Veem monitor + VeemFastscp + WinSCP”:
    0. ESXi 3.5 u3 – патчить, иначе ЛУНы поотваливаются

    1. Free ESXi High Availability http://blog.core-it.com.au/?p=462

    2. использование в управлении powegui/powershell
    http://blogs.vmware.com/vipowershell/
    http://powergui.org/entry.jspa?externalID=1802&categoryID=290
    http://dmitrysotnikov.wordpress.com/2008/07/31/powergui-plugin-inside-vmware-infrastructure-client/
    http://www.codeplex.com/vitoolkitextensions
    http://www.vmwarescripting.com/
    http://www.vi-toolkit.com/wiki/index.php/Main_Page

    3. если есть общий сторадж, то за пару часов разбирания и небольшой корректировки можно получить QuickMigration
    http://www.mikedipetrillo.com/mikedvirtualization/2008/10/quick-migration-for-vmware-the-power-of-powershell.html
    переписывали, проверяли, работает

    4. Бэкапить, Андрей разрабатывал бесплатную схему бэкапа апдейт3, даже вроде как-то про неё писал

  12. Огромное спасибо за ссылки!!! Буду изучать 🙂 Особенно интересно free VMotion
    С патчими насколько я понимаю на до ставить последней до update 4
    Судя по этому http://support.vmware.com/selfsupport/s3portal.portal?_nfpb=true&_windowLabel=SearchPatch&SearchPatch_actionOverride=%2Fportlets%2Fpatchupdate%2FfindPatchByProductVersion&_pageLabel=s3portal_pages_downloadPatch_page&version=3.5&product=ESXi%20(Embedded%20and%20Installable)
    это ESXe350-200903411-O-BG-PATCH если я не ошибаюсь?

  13. Спасибо за помощь!
    Эти скрипты для бэкапа я уже давно приметил 😉
    Сегодня в отпуск, так что сейчас надо накидать планчик что сделано и что предстоит сделать чтобы бы после отпуска не вспоминать. 🙂
    Достаточно интересная система получается, жалко только что большинство возможностей работают только до update 4 🙁
    А так получается решение для очень-очень небогатого бизнеса 🙂

  14. Я тоже сегодня в отпуск, желаю всем хорошо отдохнуть! 😉

    По поводу update 4 – купите ESX 4 Essentials, 1000 долларов за 3 двухпроцессорных хоста очень дёшево, если хостов больше 3, то можно купить несколько комплектов. Думаю, 1000 долларов может позволить бизнес. как средство экономии, на одних лицензиях больше выиграет.

    Сравнение дешевых управлялок http://vmind.ru/2009/05/28/veeam-monitor-kak-besplatnaya-alternativa-vcenter-dlya-malogo-biznesa/

    Как попросить у бизнеса 1000 баков http://vmind.ru/2009/06/24/postanovka-biznes-celej-pri-vnedrenii-virtualizacii/
    Решаются проблемы:
    1. Бэкапов. Работает VCB.
    2. Скриптов. Работают все скрипты.
    3. ПО третьих сторон. Лицензия разрешает использовать ПО других компаний
    4. vCenter. Получаете управлялку на 3 хоста.
    5. Обновлений. Получаете update manager.
    6. Защиты. Получите VMSafe.

  15. Ок! Будем работать в этом направление 😉
    Также хорошо отдохнуть в отпуске!

Leave a Reply

Your email address will not be published. Required fields are marked *