Еще один проект виртуализации :)

В этом году нами было принято стратегическое решение виртуализоваться.
Тут Виктор уже писал о виртуализации для малого и среднего бизнеса. Я запасся VMware Capacity Planner и выяснил, что 15 физических серверов нормально виртуализуются до 3. Так как я адепт VMware в большей степени, чем Microsoft, то выбор платформы очевиден.
При выборе лицензии мы оценили влияние ИТ на бизнес и поняли, что на данном этапе мы можем предложить экономию в следующих областях:
— электропитание;
— экономия на тестовой лаборатории;
— экономия на лицензиях;
— довольно условная экономия на запуске новых проектов. Довольно условной я ее назвал потому, что на данном этапе нами выбрана лицензия vSphere Essentials, а она ограничивает нас тремя хостами виртуализации, которые и так будут прилично нагружены.
Из вышеперечисленного мы можем посчитать лишь экономию на лицензиях. Если у нас есть 15 физических серверов, то это как минимум 15 Windows Srv Std. Если же это виртуальные машины, то нам будет достаточно 3 Windows Srv Ent и 3 Windows Srv Std. Соответственно, на лицензиях мы экономим примерно 3’000$. А то и больше, если виртуализовали не Std, а Ent.
В качестве аппаратной платформы под хосты виртуализации было выбрано шасси HP c3000. Выбор бренда был продиктован тем, что у нас вся серверная инфраструктура на базе HP. Выбор архитектуры блейдов обоснован его перспективностью и экономичностью.
Блейд-сервера планируем сделать хостами виртуализации, а на стоечных серверах оставить кластера и тяжелые приложения (для кластеров у нас есть MSA500 G2 с интерфейсом SCSI).
Кроме того, у нас нет общей системы хранения данных. Имеющиеся системы MSA500 G2 медленные и не позволяют подключить больше четырех серверов (двух с соблюдением отказоустойчивости путей). Обследовав рынок и оценив свои возможности, мы остановились на СХД HP MSA2000fc G2.
— выбор оптической инфраструктуры обусловлен тем, что мы хотим использовать как блейды, так и стоечные сервера. SAS-инфраструктура хороша и обходится гораздо дешевле, но ограничена использованием небольшого количества внешних хостов. Вот если бы мы выбрали только блейд, SAS бы нам вполне подошел.
— выбор именно такого хранилища продиктован тем, что у нас есть достаточно большое количество Proliant DL380 G5, напичканных SAS-дисками. Если их все разграбить виртуализовать, то на жестких дисках мы сэкономим примерно 20’000$. Соответственно, за небольшие деньги мы получаем достаточно шуструю систему.

P.S. Заметка не проплачена HP.
P.P.S. А жаль 🙂
P.P.P.S. Кстати, об электриках — на днях они обрубили электричество на кондиционерах в серверной. С семи вечера до девяти утра в серверной была температура в 40 градусов — да здравствуют оповещения…

Запись опубликована в рубрике 4.1, Hardware, HP, VMware, vSphere с метками . Добавьте в закладки постоянную ссылку.

33 комментария: Еще один проект виртуализации :)

  1. diz говорит:

    Андрей, рассматривал ли ты покупку datacenter edition? Мне кажется, что такой выбор был бы более оправдан.

  2. diz говорит:

    Далее, насчет SAS СХД. В IBM DS3200 до 3х портов на контроллер, Витя говорит, что в MSA 4 SAS порта на контроллер. Соответственно есть довольно большой запас по подключению внешних серверов. При использовании виртуализации ты раньше упрешься в производительность своей СХД начального уровня, чем в кол-во портов 🙂 FC имеет смысл при необходимости репликации на удаленную площадку, либо если надо подключить n СХД/ЛБ к m серверам.

  3. Андрей Вахитов говорит:

    Да, рассматривал. Дело в том, что Windows Server Datacenter Edition лицензируется по сокетам. Лицензия на один сокет стоит столько же, сколько и Enterprise Edition (и примерно втрое дороже чем Standard Edition). Соответственно, лицензия Enterprise вам выгоднее, если на хосте больше двух ВМ с операционной системой Windows Server. Лицензия Datacenter на двухпроцессорный сервер будет стоить столько же, сколько две Enterprise Edition. Соответственно, на двухпроцессорный сервер она выгоднее, если там больше 8 ВМ. А у меня примерно по 5ВМ на сервер 🙂
    Что же касается выбора: FC vs SAS, то тут все сложнее. Я сознательно «забыл» упомянуть, что:
    — у нас планируется строить новую диспетчерскую на территории, где тоже будет стоять какое-то железо. По FC его подключить к СХД получится, по SAS уже нет, так как СХД будет стоять в основной серверной;
    — у нас есть несколько стримеров, которые было бы неплохо подключить к SAN.

  4. diz говорит:

    По FC\SAS мне все понятно, из двух названных мною условий вы попали в оба 🙂 А вот касаемо выбора Datacenter\Enterprise… У вас в любой момент времени будет не более 5 vm на хост? 😉

  5. Андрей Вахитов говорит:

    Думаю, что будет максимум 7 ВМ, которые я буду размещать руками.
    Это же не лицензия уровня Enterprise, где DRS будет сам раскидывать машины по хостам…

  6. diz говорит:

    А HA?

  7. drpooh говорит:

    HA в vSphere Essentials не входит

  8. drpooh говорит:

    Проект уже реализован? У нас проект на двух dl380g6 и такой же схд. Ждем поставку.

  9. Андрей Вахитов говорит:

    2diz: VMware High Availability входит в состав vSphere Essentials Plus, может быть, мы проапгрейдимся до него в следующем году.
    2drpooh: добрый день. Нет, проект еще не реализован: блейдов и схд еще нет. На данный момент есть только лицензия vSphere Essentials, установленная на двух DL380g5. Данные лежат на локальных дисках, бэкап настроен как в статье на сайте 🙂

  10. fribourg говорит:

    доброе время суток
    я тоже виртуализирую на базе с3000 (подробнее есть тема в коммунити)
    проясните по поводу «экономии» на лицензиях MS
    у самого имеется в наличии 4 штуки 2003r2 ent, думал вау, до 16 ВМ смогу сделать
    но, почитав внимательно темы про лицензирование в виртуальной среде, почему то сделал вывод, что не всё так шОколадно
    запуск до 4-х копий виртуальных машин возможны на хосте под управлением этой же лицензированной системы (т.е. виртуализировать под продуктами MS нужно)
    поправьте меня, коллеги, если не прав

  11. drpooh говорит:

    2fribourg: не уверен про 2003ий, но 2008 не обязательно виртуализировать под продуктами MS. Цитата из MS:
    «Q. Do the virtualization licensing rights of Windows Server 2008 apply when used with non-Microsoft software virtualization technologies?
    A. Yes. The use rights apply regardless of the virtualization product being used. However, any non-Microsoft software virtualization technologies are not supported by Microsoft.»

  12. A.Vakhitov говорит:

    2fribourg: это не так. Представьте, если бы вы захотели использовать 8 ВМ. Вы же не можете «установить» на физический сервер два Windows Server.
    Точнее, можете, но это, скорее, извращение 😉
    На самом деле, имеется в виду, что вы должны каким-то внутренним образом назначить лицензию Windows Server Ent вашему хосту. Допустим, хотите вы на хосте запустить 16 ВМ. Нет ничего проще. Запоминаете, что из N лицензий вы 4 назначаете этой железяке. Соответственно, у вас остается свободными еще N-4 лицензий.
    Правила перемещения сервеных лицензий таковы, что вы не можете перемещать их между хостами чаще чем раз в 90 дней. Или в случае поломки.
    Более того, если у вас DRS или VMM+SCOM PRO, теоретически вам необходимо купить СТОЛЬКО лицензий на каждый хост, сколько может ВМ теоретически запуститься. На практике, думаю, на этот изврат все забивают, а Микрософт введет политику лицензирования на датацентр (тем более, что прецеденты уже есть).

  13. A.Vakhitov говорит:

    Встал на грабли. Список поддерживаемых ЖД на СХД MSA2000 G2 тут (http://h18000.www1.hp.com/products/quickspecs/13187_div/13187_div.html).
    Проверил кучу своих пролиантов — ни одного поддерживаемого диска. Самый главный бонус в сторону выбора MSA2000 только что отпал.

  14. drpooh говорит:

    Там MSA2 диски Dualport. Тоже надеялся на совместимость с имеющимся пролиантом, поэтому схд покупается со своими дисками.

  15. A.Vakhitov говорит:

    Поступили слухи, что в конфигурации с одним контроллером удалось воткнуть однопортовые диски. СХД ругается, но подключает их.
    Естественно, такая конфигурация не поддерживается HP, и вы используете ее на свой страх и риск.

  16. krupskij говорит:

    2diz — Свят-свят-свят, только не IBM DS3200… Сами IBM сняли
    для DS3200 и 3300 совместимость с VMWare. Мы уже были вынуждены
    тупо списать DS3200 и отдать ее под другие проекты — под Linux’ами
    она вообще не тянет, проверено под RHEL, OEL, CentOS и VMware 🙁

  17. drpooh говорит:

    2A.Vakhitov
    Надо будет проверить, как железо прийдет

  18. A.Vakhitov говорит:

    2drpooh: проверьте, пожалуйста и отпишитесь мне в почту (templier2@yandex.ru).

  19. diz говорит:

    krupskij, ds3200 не тянет в каком смысле и в сравнении с чем?

  20. krupskij говорит:

    DS3200 не тянет по скорости доступа и i/o latency. Причем не тянет именно под линуксообразными осями. У нас на ней стоял
    Oracle RAC под RHEL 5.2, потом под OEL 5.2 — падал по таймаутам
    доступа к voting disk, стояли VMware ESX 3.5U3, U4 и 4.0
    (на DS3200 было общее datastore) —
    тормозило как смерть, любая дисковая операция, связанная
    с большими обьемами данных (установка чего-либо, копирование)
    вешала все ВМ. Производительность была 60-80 iops на ВМ
    и по vscsistat 50% read i/o latency >100ms. Когда я собрал
    софтовый рейд на отдельной машине 5 500Гб десктопных
    Барракудах и раздал его по NFS — он показал iops в 2 раза быстрее
    и 50% read i/o latency <10ms. В итоге пришлось под стоны
    руководства, которому в свое время навязали DS3200,
    перебазироваться на FC полку DS4700 за совсем другие деньги 🙁
    Да, не забывайте, что хоть в VMware HCL DS3200 и есть,
    но в IBM’овском Interoperability Matrix она показана как
    неподдерживаемая. Может несколько сумбурно рассказал,
    но, надеюсь, понятно.

  21. diz говорит:

    krupskij, В принципе, понятно. Судя по описанию у Вас была какая-то проблема с драйверами\прошивкой\железом. С 4700 ее конечно не сравнить — это железка уже другого уровня, но и описанных проблем быть не должно.

  22. krupskij говорит:

    Если бы с драйверами\прошивкой\железом. Мы изнасиловали
    тех.поддержку IBM, и в конце концов они неофициально сознались,
    что DS3200 под VMware не годится. У меня за год возни с этим делом
    было по полке 27 запросов на подержку. Все, касавшиеся медленной
    работы и таймаутов спускались на тормозах. Т.е. «передан на 2ю
    линию», потом «Проблема не повторяется — закрываем». В процессе
    возни мы полку перепрошивали несколько раз, меняли драйвера
    RDAC, прошивки контроллеров и винтов в полке, IBM нам заменила
    серверные адаптеры IBM SAS HBA — все без толку. Потом я эту
    полку тестировал в standalone подключении к настольному компу,
    на который ставил разные (относительно) ОС. Так вот, под RHEL
    и ее клонами (OEL, CentOS, VMware) производительность DS3200
    существенно ниже, чем под Win* 🙁

  23. krupskij говорит:

    Достаточно заглянуть в http://www-03.ibm.com/systems/resources/systems_storage_disk_ds3000_pdf_interop.pdf
    на стр.18 в разделе Supported Operating Systems
    последняя строчка таблицы и раздела VMware
    (VMware ESX Server 3.5.4 / 4.0 (supported with up to 4 host servers attached) содержит Y только для DS3400 🙁

  24. Mister Nobody говорит:

    Я давно уже говорю, что IBM DS3xxx отстой.
    DS5020 поприкольней должна быть, если прошивку обещанную выпустят 😉

  25. drpooh говорит:

    2 A.Vakhitov
    ОК. Если только ваще железо раньше не прийдет.

  26. Sergey говорит:

    Относительно лицензирования продуктов МС в виртуальной среде — если опустить все подробности, то при отсутствии vMotion/DRS, да и НА тоже вам нужно количество лицензий на хосте равное числу ВМ. Если у вас есть хотябы НА, не говоря уже о vMotion/DRS, то вам на каждый хост такое количество лицензий, какое максимальное число ВМ может там оказаться и так пролицензировать каждый хост!. В целом на ваш ЦОД их потребуется число ВМ* число хостов, возможно эта цифирь будет умножена в несколько раз…
    ОС Windows лицензированию на датацентр не подлежит, только сервера приложений типа Exchange, SharePoint, возможно SQL, так что засада с переносом лицензий и покупкой лишних остается в полный рост. Под поломкой сервера, когда с него снимается текущая лицензия подразумевается не кратковременное посещение сервис-центра/ремонт на месте, а его полный выход из строя, с выведением конкретной железки из эксплуатации.

  27. A.Vakhitov говорит:

    Согласен с Сергеем. Геморрой с лицензированием ЦОД с виртуализацией еще тот. Правда, сейчас в МС тоже есть и Live Migration, и High Availability (MSCS), и аналог DRS. Поэтому, вполне стоит ожидать, что Микрософт пойдет на уступки и начнет лицензирование на ЦОД.

  28. Cirill говорит:

    Истину глаголят про DS3200
    Знакомый, работающий интегратором, рассказывал про нее страшное.

    Правда, и про HP MSA2000fc тоже не могу сказать хорошего.
    Развернул в прошлом году (ноябрь, последние рекомендованные прошивки)
    Стали сыпаться винты (8 штук за месяц!!!), винты исправно меняли (привозил курьер) постоянные ребилды, и однажды в момент ребилда произошел сбой контроллера. Рейд ессно аля-улю. Неприятно было.

    Вышли в декабре прошивки для винтов и контроллера. Прошился, три месяца без проблем жил. Снова сбойнул контроллер. Поменяли контроллер. С тех пор все было нормально.

    Возможно, это все цепь случайностей и ни у кого более не повторялось. Но имхо не спроста за прошлую осень было 3 фирмваре.

  29. A.Vakhitov говорит:

    Был на курсе по HP San Essentials — препод очень ругал MSA и говорил, что для нее прошивки каждую неделю клепают 😉
    Скорее всего, вам просто капитально не повезло. На itband.ru Romx писал про статистику выхода из строя жд — там в первый год очень много винтов падает. Правда, он про обычные IDE-винты у Google писал…
    Совпадение ребилда рейда и сбоя контроллера — вообще меганевезение. Кстати, а HP что по этому поводу сказал? Это нормальное поведение данной СХД или не повезло?

  30. admin говорит:

    Принято решение в качестве СХД использовать не MSA2000, а EVA4400. Вендор все тот же — HP. На вопрос «А почему не %любимый вендор%» ответ простой:
    «Корпоративный стандарт». Что-либо другое должно обосновываться на техническом совете в Москве. Учитывая бюрократию предприятия, где я работаю, это минимум на месяц отложит внедрение СХД.
    Причин несколько:
    — в будущем может потребоваться второе хранилище данных и репликация. Выкидывать сейчас миллион-два на MSA2000 нецелесообразно;
    — EVA4400 может быть улучшена до 6400, если заменить ей голову. MSA2000 — нет.

  31. len говорит:

    А xenserver согласится работать с MSA2312sa + SAS HBA

  32. Константин говорит:

    Уважаемые по всей сети ищу Пример Отчета Capacity Planner’a пожалйста если есть у кого дайте ссылку или на мыло пришлите буду рад и презнателен

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *