Еще один проект виртуализации :)

В этом году нами было принято стратегическое решение виртуализоваться.
Тут Виктор уже писал о виртуализации для малого и среднего бизнеса. Я запасся VMware Capacity Planner и выяснил, что 15 физических серверов нормально виртуализуются до 3. Так как я адепт VMware в большей степени, чем Microsoft, то выбор платформы очевиден.
При выборе лицензии мы оценили влияние ИТ на бизнес и поняли, что на данном этапе мы можем предложить экономию в следующих областях:
– электропитание;
– экономия на тестовой лаборатории;
– экономия на лицензиях;
– довольно условная экономия на запуске новых проектов. Довольно условной я ее назвал потому, что на данном этапе нами выбрана лицензия vSphere Essentials, а она ограничивает нас тремя хостами виртуализации, которые и так будут прилично нагружены.
Из вышеперечисленного мы можем посчитать лишь экономию на лицензиях. Если у нас есть 15 физических серверов, то это как минимум 15 Windows Srv Std. Если же это виртуальные машины, то нам будет достаточно 3 Windows Srv Ent и 3 Windows Srv Std. Соответственно, на лицензиях мы экономим примерно 3’000$. А то и больше, если виртуализовали не Std, а Ent.
В качестве аппаратной платформы под хосты виртуализации было выбрано шасси HP c3000. Выбор бренда был продиктован тем, что у нас вся серверная инфраструктура на базе HP. Выбор архитектуры блейдов обоснован его перспективностью и экономичностью.
Блейд-сервера планируем сделать хостами виртуализации, а на стоечных серверах оставить кластера и тяжелые приложения (для кластеров у нас есть MSA500 G2 с интерфейсом SCSI).
Кроме того, у нас нет общей системы хранения данных. Имеющиеся системы MSA500 G2 медленные и не позволяют подключить больше четырех серверов (двух с соблюдением отказоустойчивости путей). Обследовав рынок и оценив свои возможности, мы остановились на СХД HP MSA2000fc G2.
– выбор оптической инфраструктуры обусловлен тем, что мы хотим использовать как блейды, так и стоечные сервера. SAS-инфраструктура хороша и обходится гораздо дешевле, но ограничена использованием небольшого количества внешних хостов. Вот если бы мы выбрали только блейд, SAS бы нам вполне подошел.
– выбор именно такого хранилища продиктован тем, что у нас есть достаточно большое количество Proliant DL380 G5, напичканных SAS-дисками. Если их все разграбить виртуализовать, то на жестких дисках мы сэкономим примерно 20’000$. Соответственно, за небольшие деньги мы получаем достаточно шуструю систему.

P.S. Заметка не проплачена HP.
P.P.S. А жаль 🙂
P.P.P.S. Кстати, об электриках – на днях они обрубили электричество на кондиционерах в серверной. С семи вечера до девяти утра в серверной была температура в 40 градусов – да здравствуют оповещения…

33 thoughts on “Еще один проект виртуализации :)”

  1. Андрей, рассматривал ли ты покупку datacenter edition? Мне кажется, что такой выбор был бы более оправдан.

  2. Далее, насчет SAS СХД. В IBM DS3200 до 3х портов на контроллер, Витя говорит, что в MSA 4 SAS порта на контроллер. Соответственно есть довольно большой запас по подключению внешних серверов. При использовании виртуализации ты раньше упрешься в производительность своей СХД начального уровня, чем в кол-во портов 🙂 FC имеет смысл при необходимости репликации на удаленную площадку, либо если надо подключить n СХД/ЛБ к m серверам.

  3. Да, рассматривал. Дело в том, что Windows Server Datacenter Edition лицензируется по сокетам. Лицензия на один сокет стоит столько же, сколько и Enterprise Edition (и примерно втрое дороже чем Standard Edition). Соответственно, лицензия Enterprise вам выгоднее, если на хосте больше двух ВМ с операционной системой Windows Server. Лицензия Datacenter на двухпроцессорный сервер будет стоить столько же, сколько две Enterprise Edition. Соответственно, на двухпроцессорный сервер она выгоднее, если там больше 8 ВМ. А у меня примерно по 5ВМ на сервер 🙂
    Что же касается выбора: FC vs SAS, то тут все сложнее. Я сознательно “забыл” упомянуть, что:
    – у нас планируется строить новую диспетчерскую на территории, где тоже будет стоять какое-то железо. По FC его подключить к СХД получится, по SAS уже нет, так как СХД будет стоять в основной серверной;
    – у нас есть несколько стримеров, которые было бы неплохо подключить к SAN.

  4. По FC\SAS мне все понятно, из двух названных мною условий вы попали в оба 🙂 А вот касаемо выбора Datacenter\Enterprise… У вас в любой момент времени будет не более 5 vm на хост? 😉

  5. Думаю, что будет максимум 7 ВМ, которые я буду размещать руками.
    Это же не лицензия уровня Enterprise, где DRS будет сам раскидывать машины по хостам…

  6. Проект уже реализован? У нас проект на двух dl380g6 и такой же схд. Ждем поставку.

  7. 2diz: VMware High Availability входит в состав vSphere Essentials Plus, может быть, мы проапгрейдимся до него в следующем году.
    2drpooh: добрый день. Нет, проект еще не реализован: блейдов и схд еще нет. На данный момент есть только лицензия vSphere Essentials, установленная на двух DL380g5. Данные лежат на локальных дисках, бэкап настроен как в статье на сайте 🙂

  8. доброе время суток
    я тоже виртуализирую на базе с3000 (подробнее есть тема в коммунити)
    проясните по поводу “экономии” на лицензиях MS
    у самого имеется в наличии 4 штуки 2003r2 ent, думал вау, до 16 ВМ смогу сделать
    но, почитав внимательно темы про лицензирование в виртуальной среде, почему то сделал вывод, что не всё так шОколадно
    запуск до 4-х копий виртуальных машин возможны на хосте под управлением этой же лицензированной системы (т.е. виртуализировать под продуктами MS нужно)
    поправьте меня, коллеги, если не прав

  9. 2fribourg: не уверен про 2003ий, но 2008 не обязательно виртуализировать под продуктами MS. Цитата из MS:
    “Q. Do the virtualization licensing rights of Windows Server 2008 apply when used with non-Microsoft software virtualization technologies?
    A. Yes. The use rights apply regardless of the virtualization product being used. However, any non-Microsoft software virtualization technologies are not supported by Microsoft.”

  10. 2fribourg: это не так. Представьте, если бы вы захотели использовать 8 ВМ. Вы же не можете “установить” на физический сервер два Windows Server.
    Точнее, можете, но это, скорее, извращение 😉
    На самом деле, имеется в виду, что вы должны каким-то внутренним образом назначить лицензию Windows Server Ent вашему хосту. Допустим, хотите вы на хосте запустить 16 ВМ. Нет ничего проще. Запоминаете, что из N лицензий вы 4 назначаете этой железяке. Соответственно, у вас остается свободными еще N-4 лицензий.
    Правила перемещения сервеных лицензий таковы, что вы не можете перемещать их между хостами чаще чем раз в 90 дней. Или в случае поломки.
    Более того, если у вас DRS или VMM+SCOM PRO, теоретически вам необходимо купить СТОЛЬКО лицензий на каждый хост, сколько может ВМ теоретически запуститься. На практике, думаю, на этот изврат все забивают, а Микрософт введет политику лицензирования на датацентр (тем более, что прецеденты уже есть).

  11. Там MSA2 диски Dualport. Тоже надеялся на совместимость с имеющимся пролиантом, поэтому схд покупается со своими дисками.

  12. Поступили слухи, что в конфигурации с одним контроллером удалось воткнуть однопортовые диски. СХД ругается, но подключает их.
    Естественно, такая конфигурация не поддерживается HP, и вы используете ее на свой страх и риск.

  13. 2diz – Свят-свят-свят, только не IBM DS3200… Сами IBM сняли
    для DS3200 и 3300 совместимость с VMWare. Мы уже были вынуждены
    тупо списать DS3200 и отдать ее под другие проекты – под Linux’ами
    она вообще не тянет, проверено под RHEL, OEL, CentOS и VMware 🙁

  14. 2drpooh: проверьте, пожалуйста и отпишитесь мне в почту (templier2@yandex.ru).

  15. DS3200 не тянет по скорости доступа и i/o latency. Причем не тянет именно под линуксообразными осями. У нас на ней стоял
    Oracle RAC под RHEL 5.2, потом под OEL 5.2 – падал по таймаутам
    доступа к voting disk, стояли VMware ESX 3.5U3, U4 и 4.0
    (на DS3200 было общее datastore) –
    тормозило как смерть, любая дисковая операция, связанная
    с большими обьемами данных (установка чего-либо, копирование)
    вешала все ВМ. Производительность была 60-80 iops на ВМ
    и по vscsistat 50% read i/o latency >100ms. Когда я собрал
    софтовый рейд на отдельной машине 5 500Гб десктопных
    Барракудах и раздал его по NFS – он показал iops в 2 раза быстрее
    и 50% read i/o latency <10ms. В итоге пришлось под стоны
    руководства, которому в свое время навязали DS3200,
    перебазироваться на FC полку DS4700 за совсем другие деньги 🙁
    Да, не забывайте, что хоть в VMware HCL DS3200 и есть,
    но в IBM’овском Interoperability Matrix она показана как
    неподдерживаемая. Может несколько сумбурно рассказал,
    но, надеюсь, понятно.

  16. krupskij, В принципе, понятно. Судя по описанию у Вас была какая-то проблема с драйверами\прошивкой\железом. С 4700 ее конечно не сравнить – это железка уже другого уровня, но и описанных проблем быть не должно.

  17. Если бы с драйверами\прошивкой\железом. Мы изнасиловали
    тех.поддержку IBM, и в конце концов они неофициально сознались,
    что DS3200 под VMware не годится. У меня за год возни с этим делом
    было по полке 27 запросов на подержку. Все, касавшиеся медленной
    работы и таймаутов спускались на тормозах. Т.е. “передан на 2ю
    линию”, потом “Проблема не повторяется – закрываем”. В процессе
    возни мы полку перепрошивали несколько раз, меняли драйвера
    RDAC, прошивки контроллеров и винтов в полке, IBM нам заменила
    серверные адаптеры IBM SAS HBA – все без толку. Потом я эту
    полку тестировал в standalone подключении к настольному компу,
    на который ставил разные (относительно) ОС. Так вот, под RHEL
    и ее клонами (OEL, CentOS, VMware) производительность DS3200
    существенно ниже, чем под Win* 🙁

  18. Я давно уже говорю, что IBM DS3xxx отстой.
    DS5020 поприкольней должна быть, если прошивку обещанную выпустят 😉

  19. Относительно лицензирования продуктов МС в виртуальной среде – если опустить все подробности, то при отсутствии vMotion/DRS, да и НА тоже вам нужно количество лицензий на хосте равное числу ВМ. Если у вас есть хотябы НА, не говоря уже о vMotion/DRS, то вам на каждый хост такое количество лицензий, какое максимальное число ВМ может там оказаться и так пролицензировать каждый хост!. В целом на ваш ЦОД их потребуется число ВМ* число хостов, возможно эта цифирь будет умножена в несколько раз…
    ОС Windows лицензированию на датацентр не подлежит, только сервера приложений типа Exchange, SharePoint, возможно SQL, так что засада с переносом лицензий и покупкой лишних остается в полный рост. Под поломкой сервера, когда с него снимается текущая лицензия подразумевается не кратковременное посещение сервис-центра/ремонт на месте, а его полный выход из строя, с выведением конкретной железки из эксплуатации.

  20. Согласен с Сергеем. Геморрой с лицензированием ЦОД с виртуализацией еще тот. Правда, сейчас в МС тоже есть и Live Migration, и High Availability (MSCS), и аналог DRS. Поэтому, вполне стоит ожидать, что Микрософт пойдет на уступки и начнет лицензирование на ЦОД.

  21. Истину глаголят про DS3200
    Знакомый, работающий интегратором, рассказывал про нее страшное.

    Правда, и про HP MSA2000fc тоже не могу сказать хорошего.
    Развернул в прошлом году (ноябрь, последние рекомендованные прошивки)
    Стали сыпаться винты (8 штук за месяц!!!), винты исправно меняли (привозил курьер) постоянные ребилды, и однажды в момент ребилда произошел сбой контроллера. Рейд ессно аля-улю. Неприятно было.

    Вышли в декабре прошивки для винтов и контроллера. Прошился, три месяца без проблем жил. Снова сбойнул контроллер. Поменяли контроллер. С тех пор все было нормально.

    Возможно, это все цепь случайностей и ни у кого более не повторялось. Но имхо не спроста за прошлую осень было 3 фирмваре.

  22. Был на курсе по HP San Essentials – препод очень ругал MSA и говорил, что для нее прошивки каждую неделю клепают 😉
    Скорее всего, вам просто капитально не повезло. На itband.ru Romx писал про статистику выхода из строя жд – там в первый год очень много винтов падает. Правда, он про обычные IDE-винты у Google писал…
    Совпадение ребилда рейда и сбоя контроллера – вообще меганевезение. Кстати, а HP что по этому поводу сказал? Это нормальное поведение данной СХД или не повезло?

  23. Принято решение в качестве СХД использовать не MSA2000, а EVA4400. Вендор все тот же – HP. На вопрос “А почему не %любимый вендор%” ответ простой:
    “Корпоративный стандарт”. Что-либо другое должно обосновываться на техническом совете в Москве. Учитывая бюрократию предприятия, где я работаю, это минимум на месяц отложит внедрение СХД.
    Причин несколько:
    – в будущем может потребоваться второе хранилище данных и репликация. Выкидывать сейчас миллион-два на MSA2000 нецелесообразно;
    – EVA4400 может быть улучшена до 6400, если заменить ей голову. MSA2000 – нет.

  24. Уважаемые по всей сети ищу Пример Отчета Capacity Planner’a пожалйста если есть у кого дайте ссылку или на мыло пришлите буду рад и презнателен

Leave a Reply to drpooh Cancel reply

Your email address will not be published. Required fields are marked *