В этом году нами было принято стратегическое решение виртуализоваться.
Тут Виктор уже писал о виртуализации для малого и среднего бизнеса. Я запасся VMware Capacity Planner и выяснил, что 15 физических серверов нормально виртуализуются до 3. Так как я адепт VMware в большей степени, чем Microsoft, то выбор платформы очевиден.
При выборе лицензии мы оценили влияние ИТ на бизнес и поняли, что на данном этапе мы можем предложить экономию в следующих областях:
– электропитание;
– экономия на тестовой лаборатории;
– экономия на лицензиях;
– довольно условная экономия на запуске новых проектов. Довольно условной я ее назвал потому, что на данном этапе нами выбрана лицензия vSphere Essentials, а она ограничивает нас тремя хостами виртуализации, которые и так будут прилично нагружены.
Из вышеперечисленного мы можем посчитать лишь экономию на лицензиях. Если у нас есть 15 физических серверов, то это как минимум 15 Windows Srv Std. Если же это виртуальные машины, то нам будет достаточно 3 Windows Srv Ent и 3 Windows Srv Std. Соответственно, на лицензиях мы экономим примерно 3’000$. А то и больше, если виртуализовали не Std, а Ent.
В качестве аппаратной платформы под хосты виртуализации было выбрано шасси HP c3000. Выбор бренда был продиктован тем, что у нас вся серверная инфраструктура на базе HP. Выбор архитектуры блейдов обоснован его перспективностью и экономичностью.
Блейд-сервера планируем сделать хостами виртуализации, а на стоечных серверах оставить кластера и тяжелые приложения (для кластеров у нас есть MSA500 G2 с интерфейсом SCSI).
Кроме того, у нас нет общей системы хранения данных. Имеющиеся системы MSA500 G2 медленные и не позволяют подключить больше четырех серверов (двух с соблюдением отказоустойчивости путей). Обследовав рынок и оценив свои возможности, мы остановились на СХД HP MSA2000fc G2.
– выбор оптической инфраструктуры обусловлен тем, что мы хотим использовать как блейды, так и стоечные сервера. SAS-инфраструктура хороша и обходится гораздо дешевле, но ограничена использованием небольшого количества внешних хостов. Вот если бы мы выбрали только блейд, SAS бы нам вполне подошел.
– выбор именно такого хранилища продиктован тем, что у нас есть достаточно большое количество Proliant DL380 G5, напичканных SAS-дисками. Если их все разграбить виртуализовать, то на жестких дисках мы сэкономим примерно 20’000$. Соответственно, за небольшие деньги мы получаем достаточно шуструю систему.
P.S. Заметка не проплачена HP.
P.P.S. А жаль 🙂
P.P.P.S. Кстати, об электриках – на днях они обрубили электричество на кондиционерах в серверной. С семи вечера до девяти утра в серверной была температура в 40 градусов – да здравствуют оповещения…
Андрей, рассматривал ли ты покупку datacenter edition? Мне кажется, что такой выбор был бы более оправдан.
Далее, насчет SAS СХД. В IBM DS3200 до 3х портов на контроллер, Витя говорит, что в MSA 4 SAS порта на контроллер. Соответственно есть довольно большой запас по подключению внешних серверов. При использовании виртуализации ты раньше упрешься в производительность своей СХД начального уровня, чем в кол-во портов 🙂 FC имеет смысл при необходимости репликации на удаленную площадку, либо если надо подключить n СХД/ЛБ к m серверам.
Да, рассматривал. Дело в том, что Windows Server Datacenter Edition лицензируется по сокетам. Лицензия на один сокет стоит столько же, сколько и Enterprise Edition (и примерно втрое дороже чем Standard Edition). Соответственно, лицензия Enterprise вам выгоднее, если на хосте больше двух ВМ с операционной системой Windows Server. Лицензия Datacenter на двухпроцессорный сервер будет стоить столько же, сколько две Enterprise Edition. Соответственно, на двухпроцессорный сервер она выгоднее, если там больше 8 ВМ. А у меня примерно по 5ВМ на сервер 🙂
Что же касается выбора: FC vs SAS, то тут все сложнее. Я сознательно “забыл” упомянуть, что:
– у нас планируется строить новую диспетчерскую на территории, где тоже будет стоять какое-то железо. По FC его подключить к СХД получится, по SAS уже нет, так как СХД будет стоять в основной серверной;
– у нас есть несколько стримеров, которые было бы неплохо подключить к SAN.
По FC\SAS мне все понятно, из двух названных мною условий вы попали в оба 🙂 А вот касаемо выбора Datacenter\Enterprise… У вас в любой момент времени будет не более 5 vm на хост? 😉
Думаю, что будет максимум 7 ВМ, которые я буду размещать руками.
Это же не лицензия уровня Enterprise, где DRS будет сам раскидывать машины по хостам…
А HA?
HA в vSphere Essentials не входит
Проект уже реализован? У нас проект на двух dl380g6 и такой же схд. Ждем поставку.
2diz: VMware High Availability входит в состав vSphere Essentials Plus, может быть, мы проапгрейдимся до него в следующем году.
2drpooh: добрый день. Нет, проект еще не реализован: блейдов и схд еще нет. На данный момент есть только лицензия vSphere Essentials, установленная на двух DL380g5. Данные лежат на локальных дисках, бэкап настроен как в статье на сайте 🙂
доброе время суток
я тоже виртуализирую на базе с3000 (подробнее есть тема в коммунити)
проясните по поводу “экономии” на лицензиях MS
у самого имеется в наличии 4 штуки 2003r2 ent, думал вау, до 16 ВМ смогу сделать
но, почитав внимательно темы про лицензирование в виртуальной среде, почему то сделал вывод, что не всё так шОколадно
запуск до 4-х копий виртуальных машин возможны на хосте под управлением этой же лицензированной системы (т.е. виртуализировать под продуктами MS нужно)
поправьте меня, коллеги, если не прав
2fribourg: не уверен про 2003ий, но 2008 не обязательно виртуализировать под продуктами MS. Цитата из MS:
“Q. Do the virtualization licensing rights of Windows Server 2008 apply when used with non-Microsoft software virtualization technologies?
A. Yes. The use rights apply regardless of the virtualization product being used. However, any non-Microsoft software virtualization technologies are not supported by Microsoft.”
2fribourg: это не так. Представьте, если бы вы захотели использовать 8 ВМ. Вы же не можете “установить” на физический сервер два Windows Server.
Точнее, можете, но это, скорее, извращение 😉
На самом деле, имеется в виду, что вы должны каким-то внутренним образом назначить лицензию Windows Server Ent вашему хосту. Допустим, хотите вы на хосте запустить 16 ВМ. Нет ничего проще. Запоминаете, что из N лицензий вы 4 назначаете этой железяке. Соответственно, у вас остается свободными еще N-4 лицензий.
Правила перемещения сервеных лицензий таковы, что вы не можете перемещать их между хостами чаще чем раз в 90 дней. Или в случае поломки.
Более того, если у вас DRS или VMM+SCOM PRO, теоретически вам необходимо купить СТОЛЬКО лицензий на каждый хост, сколько может ВМ теоретически запуститься. На практике, думаю, на этот изврат все забивают, а Микрософт введет политику лицензирования на датацентр (тем более, что прецеденты уже есть).
Встал на грабли. Список поддерживаемых ЖД на СХД MSA2000 G2 тут (http://h18000.www1.hp.com/products/quickspecs/13187_div/13187_div.html).
Проверил кучу своих пролиантов – ни одного поддерживаемого диска. Самый главный бонус в сторону выбора MSA2000 только что отпал.
Там MSA2 диски Dualport. Тоже надеялся на совместимость с имеющимся пролиантом, поэтому схд покупается со своими дисками.
Поступили слухи, что в конфигурации с одним контроллером удалось воткнуть однопортовые диски. СХД ругается, но подключает их.
Естественно, такая конфигурация не поддерживается HP, и вы используете ее на свой страх и риск.
2diz – Свят-свят-свят, только не IBM DS3200… Сами IBM сняли
для DS3200 и 3300 совместимость с VMWare. Мы уже были вынуждены
тупо списать DS3200 и отдать ее под другие проекты – под Linux’ами
она вообще не тянет, проверено под RHEL, OEL, CentOS и VMware 🙁
2A.Vakhitov
Надо будет проверить, как железо прийдет
2drpooh: проверьте, пожалуйста и отпишитесь мне в почту (templier2@yandex.ru).
krupskij, ds3200 не тянет в каком смысле и в сравнении с чем?
DS3200 не тянет по скорости доступа и i/o latency. Причем не тянет именно под линуксообразными осями. У нас на ней стоял
Oracle RAC под RHEL 5.2, потом под OEL 5.2 – падал по таймаутам
доступа к voting disk, стояли VMware ESX 3.5U3, U4 и 4.0
(на DS3200 было общее datastore) –
тормозило как смерть, любая дисковая операция, связанная
с большими обьемами данных (установка чего-либо, копирование)
вешала все ВМ. Производительность была 60-80 iops на ВМ
и по vscsistat 50% read i/o latency >100ms. Когда я собрал
софтовый рейд на отдельной машине 5 500Гб десктопных
Барракудах и раздал его по NFS – он показал iops в 2 раза быстрее
и 50% read i/o latency <10ms. В итоге пришлось под стоны
руководства, которому в свое время навязали DS3200,
перебазироваться на FC полку DS4700 за совсем другие деньги 🙁
Да, не забывайте, что хоть в VMware HCL DS3200 и есть,
но в IBM’овском Interoperability Matrix она показана как
неподдерживаемая. Может несколько сумбурно рассказал,
но, надеюсь, понятно.
krupskij, В принципе, понятно. Судя по описанию у Вас была какая-то проблема с драйверами\прошивкой\железом. С 4700 ее конечно не сравнить – это железка уже другого уровня, но и описанных проблем быть не должно.
Если бы с драйверами\прошивкой\железом. Мы изнасиловали
тех.поддержку IBM, и в конце концов они неофициально сознались,
что DS3200 под VMware не годится. У меня за год возни с этим делом
было по полке 27 запросов на подержку. Все, касавшиеся медленной
работы и таймаутов спускались на тормозах. Т.е. “передан на 2ю
линию”, потом “Проблема не повторяется – закрываем”. В процессе
возни мы полку перепрошивали несколько раз, меняли драйвера
RDAC, прошивки контроллеров и винтов в полке, IBM нам заменила
серверные адаптеры IBM SAS HBA – все без толку. Потом я эту
полку тестировал в standalone подключении к настольному компу,
на который ставил разные (относительно) ОС. Так вот, под RHEL
и ее клонами (OEL, CentOS, VMware) производительность DS3200
существенно ниже, чем под Win* 🙁
Достаточно заглянуть в http://www-03.ibm.com/systems/resources/systems_storage_disk_ds3000_pdf_interop.pdf
на стр.18 в разделе Supported Operating Systems
последняя строчка таблицы и раздела VMware
(VMware ESX Server 3.5.4 / 4.0 (supported with up to 4 host servers attached) содержит Y только для DS3400 🙁
Я давно уже говорю, что IBM DS3xxx отстой.
DS5020 поприкольней должна быть, если прошивку обещанную выпустят 😉
2 A.Vakhitov
ОК. Если только ваще железо раньше не прийдет.
Относительно лицензирования продуктов МС в виртуальной среде – если опустить все подробности, то при отсутствии vMotion/DRS, да и НА тоже вам нужно количество лицензий на хосте равное числу ВМ. Если у вас есть хотябы НА, не говоря уже о vMotion/DRS, то вам на каждый хост такое количество лицензий, какое максимальное число ВМ может там оказаться и так пролицензировать каждый хост!. В целом на ваш ЦОД их потребуется число ВМ* число хостов, возможно эта цифирь будет умножена в несколько раз…
ОС Windows лицензированию на датацентр не подлежит, только сервера приложений типа Exchange, SharePoint, возможно SQL, так что засада с переносом лицензий и покупкой лишних остается в полный рост. Под поломкой сервера, когда с него снимается текущая лицензия подразумевается не кратковременное посещение сервис-центра/ремонт на месте, а его полный выход из строя, с выведением конкретной железки из эксплуатации.
Согласен с Сергеем. Геморрой с лицензированием ЦОД с виртуализацией еще тот. Правда, сейчас в МС тоже есть и Live Migration, и High Availability (MSCS), и аналог DRS. Поэтому, вполне стоит ожидать, что Микрософт пойдет на уступки и начнет лицензирование на ЦОД.
Истину глаголят про DS3200
Знакомый, работающий интегратором, рассказывал про нее страшное.
Правда, и про HP MSA2000fc тоже не могу сказать хорошего.
Развернул в прошлом году (ноябрь, последние рекомендованные прошивки)
Стали сыпаться винты (8 штук за месяц!!!), винты исправно меняли (привозил курьер) постоянные ребилды, и однажды в момент ребилда произошел сбой контроллера. Рейд ессно аля-улю. Неприятно было.
Вышли в декабре прошивки для винтов и контроллера. Прошился, три месяца без проблем жил. Снова сбойнул контроллер. Поменяли контроллер. С тех пор все было нормально.
Возможно, это все цепь случайностей и ни у кого более не повторялось. Но имхо не спроста за прошлую осень было 3 фирмваре.
Был на курсе по HP San Essentials – препод очень ругал MSA и говорил, что для нее прошивки каждую неделю клепают 😉
Скорее всего, вам просто капитально не повезло. На itband.ru Romx писал про статистику выхода из строя жд – там в первый год очень много винтов падает. Правда, он про обычные IDE-винты у Google писал…
Совпадение ребилда рейда и сбоя контроллера – вообще меганевезение. Кстати, а HP что по этому поводу сказал? Это нормальное поведение данной СХД или не повезло?
Принято решение в качестве СХД использовать не MSA2000, а EVA4400. Вендор все тот же – HP. На вопрос “А почему не %любимый вендор%” ответ простой:
“Корпоративный стандарт”. Что-либо другое должно обосновываться на техническом совете в Москве. Учитывая бюрократию предприятия, где я работаю, это минимум на месяц отложит внедрение СХД.
Причин несколько:
– в будущем может потребоваться второе хранилище данных и репликация. Выкидывать сейчас миллион-два на MSA2000 нецелесообразно;
– EVA4400 может быть улучшена до 6400, если заменить ей голову. MSA2000 – нет.
А xenserver согласится работать с MSA2312sa + SAS HBA
не знаю…
Уважаемые по всей сети ищу Пример Отчета Capacity Planner’a пожалйста если есть у кого дайте ссылку или на мыло пришлите буду рад и презнателен