Решение для малого бизнеса с деньгами

Начну рассказ о наших проектах в области виртуализации с самого простого решения, которые применимо в малом бизнесе.

Цель: обеспечить  ИТ-сервисы для компании на 50-100 рабочих мест.

Сервисы: MS Terminal Server, AD, MS SQL, MS ISA.

Виртуализация: на основе VMware ESXi.

На первом этапе были структурированы требования MS, предъявляемые к сервисам в виде простенькой таблицы:

Сервис Процессоры Память Жесткий диск Сеть
VC 1 2 20 lan
DC 1 1 20, 50i lan
SQL 2 3 20, 50i, 50i lan+iSCSI
TS 2 4 20, 50i lan+iSCSI
ISA 1 2 20 lan+wan

На основе таблицы  возможно прикинуть архитектуру решения. Были выбраны брендовые одноюнитовые сервера  с 2 процесорами Intel Xeon 5405, 16 ГБ ОЗУ, 4 сетевыми картами в каждом. В конфигурацию заложена избыточность по процессорам и памяти для полноценной работы в случае смерти одного из хостов.

В качестве хранилища было выбрано хранилище начального уровня EMC AX4-5i с двумя сторадж-процессорами. Выбор хранилища на iSCSI позволил сэкономить порядка 5 000 долларов и не усложнять сетевую инфраструктуру. В качестве жёстких дисков были выбраны SATA диски в RAID 10 для SQL и RAID 5 для файлов.

iSCSI подключались в дополнительные сетевые карты хостов, трафик пропускался до хранилища в отдельном VLAN, физику представляли 2 гигабитных свитча в стеке. Виртуальные диски лежали на VMFS партиции, а диски данных прокидывались по iSCSI внутрь виртуальных машин.

При проектирование также уделялось внимание удаленному администрированию – серверы были оснащены встоенными модулями KVM. Сервера смонтированы в стойку, запитаны от ИБП с возможностью сетевого администрирования, а также использованы управляемые модули распределения питания с разной линией питания на разные блоки питания серверов и свитчей.

Изначальная сборка  и конфигурирование производилось в одном городе, затем оборудование и соединительные кабеля были промаркированы, задокументированы, разобраны и собраны в другом городе другим специалистом. Количество кабельных соединеий оказалось порядка 50.

В заголовке явно указано требование в виде финансов. Какие варианты у тех, кто без денег? Уменьшение надежности и отказоустойчивости:

  1. Применить 1 гигабитный малопортовый свитч для серверной фермы
  2. Использовать хранилище с одним сторадж-процессором, либо построить своё на основе сервера с кучей жёстких дисков и ПО iSCSI target.
  3. Использовать 1 процессорные решения, так как виртуалиция позволяет использовать несколько виртуальных ядер на одно физическое.
  4. Не резервировать питание серверов и свитчей.
  5. Не резервировать сеть.
  6. Использовать USB для размещения гипервизора.
  7. Не добавлять KVM.

Из данного проекта видно, что виртуализацию можно использовать и для маленьких сетей с количеством серверов от 5 штук. При этом проект подразумевал практически поголовное резервирование, если такой потребности нет, то можно резко сократить стоимость.

46 thoughts on “Решение для малого бизнеса с деньгами”

  1. А если развалится(отвалиться) хранилище, что делать? 🙂

  2. 2Бас
    Стоимость проекта была в района 1 млн рублей ;), думаю реально сократить в 2-3 раза.

    2str1k3r
    Если отвалится, то подключить снова. Это касается любых подключений ;). Хотя FC постабильней iSCSI, но в данном проекте проблемы отвала касались больше windows-клиентов, и практически всегда стабильно работали в самом ESX.

  3. 2Mister Nobody
    Я имел в виду полный выход системы хранения из строя.
    Хорошо было-бы резервировать 🙂

  4. 2str1k3r
    EMC обещает доступность AX4-5i 99,999, то есть вероятность смерти всего прочего выше, чем смерти стораджа 😉
    Сторадж зарезервирован – у него два сторадж процесора.

  5. 2Mister Nobody
    А какие “брендовые” сервера использовали?
    Какова нагрузка на сетевые интерфейсы?

  6. По поводу цены: дорого или не дорого 1 млн. рублей?
    Как видно взят самый верхний уровень малого бизнеса. поэтому прикинем стоимость ИТ в нём
    компы 70 РМ – 15тр х 70 = 1 050 тр
    2 клиентских свитча = 60 т р
    сетка 70 рм – 4 тр х 70 = 280 тр
    лицензии винда+офис 70 РМ – 15тр х 70 = 1 050 тр, а прочиё софт ещё столько же может стоить.

    Будем считать, что в первом приближение, ИТ-картинка вышла на 2440 тр
    плюс серверная инфраструктура из этого проекта примерно 1100 тр.

    Если малый бизнес нашел 2,44 миллиона рублей на рабочие места, то и миллион на сервера цифра вполне реальная.

  7. 2str1k3r
    В статье специально хотел отвязаться от брендов.
    Это были Dell 1950 III, сейчас есть дешёвые интересные сервера в стойку Dell R410.
    Сторадж тоже хотел не указывать, но сегодня окончательно разочаровался в стораджах начального уровня от IBM (DS3300/DS3400).

  8. 2str1k3r
    Нагрузка на сетевые интерфейсы небольшая в пределах 10-12%, в пике по iSCSI – 30-40%. (имеется в виду занятая ширина)

  9. Привет, всем!
    Респект создателям сайта.

    Итак, малый бизнесмен, узнав про лимон из “оборта” удавится на собственных подтяжках. Ему до виртуализации дела нет. Ему бабло подавай, а сейчас кризис. Маржа маленькая а расходов много и морочиться еще с чем-то. Поэтому нужно in-box решение. Поставил железку, провода подглючил =) и забыл.
    Для примера считаем малым тех, кто на упрощенке.
    30 раб. станций
    1С (на одном SQL) – 2 сервака
    файл-печать – 1 сервак
    что-то писанное на delfi для учета “наживы” родственником директора во время практики – 2 сервака (на одном SQL).
    невнятное (почта+прокси) – 1 сервак
    +2 шт. DC или радость админа или модная ip-телефония =)
    Итого: 8 шт.
    Надо 16 Гб ОЗУ, процы не считаем. На 30 клиентах это несерьезно.
    *прим.: малому бизнесу 64 бит не надо!!! Совсем!!!

    Берем что-то типа: Supermicro SC808T-980V это 60 000 – 90 000 руб. со всеми винтами 4 шт. (SAS по 300 Гб) и памятью (32 Гб), плюс любые процы. Это 2 сервака в одном корпусе. Винты в зеркало.
    Качаем триальный аплианс от любой на выбор – http://search-www.vmware.com/socialsearch/query?cn=vmware&cc=www&st=1&adv=0&bn_uf=VMware_Site_appliances_dir&bn_if=VMware_Site_appliances_dir&q=virtual+raid
    Кто не знает это эмулятор iSCSI на локальных хранилищах, чтобы делать виртуальный RAID. Можно не покупать ничего, тогда нельзя будет делать модные кластеры и т.д., но это вполне допустимо.
    Добавляем UPS за 20 000 руб.
    Свитч – Lynksys или Dlink за 15 000 руб.
    И остается не забывать оплачивать интернет.
    И для эстетики прикупить “шкафчег” от AESP или еще каких-то любителей посваривать профили за дешево. =)

    P.S. Я лениво считал железо. Плюс лицензии, обслуживание, расходка и т.д. Я более чем в курсе.

  10. 2Mister Nobody
    Спасибо.
    Просто я в данный момент собираюсь собирать что-то похожее. В данный момент склоняюсь к HP MSA2000

  11. При нынешнем ubuntu можно все сделать на нем. Это дешево и сердито.
    Лучше людям заплатить по-больше.

    P.S. не фанат линукса, сразу говорю.
    я за свободу распространения коммерческого ПО =)

  12. HP MSA2000 – как раз аналог-конкурент DS3300/DS3400 и AX4-5i/f, то есть хранилище начального уровня с внутренним SAS-интерфейсом.
    С данной полкой сталкиваться на практике не приходилось, думаю эффективность будет зависеть от разбивки рейдов. AX4-5i/f мы с Андреем тестили на разные конфигурации рейдов порядка 2 недель.

  13. Интересно было бы услышать про опыт сборки хранилища на Opensolaris с ZFS…

  14. 2phily: уважаемый, бесплатность in-box решений сильно преувеличена. К примеру, почти вся инфраструктура Microsoft – in-box решение. Аналогичный функционал на опен-сорсе – настраивается значительно дольше. Возьмем для примера связку MS ISA 2006 SP1 + Bandwith Splitter + Proxy Inspector – или маршрутизатор+брандмауэр+прокси с авторизацией пользователей AD+VPN-сервер+гибкие настройки по шейпингу/биллингу+отчетность по доступу в интернет. Насколько мне известно, подобный функционал в никсах есть, но либо за деньги/либо не масштабируется/либо очень тяжко настраивается и потом лучше его вообще не трогать.

    Я бы стабильность виртуального рейда, реализуемого средствами drbd, в 99,999% не оценил. Кроме того, iSCSI вы предлагаете шарить из виртуальной машины и реплицировать между хостами, как я понял.
    Мне это решение тоже очень интересно. Но, что будет, если оба хоста ESXi ребутнутся одновременно? Ситуацию на практике я не проверял, но есть ощущение, что ваш общий сторадж не автоматически не поднимется (как и все виртуалки на нем).

    Продолжу критику…
    Виктор упомянул, что сервера ставились в другой город.
    В серверах SuperMicro за 60000 KVM будет? Кроме того, год назад любые изменения конфигурации сервера Supermicro(биос, рейд, …) приходилось делать исключительно консольно. Ваш малый бизнес имеет деньги на отправку вас в другой город исключительно, чтобы обновить биос на сервере?
    Не забываем про мониторинг железа: при выборе ESXi вам желательно, чтобы производитель внедрил в его дистрибутив свои CIM-компоненты.

    В UPS за 20000 будет модуль сетевого мониторинга? Потому что ESXi USB внутрь виртуальных машин не прокидывает, и на себя агентов поставить не даст.

    По поводу свитчей – Виктор чуть выше упомянул загрузку Гигабитного интерфейса. Вы, конечно, можете подключить каждый из ESXi одним патчкордом, а не двумя. Но, в случае чего надо будет либо искать разумного человека в другом городе, либо ехать туда.
    Резюмируя: ваше решение получается дешевле. Но требует гораздо больше присутствия в том городе, куда будет установлено. Либо ожидания по полдня – пока специалист приедет в этот город.

  15. Проясните эту строчку, плиз
    “Виртуальные диски лежали на VMFS партиции, а диски данных прокидывались по iSCSI внутрь виртуальных машин.”
    В частности, что значит прокидывались??

  16. Для примера считаем малым тех, кто на упрощенке.
    30 раб. станций

    а почему там много серверов ?
    если это малый бизнес ?

    sbs 2008 premium – 1 шт включает в себя и exchange и sql и терминал
    для 30 человек самое то (:

  17. 2XYZ: Вообще говоря, это моя опечатка. Имеется в виду, что системные виртуальные диски (для всех ВМ) лежали на VMFS-разделе. Диски с данными прокидывались c помощью ms iscsi initiator.

  18. 2Василий
    В одной компании на нём пропали интерфейсы менеджмента по IP, по in-band достучаться не смогли, не было access-lun. Один из интерфейсов отвалился сам, второй после передергивания патч-корда. Пришлось идти на крайние меры передергивать сторадж-контроллер. Приключения на этом не закончились, примапили один диск к серверу, и случайно запустили форматирование этого диска во время инициализации, все диски в этой рейд группы отвалились по тайм-ауту. Как результат, почта, файлы, скл временно отпали. Таких казусов на EMC не встречал.
    Да и по функционалу он проигрывает AX4-5 – нет миграции и объединения lun. Плюс PowerPath один из лучших path-балансировщиков.

  19. 2Mister Nobody
    Спасибо за ссылки на доки.
    Подергал региональных дилеров на предмет хранилок из сравнения.

  20. 2str1k3r
    у EMC есть нормальные сравнения под грифом EMC confidential, надо стараться их заполучить ;), одно время я их даже нагугливал.
    было у IBM еще маркетинговое, но там старые системы сравнивались типа DS3000 series против AX150, HP MSA 1500.

  21. Ещё при проектирование стораджей, кроме настройки рейдов, хочу сразу обратить внимание на ёмкость – надо использовать capacity calc.
    также не стоит забывать про бэкап.

  22. Итак, мой ответ “чемберлену”!

    Поймите, что вы, как профи видите больше и предлагаете хорошие решения. Но бизнесу, именно сейчас, нужны не хорошие, а дешевые. Почувствуйте разницу. Т.е. “хозяину” нужна маржа, а при низких оборотах и дефляции он сидит, болезный, без БАБЛА, ради которого он и мутил бизнес. Ему не нужны надежность, расширяемость, продуманность, соответствие ресурсов и т.д. Ему надо дешево, предельно и ПРОСТО. Поверьте, что если ему сделать все на Atom за 30 000 руб., то вас будут целовать в кошелек =) А то, что на нем можно будет поднять 2 или 10 серверов – ему до лампочки. И не забывайте, что ИТ-бизнес делает 40% на сервисе;-)

    Теперь хит сезона – http://www.vmware.com/appliances/directory/92113 , я от него реально выпал в осадок.
    Дело не в том, что оно хорошее или плохое. Оно просто меняет сознание напрочь. Мощь и глыба RAID на vmdk дисках, которые цепляются через эмулируемое с 2-х сторон iSCSI.

    Это решение годится мне только для того, чтобы аккумулировать емкость HDD, которые я в эпоху до виртуализации и SAN покупал для блейдов, чтобы она просто не пропадала. Я просто там буду разводить своих девелоперов, которые сейчас “гадят” в продакшен зоне, так как им больше негде.

  23. To A.Vakhitov:
    1. Виндоуз и Линух это эмулируемые в Vmware ОС =)))
    Любое решение стоит столько сколько за него платят.
    Биллиг в эпоху анлимов все-таки сходит на нет, в москве уже началось…

    2. Сегодня прверю =) Мне и 90% хватит, я на железе стока не имел, раньше. Не спрашивайте про скорость и I/O b даже не меряйте. Глупо. Знаете на что идете. Оно другие задачи решает. Тем более за 129$ на 1 хост =) Цены в USA, сразу говорю.

    3. KVM и CIM это для вас, владельцу бизнеса они не нужны. 99% времени их не пользуют. Проще у кого-то монитор на время настройки свистнуть.

    4. Зачем так сложно с UPS? Поверьте он нужен для компенсации пиков и выбросов. Настройте его, чтобы орал, если что не так, и вам позвонят – самый лучший нотификейшен 😉 Проверено на собственном складе =)

    5. Хм, я кажется понял мечту виртадмина – никуда не ездить и обслуживать все удаленно, при этом оно само все делает. Отличная мечта. Бизнес за нее готов платить, но вы подменяете понятия – нужды бизнеса и комфорт обслуживания, в каком-то смысле.

    5.

  24. 1) По поводу этих (реплицируемых) стораджей, кроме HP LeftHand P4000, есть еще решение от xTravirt (ныне PHDVirtual). Репликация есть, но четкой гарантии восстановления после сбоя не дается. То есть, подходит только для тестов и девелопмента (как вы и написали). Сейчас ситуация следующая:
    – вы создаете на локальных дисках ВМ, в ней поднимаете iSCSI и имеете общий сторадж. Бесплатных решений куча, появилась даже одно решение на Windows. Минусы – никак не отказоустойчиво;
    – Аналогично предыдущему, но поднимается две ВМ на двух разных хостах. Эти два “локальных” стораджа реплицируются между собой, как правило через DRBD. По сути тут три варианта: вы платите за готовое и качественное решение, берете бесплатное решение (а-ля для тестов и получаете в нагрузку много гемора в случае любой нештатной ситуации, или ручками настраиваете под себя DRBD. Третий вариант имеет огромный потенциал, но сложен по ряду причин (так как я больше Win-админ) 🙂
    Если интересно, могу описать опыт использования этого реплицируемого хранилища от PHDVirtual…

  25. Виртуальные хранилища надо бы описать, отдельно.
    По-моему, при всей их бредовости в них что-то есть магическое, типа тру виртуализации 🙂

    Lefthand оказывается стоит аж 9000 у.е. и держит 10 Тб всего, а в бесплатной версии нет репликации и многопутевости – 4-ре пути и не более и там еще многосайтовости и т.д.. Я сегодня развлекся с ним. Первое что сделал это придумал как сделать дешевый FT.
    Сам смеялся когда делал. Итак с 2-х хостов крест-накрест прокидываем iSCSI друг на друга. Т.е. чтобы каждый хост видел 2 стораджа – свой и другого хоста. И запуляем FT, если процы подходят.
    На моих тестовых серверах, которые еще мамонта видели, а я их считал офигеннобыстрыми, в свое время, FT не работает, поэтому сделал кластер с HA и успокоился.
    И решил пользовать этот виртуал сторадж для бэкапу.
    Потому как I\O и скорость у него смешные. А для бэкапу самое-то. Ну не пропадать же 1ТБ на SAS дисках, пока я буду ждать NAS 🙂

    P.S. И ЕЩЕ ПОЛУЧИЛ ПИСЬМО ОТ EMC-саппорта на тему не работы навиагентов в ESX 4.0.0. – типа читайте хелп про настройки портала. Пишу ответ. Жестокий с картинками. Хочу реакции менеджеров постарше. 🙂

  26. Автор и большинство комментаторов, вы уж не обижайтесь… но про репликации, ft и lefthand для малого бизнеса на 30 человек – бред полнейший. У вас получается внедрение ради того, чтобы внедрить…

    dim-soft уже писал… для smb майкросоофт давно придумал наборы который по цене перешибить может только полубесплатный линукс – SBS2003/2008.
    Для контор покрупнее EBS2008.
    Если у вас контора с 1С на отдельном SQL, то уже SQL CAL будут стоить сопоставимо с SBS. А если еще и терминальные и эксченджовые CAL вспомнить…

    И не надо нескольких серверов, настроил резервное копирование – а smb простой на несколько часов переживет.

  27. или например решение:
    1 (2) сервера без виртализации sbs+TS
    и еще один маленький “недосервер” под esxi который на свои sata 1,5 Гб диски раз день(неделю) “виртуализирует все структуру (все 2 сервера 🙂 )
    и востановиться можно быстро и решение дешевое

  28. уважаемый, бред это считать что маленькому бизнесу не нужны надежность и что простой в его работе это ерунда.
    так вот, представьте себе не работающий магазин или маленький банк или фабрику производящую что-то скоропортящееся, как раз маленькому и нужна надежность у него нет резервов.
    а smb от майкрософт нафиг не нужен, все еще раз подчеркиваю все серверное можно сделать на линуксе, 1С в том числе, виндовый админ справится. не подменяйте понятия.
    виртуализация снимает проблемы железа и немного защищает от кривых рук.

  29. коллеги.
    давайте немного упорядочим.
    есть вехи достуности (RTO/RPO):
    1. резервное копирование
    2. отказоустойчивость
    4. беспрерывность
    3. катастрофоустойчивость
    так вот – все эти вехи нужны бизнесу только тогда, когда становится оправданно экономически потратить денег (capex/opex) на технологию и ее поддержку.
    Если риск, который уменьшает технология, считается бизнесом предельно минимальным, то и фин.потери (расчитанные самим бизнесом) будут минимальны и соотв. становится не выгодным внедрять что-то серьезное.
    кратко – всем по мере надобности бизнеса, а не технаря-админа, который хочет внедрить потом что это “круто”.
    в большинстве случаев для маленького бизнеса действительно достаточно MS SBS и резервного копирования + поддержка оборудования вендором.

  30. Поддержу Антона. Не бизнес создан для ИТ, а Ит для бизнеса.

    >так вот, представьте себе не работающий магазин или маленький >банк или фабрику производящую что-то скоропортящееся, как раз >маленькому и нужна надежность у него нет резервов.
    Какой маленький банк? Вы много банков видели в котором 50 человек работают? Не филиал, а именно банк?

    Все считается просто: время восстановление ИТ * время простоя, если оно меньше необходимых затрат на повышение устойчивости ИТ, то решение не нужно.

    PS: только не разводите холливар linux vs win, надоело уже за последнее время. Сервер терминалов есть в linux? Нет, ну вот и все, для магазинчика который

  31. А про то, что вендоры вас зомбируют 😉 – я могу сказать? Или это холивор?

    Коллеги, вы опять копаете очень глубоко.

    есть вехи достуности (RTO/RPO):
    1. резервное копирование
    2. отказоустойчивость
    4. беспрерывность
    3. катастрофоустойчивость

    У меня складывается впечатление, что у вас нет знакомых ПБЮЛов или мелких “коммерсов”. Любой от этих слов впадет в ментальный коллапс и спросит сколько эти слова ему будут стоить 🙂

    Я специально всех знакомых коммерсов, а они все мелкие и весьма “серо-черные” опросил. Ответ один, с вариациями – “нам надо инету, почты (обычно mail.ru), 1C для буха, файловой помойки и Excel.
    У кое-кого есть самописные базки на дельфях по учету производственных-складских операций или аналогичное CRM, но чаще Excel с страшносекретным списком клиентов, оборотами и психологическими наблюдениями по жадности клиента или откровенному компромату в виде учета откатов.
    2 из 5 я не смог объяснить что такое виртуализация, но всех интересовало – можно ли будет меньше платить админу и все радовались при словах, что можно будет в некотором виде экономить на перетаскивании железа во время переезда. Учтите, что мелкий бизнес дико мобилен и когда он видит возможность в 3 раза сэкономить на переезде, он переедет невзирая на любые потери! Даже понты не котируются, когда лучший по качеству офис на окрание москвы за 20 000 руб. в месяц, против понтового в центре за 120 000 руб. И еще интересный момент – все любят Yota, потому как бизнес-центр берет по 7000 руб. за интернет сомнительного качества, а Yota за 900 дает маркетинговые 10 Мбит. И готовы купить USB-модем и нЕтбук за 10 000 руб. каждому. А вот на сервера жаба давит всех. Готовы терпеть 1 железку, максимум 2.

  32. Когда я спрашивал у специалиста, стоит ли включать коммутаторы ядра в стек, он мне ответил в духе “когда они в стеке – у тебя один коммутатор, а когда STP/LACP+VRRP – у тебя их два”

  33. А в чём смысл проброса LUN-ов гостям напрямую через сеть, а не через VMFS или RDM? Оно так быстрее? Ткните носом в документацию, плиз.

  34. Ребята, заинтерисовался данной темой, родилось несколько вопросов. Ответьте, если помните ))):
    1. ОС у виртуальных машин W2k3?
    2. Как я понял, хосты для виртуальных машин не в кластере? Если так, то почему?
    3. На каждом физическом сервере 4 сетевых интерфейса. Как они используются для каких целей? Интерфейсы для iSCSI резервировались?
    4. Как бэкапили существующую инфраструктуру? Если можно, поподробнее: виртуальные машины, базы SQL и т.д.
    5. Как я понял, все сервера виртуальные. Железного DC нет?

  35. 1. Да, W2k3R2
    2. Потому что денег на vSphere небыло и использовались бесплатные ESXi. А без vCenter какой кластер? 😉
    Отказоустойчивость реализована самописным скриптом, повторяющим функционал скрипта HA. То есть, при падении хоста или его изоляции ВМ стартовала на другом.
    3. 2 интерфейса используются для LAN, другие 2 – для SAN. Подключены в разные VLAN 2-х свитчей в стеке. Соответственно, все пути зарезервированы.
    4. Бэкап подразумевался с помощью скриптов и ntbackup на отдельный простенький сторадж. Который так и не купили (кризис наступил). Ножно на отдельный сервер бэкапа или даже на отдельный LUN на сторадже. Как именно реализовали – не помню или не знаю, так как это была не моя зона ответственности.
    5. Железного нет =) А нафиг? Если лягут хосты, то он ничем не спасет. Для подключения к KVM сервера был отдельный защиенный канал инета. Можно было восстановить ESXi и дальше все поднимать.

  36. Бэкапы никак не реализовали (при мне, вроде бы) 🙂
    Почему – уже не помню. Вроде бы при мне не успели продуктив туда перевести.
    А так – уже были наработки по бэкапам через NTBackup и через sqlcmd.

Leave a Reply to XYZ Cancel reply

Your email address will not be published. Required fields are marked *