vMind: 10 years challenge

vMind: 10 years challenge

10 лет назад, 12 марта 2009 года, появились первые статьи на нашем бложике. По модной в этом году тенденции присоединимся к 10 years challenge.

2008-2009

Сезон 2008-2009 для нашей команды выдался на редкость революционным с точки зрения технологий. С августа 2008 мы начали тестирование MS Hyper-V 1.0 и VMware ESXi 3.5 Update 2. Мы были молоды и круты – одни из первых в Перми, кто перешёл на настоящие гипервизоры, а не ваши домашние Virtual PC и VMware Workstation. Желание показать себя и привело к созданию данного блога.

Вход в технологию был очень быстр – два проекта в среднем бизнесе по полному переходу на vSphere. В технологию тогда мало кто верил, мы друзей приглашали смотреть на демонстрацию vMotion – видели бы вы их открытые рты при миграции включенной ВМ с хоста на хост без останова сервисов. Ну, как без останова — MS Exchange Server с несколькими сотнями пользователей минуты 2-3 после vMotion очухивался.

Также показывали блейд-центр и внешнюю систему хранения – про блейды ходило куча мифов, которые приходилось развенчивать, а на поверку они мало чем отличались от рэковых серверов.

Операционные системы от MS дали в этот период сбой – Vista и WS 2008 никак не хотели внедряться – все упрямо сидели и продолжали внедрять WS2003.

К середине 2009 вышел MS 2008 R2, который впечатлил RemoteApp и порадовал Корзиной AD. Hyper-V научился Live Migration и Cluster Shared Volumes – и стал конкурентом бесплатного ESXi. Заодно стало понятно, 32-бита помирают – серверные ОСи стали 64-битные.

MS стали проявлять активность по принуждению к лицензированию, бизнес ставил задачу – либо найти компромисс в лицензировании, либо поискать аналоги продуктов. Поиск аналогов показал, что  OpenOffice.org был редкостным УГ, для Visio альтернатив не было. Среди антивирусов была война — NOD32 vs Kaspersky AVP, остальные уже начали сливать рынок. Народ начал переходить на 1с8 после 6 лет выхода. Из-за курса доллара стали рассматриваться и другие отечественные продукты.

Андрей решил после сертификация MCP по WinXP дальше сертифицироваться по серверным продуктам, чтобы повысить свою ценность на рынке труда. Сертификация стоит разумных денег — в 2008 году экзамен по Microsoft можно было сдать за 1500 рублей.

2018-2019

В 2018-2019 тенденция к внедрению отечественных продуктов под эгидой импортозамещения продолжается. Номенклатура продуктов значительно расширилась – конфигураций 1С стало больше. Антивируса в стране осталось 2 с половиной – Касперский, NOD32 и местами супердешёвый Dr.Web, все остальные забились в ниши.

Вместо OpenOffie.org стал LibreOffice – Visio-файлы для просмотра уже открываются. Расплодились российские дистрибутивы Linux – ценник впечатляет, Windows дешевле.

Вместо терминальных серверов многие мигрировали на VDI, которая в наших проектах поделилась на 2 части:  офисная с поддержкой legacy ПО в виде 32-битной Windows 7 и тяжелая для САПР с поддержкой NVIDIA GRID на виртуализированных видеокартах. Теперь можно делать vMotion c 3D-графикой – снова Вау-эффект в действии.

Hyper-V не победил и даже не догнал, практика использования показала, что vSphere в частных ЦОДах живее всех живых, а основная конкурентная война ушла в облака.

С серверными ОСями от MS, как и с клиентскими, со всех сторон сплоные непонятки: в РФ основной корпоративной клиентской ОСью остаётся в ближайшие лет 5 Windows 7, а вот с серверами ситуация разнообразнее – WS 2003 всё ещё не умер, многие сидят на WS 2008R2, часть мигрирует на WS 2012R2, а что делать с WS2016/2019 – мало кому понятно. Основная проблема с последними, кроме совместимости с legacy ПО, IMHO, лицензионная – раньше сервисные пакеты не требовали лицензии при отсутствии поддержки, а теперь каждый билд легален только при SA да ещё и по ядрам разбили – тут никаких денег не хватит.

Блейды не захватили весь мир оборудования, рэковые серверы оказались на редкость живучими, как минимум, автономными и без привязки к производителю. Это может быть важным в рамках ухода от американских производителей.

Системы хранения получили сильную конкуренцию со стороны программноопределяемых хранилищ. Внедрение VSAN уже встречается то тут, то там.

Андрей собрал CCNA, MCSA (Win2k3), 4 MCTS, VCP (4, 5, 6), VCAP5:DCA, 10 лет подряд становился vExpert, но разочаровался в дальнейшем процессе сертификации. В немалой степени этому поспособствовал рост стоимости сертификации. В 2019 году экзамен можно сдать через интернет за 5300 рублей, интересный статус как и прежде насчитывает несколько экзаменов.

А что с самим бложиком за 10 лет?

Блог создавался в 2009 году для того, чтобы писать про виртуализацию. Было актуально сравнение VMware/Hyper-V, иногда XEN. За 10 лет актуальность сравнений снизилась, а на рынке появилась «интересная» альтернатива в виде KVM/Nutanix AHV.

Помимо виртуализации на бложике было опубликовано множество других статей (Skype for Business, бэкапы, СХД).

Технически блог продолжил эволюционировать вместе с WordPress. За эти годы были различные попытки оптимизировать производительность, закончившиеся переездом на отдельный VPS-сервер. Появился форум по обмену мнениями.

Проект как был основан, так и остался любительским – пишем по мере желания и интересных находок, в соцсети не пошли — формат остаётся олдскульным.

10 лет пролетели мигом!

VMFS vs NFS in vSphere

Как-то Diz задал вопрос: «правда ли, что NFS гораздо лучше, чем SCSI для хранилищ в случае одного большого хранилища? Как ситуация изменилась в 6.x?»

Наше путешествие будет включать в себя следующие пункты:

  • SCSI-очереди.
  • А что там с NFS?
  • Решает ли скорость протокола?
  • vSphere 6.x?
  • Рекомендации.

SCSI-очереди

Отлично тема очередей раскрыта тут. Читать далее «VMFS vs NFS in vSphere»

Временные сложности

‘If you knew Time as well as I do,’ said the Hatter, ‘you wouldn’t talk about wasting IT.’          

‘Если бы ты знала Время как знаю его я’ – произнес Шляпник, – ‘ты бы никогда не стала говорить о разбазаривании информационных технологий.’

Льюис Кэрролл.
На самом деле – Чарльз Лютвидж Доджсон.
Весьма фривольный перевод.

Всем привет, это снова я — krokokot.

Почти все статьи, которые удается найти по вопросу правильной установки времени в виртуальных машинах, состоят из упоминания нескольких простых и общеизвестных вещей:

  • виртуальная машина (ВМ) при старте получает время из эмулируемого хостом BIOS/RTC;
  • в дальнейшем большинство ОС не сверяются регулярно с RTC (Real Time Clock, часы реального времени, микросхема с батарейкой в железном компьютере, эмулируемая в гипервизоре), а сами ведут счет времени;
  • так как ВМ может ожидать освобождения виртуального процессора непредсказуемое количество времени – время в ней дрифтует; чаще отстает, но иногда и забегает вперед;
  • по перечисленным выше причинам время в ВМ нужно периодически принудительно синхронизировать, либо с помощью API-интерфейса к гипервизору (VMWare Tools, Hyper-V integration services), либо настройкой NTP клиента.

Читать далее «Временные сложности»

Переход на VMware vSphere 6.7

Пока Андрей обновляется с vSphere 5.5 на 6.0, мы решили двигаться дальше.

На входе у нас кластер VMware vSphere 6.0U3 на Windows Server + Cisco Nexus 1000V с блейдами на базе Intel Xeon 56xx и E5-26xx V1, на выходе желаем получить vSphere 6.7 VCVA+DVS 6.6 на стоечных серверах на базе Intel Xeon Gold 61xx.

Сначала провели анализ совместимости оборудования в HCL — невероятно, но наши блейды на базе  E5-26xx V1 ещё поддерживаются!

Теперь по поводу Intel Xeon 56xx: как вы знаете, поддержка данных процессоров прекращена, но ситуация двоякая. Если в вашем BIOS/UEFI разрешены инструкции AES-NI, то гипервизор будет работать, иначе — вам не повезло. В моих серверах AES-NI поддерживается, так что проблем с ESXi 6.7 не возникло.

Принципиально решил не обновлять vCenter, а развернуть с нуля, чтобы не тащить старые косяки и получить чистую установку. Скачал дистрибутив VCVA 6.7 и с 7 раза поставил. Проблема в том, что клиентский установщик не отрабатывает второй этап (решение: на втором этапе перейти в браузер и оттуда продолжить установку), но, вроде, проблему решили в VCVA 6.7a.

На новые хосты на базе Intel Xeon Gold 61xx поставили ESXi 6.7 и подключили в VCVA. Проблема возникла на ровном месте — при попытке создать EVC уровня Skylake возникла ошибка, что процессоры не поддерживают инструкции данного уровня. Решение быстро нашлось — необходимо включить MONITOR/MWAIT в BIOS/UEFI.

На старом кластере сетевые порты были переключены из Cisco Nexus 1000V в стандартный vSwitch, а хосты переведены под управление VCVA по нашей know how технологии (©2012 vMind.ru): Читать далее «Переход на VMware vSphere 6.7»

Проброс видеокарты NVIDIA GTX в виртуальную машину с Ubuntu для ESXi

Данная статья написана нашим читателем Lord_Alfred и выложена к нам чуть измененной копией с его блога.

Немного предыстории: я, Lord_Alfred, очень далек от администрирования серверов и работы с “железом”. Привык использовать готовые решения и стараюсь применять принцип: “работает — не трогай, не работает — погугли и попытайся исправить”. Но недавно я увлекся темой Deep Learning и почувствовал острую необходимость в покупке мощной видеокарты, которая смогла бы избавить мой домашний сервер с двумя Xeon X5660 от постоянной нагрузки на ЦП. В итоге у меня появилась “MSI GeForce GTX 1080 Ti GAMING X TRIO 11 GB OC Enthusiast” (к сожалению, с большим трудом и затратами из-за любителей криптовалют…). Естественно, захотелось сразу сделать всё “хорошо” и “правильно” (читай: поставить Ubuntu и не пытаться завести *nix’овые библиотеки на винде). Но в нашей жизни, к сожалению, не всё так гладко как хотелось бы: из-за того, что множество моих наработок по другим сферам уже были написаны под Windows, то никакого желания их переписывать у меня не было. Соответственно, начались поиски и думы о том, чтоб использовать какой-нибудь гипервизор, где будет возможность пробросить видеокарту в одну из ОС (ubuntu) и не потерять нажитое непосильным трудом (windows). Мой выбор пал на VMware vSphere ESXi, поэтому предупрежу сразу — опыта по его администрированию у меня нет, поэтому не принимайте близко к сердцу, если в статье я где-то ошибусь в терминологии или дам неправильное описание (надеюсь, что создатели vmind поправят совсем уж грубые ошибки).

Вся эта статья целиком и полностью описывает мой многострадальческий опыт в попытках (в итоге, к счастью, успешный) пробросить видеокарту в убунту и установить там драйверы nvidia и cuda toolkit. Я потратил несколько дней и несчетное количество переустановок ubuntu, пока набросал для себя некоторый “план” по установке с описанием и ссылками откуда была взята информация. Специально для тех, кто решит сделать тоже самое (или просто захочет поставить драйвера для gtx на убунте) — я переписал всё в читаемый вид и опубликовал эту статью, чтобы вы смогли потратить не 3 дня на это, а всего лишь несколько часов. Для удобства — ссылки на источники отмечены квадратными скобками, поэтому если у вас что-то пойдет “не так”, то вы сможете посмотреть откуда я взял ту или иную команду.

Предварительная настройка vSphere ESXi 6.5

Читать далее «Проброс видеокарты NVIDIA GTX в виртуальную машину с Ubuntu для ESXi»

Тестирование производительности VMXNet3. Часть 2: RouterOS Cloud Hosted Router

Всем привет, это снова я — krokokot. В первой статье я тестировал производительность «сферического коня в вакууме», т.е. насколько быстро две виртуальные машины с ОС Windows 2012R2 могут обмениваться данными посредством паравиртуальных сетевых адаптеров VMXNET3 через виртуальный коммутатор гипервизора VMWare ESXi 6.5 u1. Поставленный с помощью «молотка и такой-то матери» рекорд составил 29 гигабит в секунду при MTU=9000.

Сегодня мы протестируем аналогичного «коня», но на примере Linux-based операционной системы. Поскольку сборок Linux великое множество, чтобы никого не обидеть (а еще – потому что я не очень хорошо разбираюсь в этом вашем Линуксе 🙂 я выбрал в качестве подопытной RouterOS Cloud Hosted Router от Microtik. Это специальная версия RouterOS для виртуальных сред. Поддерживается ESXi, Hyper-V и еще что-то там, список тут — https://wiki.mikrotik.com/wiki/Manual:CHR. Для нашего теста главное – в CHR есть встроенный драйвер VMXNET3.

Я применяю RouterOS CHR в качестве виртуального маршрутизатора на standalone хостах с ESXi, когда нужно просто выставить ВМ из них в интернет. Также можно быстро поднять IP-IP или Ethernet-Over-IP туннели до отдельных ВМ или их групп, поднять VPN сервер, опубликовать порты и многое другое, что умеет RouterOS. В общем, мне очень нравится этот роутер, и сегодня попробуем с его помощью побить мой предыдущий рекорд – 29 гиг/сек.

Для корректности сравнения используем тот же самый хост. Напомню его характеристики: материнская плата ASUS X99-E, процессор Intel Xeon E5-2620 v4 2.1 ГГц, заведомо достаточное количество RAM DDR4 2133. Версия гипервизора ESXi 6.5.0 Update 1 (Build 5969303).

Создаем две ВМ с характеристиками: 2 vCPU, 1024 Mb RAM (All locked), по 2 паравиртуальных сетевых адаптера VMXNET3. Диск приделываем к контроллеру IDE – это требование к загрузочному диску RouterOS CHR. Остальные диски могут быть на паравиртуальном SCSI. Первый адаптер с каждой ВМ включаем в дефолтный виртуальный коммутатор с подключенной к нему сетевой картой Intel I218-V с MTU 1500. Вторые адаптеры – в вновь созданный и никуда не подключенный виртуальный коммутатор с MTU 9000: Читать далее «Тестирование производительности VMXNet3. Часть 2: RouterOS Cloud Hosted Router»

Отчёт о VMworld 2017 Europe

В этом году посетил конференцию VMworld 2017 Europe в Барселоне, благодаря организаторам и переносу сроков проведения с октября на сентябрь.

Ссылки на запись сессий я ранее давал в заметке VMworld 2017 Top Sessions.

Конференция проходит в огромном выставочном центра Барселоны. Первая сессия — это генеральная от генерального 😉 Читать далее «Отчёт о VMworld 2017 Europe»

Veeam Backup & Replication 9.5 Fast Merge on ReFS

Самой ожидаемой функцией VBR 9.5 для нашей инфраструктуры стала возможность использования API Fast Clone для ReFS в MS Windows Server 2016.

Многолетний анализ процесса резервного копирования указывал на основную потерю времени в виде перестройки и склейки файлов при сдвиге Full Backup вправо по шкале времени, аналогичная проблема есть и при генерации Synthetic Full Backup.

В некоторых инкрементных заданиях процесс file merge занимал до 90% времени.

Как только вышел VBR 9.5, мы обновили ОС сервера СРК с помощью In-place upgrade с MS Windows Server 2012 R2 до версии  MS Windows Server 2016.

Создали репозиторий на ReFS и перенастроили задания на его использование. Функцию Backup Copy для переноса решили не использовать.

Результаты использования API Fast Clone Читать далее «Veeam Backup & Replication 9.5 Fast Merge on ReFS»

Проброс видеокарты NVIDIA в VMware ESXi 6.0

diz решил поделиться своим опытом проброса видеокарты NVDIA GTX в ESXi 6.0.

Добрый день, дорогие друзья!

Говорят, что с 2015-ого года работодатели стали сразу выгонять с собеседования ИТ-шников, если вдруг выясняется, что у них нет личного сервера с развернутым частным облаком.

Чтобы не выбиваться из тренда, я собрал дома небольшой двухпроцессорный сервер на базе материнской платы SUPERMICRO X9DRI-F и пары Xeon E5-2670. Т.к. несколько лет своей жизни я посвятил, в т.ч. администрированию инфраструктуры VMWare, то в качестве гипервизора виртуализации был выбран именно ESXi.

Частное облако-домашняя лаба — это, конечно, замечательно и здорово, однако, для комфортной повседневной работы и StarCraft2 желательно иметь доступ к дискретной видеокарте.

Тому, как задружить “бытовую” nVidia GTX и ESXi 6 и посвящается данная статья — краткий проводник-путеводитель по граблям.

Первое, что вам захочется сделать после установки дискретной видеокарты в сервер — переключить приоритет инициализации видеокарты в BIOS в пользу внешней, чтобы видеть POST прямо на экране подключенного к ней монитора. Этого делать не стоит, т.к. в таком случае вы потеряете возможность использовать iKVM материнской платы.

Итак, приступаем к пробросу видеокарты в виртуальную машину с MS Windows 10. Увидев web-интерфейс ESXi 6 я искренне обрадовался тому, что завязал с системным администрированием четыре года назад. Откладываем этот замечательный интерфейс в сторону, т.к. проброс видеокарты через него вы настроить не сможете, при старте виртуальная машина будет ругаться на несоответствие идентификатора устройства PCIe (PCIe passthrough device id invalid) и переключаемся на старый добрый и толстый клиент: Читать далее «Проброс видеокарты NVIDIA в VMware ESXi 6.0»

Поиск источника блокировки учетной записи

Понедельник, как известно, день тяжелый. Поэтому в конце рабочего дня мне позвонили из соседнего филиала и попросили помочь: «сегодня начались массовые блокировки топ-менеджера, ранее работавшего в вашем филиале. Был найден компьютер, с которого происходит блокировка, заявку перекинули на вашу техподдержку. Можно ли как-то попросить их быстрее посмотреть?».

Источник блокировки был быстро найден благодаря SCOM Audit Collector — им оказался ноутбук NB022. Проблема была лишь в том, что коллеги из тех.поддержки уже сходили и проверили ноутбук, не найдя никаких следов блокируемого пользователя.

Ок, я подключился к ноутбуку и сам начал искать следы пользователя — по нулям. Пока искали — произошла еще пара блокировок.

Читать далее «Поиск источника блокировки учетной записи»