Epic fail story

Всем привет!

Пятница, вечер, дождик…

1) В одной компании вышел из строя RAID6 на HP Proliant Gen6, виртуальные машины на VMware ESXi стали частично недоступны.

Пошли за бэкапами на систему хранения QNAP – оказалось, что она тоже потеряла два диска в RAID5, вследствие чего бэкапов тоже нет.

Владелец взял где-то два брендовых SATA-диска IBM, объединил их в программное зеркало (динамический диск MS Windows) и скинул туда данные с сервера Hyper-V. Сервер Hyper-V был переформатирован под ESXi.

Когда через месяц-два он раздобыл новый сервер под Hyper-V, оказалось, что оба IBM-диска неживые.

Я не уточнял у него, как он вышел из этой ситуации.

2) В другой компании внезапно стали недоступными виртуальные машины, находящиеся на одном из RAID-массивов. Как оказалось, LUN3, состоящий из двух SSD-дисков в зеркала, решил что ну его…

У нас же есть бэкапы, заявил мой тезка. Угу-угу, VMware Data Protection 6.1.2 не загружался, в консоли висела надпись:

Перезагрузка не помогла, через час все было точно также.

vDP пытались оживить сначала вручную, потом через техподдержку VMware. Третий по счету инженер из EMC смог оживить бэкапы и мы узнали… что последний бэкап сделан год назад. Так как “Retention Policy” требует хранить бэкапы за последние 90 дней…

Тут мой тезка и говорит “у меня есть еще одна система резервного копирования, сохраняющая файлы на сервер в Amazon. Но я залогиниться туда не могу 🙁

В общем, сервер с бэкапами на Amazon оказался заражен каким-то ransomware…

Параллельно была сделана попытка выключить и включить система храения с выдергиванием/втыканием SSD-дисков (потому что она еще и на RAID-контроллер ругалась)…

После включения массива сдохло еще 4 SAS-диска (2 уже не работали), вследствие чего Lun2 ушел следом за Lun3. Как оказалось, MD3220i более 7 лет.

Какие выводы (кроме настройки уведомлений) вы бы сделали из обоих историй?

Какие epic fail были у вас?

vMind: 10 years challenge

vMind: 10 years challenge

10 лет назад, 12 марта 2009 года, появились первые статьи на нашем бложике. По модной в этом году тенденции присоединимся к 10 years challenge.

2008-2009

Сезон 2008-2009 для нашей команды выдался на редкость революционным с точки зрения технологий. С августа 2008 мы начали тестирование MS Hyper-V 1.0 и VMware ESXi 3.5 Update 2. Мы были молоды и круты – одни из первых в Перми, кто перешёл на настоящие гипервизоры, а не ваши домашние Virtual PC и VMware Workstation. Желание показать себя и привело к созданию данного блога.

Вход в технологию был очень быстр – два проекта в среднем бизнесе по полному переходу на vSphere. В технологию тогда мало кто верил, мы друзей приглашали смотреть на демонстрацию vMotion – видели бы вы их открытые рты при миграции включенной ВМ с хоста на хост без останова сервисов. Ну, как без останова – MS Exchange Server с несколькими сотнями пользователей минуты 2-3 после vMotion очухивался.

Также показывали блейд-центр и внешнюю систему хранения – про блейды ходило куча мифов, которые приходилось развенчивать, а на поверку они мало чем отличались от рэковых серверов.

Операционные системы от MS дали в этот период сбой – Vista и WS 2008 никак не хотели внедряться – все упрямо сидели и продолжали внедрять WS2003.

К середине 2009 вышел MS 2008 R2, который впечатлил RemoteApp и порадовал Корзиной AD. Hyper-V научился Live Migration и Cluster Shared Volumes – и стал конкурентом бесплатного ESXi. Заодно стало понятно, 32-бита помирают – серверные ОСи стали 64-битные.

MS стали проявлять активность по принуждению к лицензированию, бизнес ставил задачу – либо найти компромисс в лицензировании, либо поискать аналоги продуктов. Поиск аналогов показал, что  OpenOffice.org был редкостным УГ, для Visio альтернатив не было. Среди антивирусов была война – NOD32 vs Kaspersky AVP, остальные уже начали сливать рынок. Народ начал переходить на 1с8 после 6 лет выхода. Из-за курса доллара стали рассматриваться и другие отечественные продукты.

Андрей решил после сертификация MCP по WinXP дальше сертифицироваться по серверным продуктам, чтобы повысить свою ценность на рынке труда. Сертификация стоит разумных денег – в 2008 году экзамен по Microsoft можно было сдать за 1500 рублей.

2018-2019

В 2018-2019 тенденция к внедрению отечественных продуктов под эгидой импортозамещения продолжается. Номенклатура продуктов значительно расширилась – конфигураций 1С стало больше. Антивируса в стране осталось 2 с половиной – Касперский, NOD32 и местами супердешёвый Dr.Web, все остальные забились в ниши.

Вместо OpenOffie.org стал LibreOffice – Visio-файлы для просмотра уже открываются. Расплодились российские дистрибутивы Linux – ценник впечатляет, Windows дешевле.

Вместо терминальных серверов многие мигрировали на VDI, которая в наших проектах поделилась на 2 части:  офисная с поддержкой legacy ПО в виде 32-битной Windows 7 и тяжелая для САПР с поддержкой NVIDIA GRID на виртуализированных видеокартах. Теперь можно делать vMotion c 3D-графикой – снова Вау-эффект в действии.

Hyper-V не победил и даже не догнал, практика использования показала, что vSphere в частных ЦОДах живее всех живых, а основная конкурентная война ушла в облака.

С серверными ОСями от MS, как и с клиентскими, со всех сторон сплоные непонятки: в РФ основной корпоративной клиентской ОСью остаётся в ближайшие лет 5 Windows 7, а вот с серверами ситуация разнообразнее – WS 2003 всё ещё не умер, многие сидят на WS 2008R2, часть мигрирует на WS 2012R2, а что делать с WS2016/2019 – мало кому понятно. Основная проблема с последними, кроме совместимости с legacy ПО, IMHO, лицензионная – раньше сервисные пакеты не требовали лицензии при отсутствии поддержки, а теперь каждый билд легален только при SA да ещё и по ядрам разбили – тут никаких денег не хватит.

Блейды не захватили весь мир оборудования, рэковые серверы оказались на редкость живучими, как минимум, автономными и без привязки к производителю. Это может быть важным в рамках ухода от американских производителей.

Системы хранения получили сильную конкуренцию со стороны программноопределяемых хранилищ. Внедрение VSAN уже встречается то тут, то там.

Андрей собрал CCNA, MCSA (Win2k3), 4 MCTS, VCP (4, 5, 6), VCAP5:DCA, 10 лет подряд становился vExpert, но разочаровался в дальнейшем процессе сертификации. В немалой степени этому поспособствовал рост стоимости сертификации. В 2019 году экзамен можно сдать через интернет за 5300 рублей, интересный статус как и прежде насчитывает несколько экзаменов.

А что с самим бложиком за 10 лет?

Блог создавался в 2009 году для того, чтобы писать про виртуализацию. Было актуально сравнение VMware/Hyper-V, иногда XEN. За 10 лет актуальность сравнений снизилась, а на рынке появилась “интересная” альтернатива в виде KVM/Nutanix AHV.

Помимо виртуализации на бложике было опубликовано множество других статей (Skype for Business, бэкапы, СХД).

Технически блог продолжил эволюционировать вместе с WordPress. За эти годы были различные попытки оптимизировать производительность, закончившиеся переездом на отдельный VPS-сервер. Появился форум по обмену мнениями.

Проект как был основан, так и остался любительским – пишем по мере желания и интересных находок, в соцсети не пошли – формат остаётся олдскульным.

10 лет пролетели мигом!

VMFS vs NFS in vSphere

Как-то Diz задал вопрос: “правда ли, что NFS гораздо лучше, чем SCSI для хранилищ в случае одного большого хранилища? Как ситуация изменилась в 6.x?”

Наше путешествие будет включать в себя следующие пункты:

  • SCSI-очереди.
  • А что там с NFS?
  • Решает ли скорость протокола?
  • vSphere 6.x?
  • Рекомендации.

SCSI-очереди

Отлично тема очередей раскрыта тут. Continue reading “VMFS vs NFS in vSphere”

Временные сложности

‘If you knew Time as well as I do,’ said the Hatter, ‘you wouldn’t talk about wasting IT.’          

‘Если бы ты знала Время как знаю его я’ – произнес Шляпник, – ‘ты бы никогда не стала говорить о разбазаривании информационных технологий.’

Льюис Кэрролл.
На самом деле – Чарльз Лютвидж Доджсон.
Весьма фривольный перевод.

Всем привет, это снова я – krokokot.

Почти все статьи, которые удается найти по вопросу правильной установки времени в виртуальных машинах, состоят из упоминания нескольких простых и общеизвестных вещей:

  • виртуальная машина (ВМ) при старте получает время из эмулируемого хостом BIOS/RTC;
  • в дальнейшем большинство ОС не сверяются регулярно с RTC (Real Time Clock, часы реального времени, микросхема с батарейкой в железном компьютере, эмулируемая в гипервизоре), а сами ведут счет времени;
  • так как ВМ может ожидать освобождения виртуального процессора непредсказуемое количество времени – время в ней дрифтует; чаще отстает, но иногда и забегает вперед;
  • по перечисленным выше причинам время в ВМ нужно периодически принудительно синхронизировать, либо с помощью API-интерфейса к гипервизору (VMWare Tools, Hyper-V integration services), либо настройкой NTP клиента.

Continue reading “Временные сложности”

Переход на VMware vSphere 6.7

Пока Андрей обновляется с vSphere 5.5 на 6.0, мы решили двигаться дальше.

На входе у нас кластер VMware vSphere 6.0U3 на Windows Server + Cisco Nexus 1000V с блейдами на базе Intel Xeon 56xx и E5-26xx V1, на выходе желаем получить vSphere 6.7 VCVA+DVS 6.6 на стоечных серверах на базе Intel Xeon Gold 61xx.

Сначала провели анализ совместимости оборудования в HCL – невероятно, но наши блейды на базе  E5-26xx V1 ещё поддерживаются!

Теперь по поводу Intel Xeon 56xx: как вы знаете, поддержка данных процессоров прекращена, но ситуация двоякая. Если в вашем BIOS/UEFI разрешены инструкции AES-NI, то гипервизор будет работать, иначе – вам не повезло. В моих серверах AES-NI поддерживается, так что проблем с ESXi 6.7 не возникло.

Принципиально решил не обновлять vCenter, а развернуть с нуля, чтобы не тащить старые косяки и получить чистую установку. Скачал дистрибутив VCVA 6.7 и с 7 раза поставил. Проблема в том, что клиентский установщик не отрабатывает второй этап (решение: на втором этапе перейти в браузер и оттуда продолжить установку), но, вроде, проблему решили в VCVA 6.7a.

На новые хосты на базе Intel Xeon Gold 61xx поставили ESXi 6.7 и подключили в VCVA. Проблема возникла на ровном месте – при попытке создать EVC уровня Skylake возникла ошибка, что процессоры не поддерживают инструкции данного уровня. Решение быстро нашлось – необходимо включить MONITOR/MWAIT в BIOS/UEFI.

На старом кластере сетевые порты были переключены из Cisco Nexus 1000V в стандартный vSwitch, а хосты переведены под управление VCVA по нашей know how технологии (©2012 vMind.ru): Continue reading “Переход на VMware vSphere 6.7”

Проброс видеокарты NVIDIA GTX в виртуальную машину с Ubuntu для ESXi

Данная статья написана нашим читателем Lord_Alfred и выложена к нам чуть измененной копией с его блога.

Немного предыстории: я, Lord_Alfred, очень далек от администрирования серверов и работы с “железом”. Привык использовать готовые решения и стараюсь применять принцип: “работает – не трогай, не работает – погугли и попытайся исправить”. Но недавно я увлекся темой Deep Learning и почувствовал острую необходимость в покупке мощной видеокарты, которая смогла бы избавить мой домашний сервер с двумя Xeon X5660 от постоянной нагрузки на ЦП. В итоге у меня появилась “MSI GeForce GTX 1080 Ti GAMING X TRIO 11 GB OC Enthusiast” (к сожалению, с большим трудом и затратами из-за любителей криптовалют…). Естественно, захотелось сразу сделать всё “хорошо” и “правильно” (читай: поставить Ubuntu и не пытаться завести *nix’овые библиотеки на винде). Но в нашей жизни, к сожалению, не всё так гладко как хотелось бы: из-за того, что множество моих наработок по другим сферам уже были написаны под Windows, то никакого желания их переписывать у меня не было. Соответственно, начались поиски и думы о том, чтоб использовать какой-нибудь гипервизор, где будет возможность пробросить видеокарту в одну из ОС (ubuntu) и не потерять нажитое непосильным трудом (windows). Мой выбор пал на VMware vSphere ESXi, поэтому предупрежу сразу – опыта по его администрированию у меня нет, поэтому не принимайте близко к сердцу, если в статье я где-то ошибусь в терминологии или дам неправильное описание (надеюсь, что создатели vmind поправят совсем уж грубые ошибки).

Вся эта статья целиком и полностью описывает мой многострадальческий опыт в попытках (в итоге, к счастью, успешный) пробросить видеокарту в убунту и установить там драйверы nvidia и cuda toolkit. Я потратил несколько дней и несчетное количество переустановок ubuntu, пока набросал для себя некоторый “план” по установке с описанием и ссылками откуда была взята информация. Специально для тех, кто решит сделать тоже самое (или просто захочет поставить драйвера для gtx на убунте) – я переписал всё в читаемый вид и опубликовал эту статью, чтобы вы смогли потратить не 3 дня на это, а всего лишь несколько часов. Для удобства – ссылки на источники отмечены квадратными скобками, поэтому если у вас что-то пойдет “не так”, то вы сможете посмотреть откуда я взял ту или иную команду.

Предварительная настройка vSphere ESXi 6.5

Continue reading “Проброс видеокарты NVIDIA GTX в виртуальную машину с Ubuntu для ESXi”

Тестирование производительности VMXNet3. Часть 2: RouterOS Cloud Hosted Router

Всем привет, это снова я – krokokot. В первой статье я тестировал производительность «сферического коня в вакууме», т.е. насколько быстро две виртуальные машины с ОС Windows 2012R2 могут обмениваться данными посредством паравиртуальных сетевых адаптеров VMXNET3 через виртуальный коммутатор гипервизора VMWare ESXi 6.5 u1. Поставленный с помощью «молотка и такой-то матери» рекорд составил 29 гигабит в секунду при MTU=9000.

Сегодня мы протестируем аналогичного «коня», но на примере Linux-based операционной системы. Поскольку сборок Linux великое множество, чтобы никого не обидеть (а еще – потому что я не очень хорошо разбираюсь в этом вашем Линуксе 🙂 я выбрал в качестве подопытной RouterOS Cloud Hosted Router от Microtik. Это специальная версия RouterOS для виртуальных сред. Поддерживается ESXi, Hyper-V и еще что-то там, список тут – https://wiki.mikrotik.com/wiki/Manual:CHR. Для нашего теста главное – в CHR есть встроенный драйвер VMXNET3.

Я применяю RouterOS CHR в качестве виртуального маршрутизатора на standalone хостах с ESXi, когда нужно просто выставить ВМ из них в интернет. Также можно быстро поднять IP-IP или Ethernet-Over-IP туннели до отдельных ВМ или их групп, поднять VPN сервер, опубликовать порты и многое другое, что умеет RouterOS. В общем, мне очень нравится этот роутер, и сегодня попробуем с его помощью побить мой предыдущий рекорд – 29 гиг/сек.

Для корректности сравнения используем тот же самый хост. Напомню его характеристики: материнская плата ASUS X99-E, процессор Intel Xeon E5-2620 v4 2.1 ГГц, заведомо достаточное количество RAM DDR4 2133. Версия гипервизора ESXi 6.5.0 Update 1 (Build 5969303).

Создаем две ВМ с характеристиками: 2 vCPU, 1024 Mb RAM (All locked), по 2 паравиртуальных сетевых адаптера VMXNET3. Диск приделываем к контроллеру IDE – это требование к загрузочному диску RouterOS CHR. Остальные диски могут быть на паравиртуальном SCSI. Первый адаптер с каждой ВМ включаем в дефолтный виртуальный коммутатор с подключенной к нему сетевой картой Intel I218-V с MTU 1500. Вторые адаптеры – в вновь созданный и никуда не подключенный виртуальный коммутатор с MTU 9000: Continue reading “Тестирование производительности VMXNet3. Часть 2: RouterOS Cloud Hosted Router”

Отчёт о VMworld 2017 Europe

В этом году посетил конференцию VMworld 2017 Europe в Барселоне, благодаря организаторам и переносу сроков проведения с октября на сентябрь.

Ссылки на запись сессий я ранее давал в заметке VMworld 2017 Top Sessions.

Конференция проходит в огромном выставочном центра Барселоны. Первая сессия – это генеральная от генерального 😉 Continue reading “Отчёт о VMworld 2017 Europe”

Veeam Backup & Replication 9.5 Fast Merge on ReFS

Самой ожидаемой функцией VBR 9.5 для нашей инфраструктуры стала возможность использования API Fast Clone для ReFS в MS Windows Server 2016.

Многолетний анализ процесса резервного копирования указывал на основную потерю времени в виде перестройки и склейки файлов при сдвиге Full Backup вправо по шкале времени, аналогичная проблема есть и при генерации Synthetic Full Backup.

В некоторых инкрементных заданиях процесс file merge занимал до 90% времени.

Как только вышел VBR 9.5, мы обновили ОС сервера СРК с помощью In-place upgrade с MS Windows Server 2012 R2 до версии  MS Windows Server 2016.

Создали репозиторий на ReFS и перенастроили задания на его использование. Функцию Backup Copy для переноса решили не использовать.

Результаты использования API Fast Clone Continue reading “Veeam Backup & Replication 9.5 Fast Merge on ReFS”

Проброс видеокарты NVIDIA в VMware ESXi 6.0

diz решил поделиться своим опытом проброса видеокарты NVDIA GTX в ESXi 6.0.

Добрый день, дорогие друзья!

Говорят, что с 2015-ого года работодатели стали сразу выгонять с собеседования ИТ-шников, если вдруг выясняется, что у них нет личного сервера с развернутым частным облаком.

Чтобы не выбиваться из тренда, я собрал дома небольшой двухпроцессорный сервер на базе материнской платы SUPERMICRO X9DRI-F и пары Xeon E5-2670. Т.к. несколько лет своей жизни я посвятил, в т.ч. администрированию инфраструктуры VMWare, то в качестве гипервизора виртуализации был выбран именно ESXi.

Частное облако-домашняя лаба – это, конечно, замечательно и здорово, однако, для комфортной повседневной работы и StarCraft2 желательно иметь доступ к дискретной видеокарте.

Тому, как задружить “бытовую” nVidia GTX и ESXi 6 и посвящается данная статья – краткий проводник-путеводитель по граблям.

Первое, что вам захочется сделать после установки дискретной видеокарты в сервер – переключить приоритет инициализации видеокарты в BIOS в пользу внешней, чтобы видеть POST прямо на экране подключенного к ней монитора. Этого делать не стоит, т.к. в таком случае вы потеряете возможность использовать iKVM материнской платы.

Итак, приступаем к пробросу видеокарты в виртуальную машину с MS Windows 10. Увидев web-интерфейс ESXi 6 я искренне обрадовался тому, что завязал с системным администрированием четыре года назад. Откладываем этот замечательный интерфейс в сторону, т.к. проброс видеокарты через него вы настроить не сможете, при старте виртуальная машина будет ругаться на несоответствие идентификатора устройства PCIe (PCIe passthrough device id invalid) и переключаемся на старый добрый и толстый клиент: Continue reading “Проброс видеокарты NVIDIA в VMware ESXi 6.0”