Veeam B&R и VMware vSphere 6.0 tags

Компания обновила API по работе с тэгами, что привело к необходимости перенастраивать все задания резервного копирования, основанные на тэгировании в Veeam B&R.

Цитата из Release Notes for Veeam Backup & Replication 8.0 Update 2b:

vSphere 6 tags integration. vSphere 6 introduces new APIs for programmatic access and management of vSphere tags. With vSphere 6 tag support, you can continue building new advanced backup policies based on tags, even after you upgrade to vSphere 6. Due to new unique tag IDs in vSphere 6, be sure to review your job setup after upgrading to vCenter Server 6.0 and running your jobs at least once to let them match tags automatically based on the tag name.

Hardware Status и vSphere 6.0

Разработчики VMware не только убрали закладку Hardware Status при подключении к vCenter толстым клиентом, но и в vSphere Web Client она не работает.
Для решения проблемы нужно добавить разрешения в соответствии со статьей In the vSphere Web Client in vCenter Server 6.0 the Hardware Status tab reports: No host data available (2112847).

Deprecated VMFS volume и vSphere 6.0

Если вы решите создать и подключить новый том к хосту с ESXi 6.0 и отформатировать его в самую распоследнюю версию VMFS, то получите жёлтый баннер:

Что удивительно, разработчики считают это “не багой, а фичей” в заметке In a VMware vSphere 6 environment, the ESXi hosts display a false positive warning: Deprecated VMFS volume(s) (2109735).

VMware Tools в ESXi 6.0 против Dutch Windows

Уже четвертый акт нашего балета с vSphere 6.0.

В результате третьего акта Обновление хостов ESXi 5.5 до ESXi 6.0 против Veeam NAS мы получили хосты, виртуальные машины на которых потребовали обновления VMware Tools.

После запуска PowerCLI-скрипта с массовым обновлением компонента интеграции

наша система мониторинга начала казать сетевую изоляцию некоторых хостов.

Анализ ситуации показал, что обновление VMware Tools приводит к удалению старой версии вместе в драйверами, в том числе vmxnet.

Установка старой версии VMware Tools проходила успешно.

Копание логов выявило странную закономерность между успешной и не успешной установкой.

Корявая установка пишет в лог (логи смотрим в %temp%\vminst.log и vmmsi.log_date_Failed.log :

А в нормальной встречается подозрительная запись:

После этого надо понять, что у нас стоит не английская версия Windows, а, к примеру, голландская, что поможет резко увеличить шансы поиска решения в базе знаний VMware.

Одно из самых странных обходных решений, виденных мною, описано в статье Installing or Upgrading VMware Tools version 9.10.0 (ESXi 6.0GA) on a Dutch version of Windows Server 2008 R2 fails with the error: VMware Tools Setup Wizard ended prematurely (2114476).

Суть решения:

  • Создать группу everyone.
  • Добавить в неё пользователя, от имени которого запускается установщик.
  • Установить VMware  Tools.
  • Удалить группу.

Вот только Windows у меня русский, версии 2003 R2, а ещё доменный контроллер на 2012R2, где локальную группу просто так не создашь…

А в остальном – метод работает. Не всегда, правда…

That’s a Dutch comfort!

Обновление хостов ESXi 5.5 до ESXi 6.0 против Veeam NAS

Итак, третий акт Марлезонского балета. Предыдущий акт Обновление хостов ESXi 5.5 с коммутатором Cisco Nexus 1000V до ESXi 6.0.

При сканировании хостов ESXi 5.5 VMware Update Manager пишет “Unsupported configuration” без всяких пояснений. Для начала читаем /var/log/vua-*.log и ищем слово error:

Поиск по ошибке выдает статью Upgrading to VMware ESXi 5.x fails with the error: Error in ESX configuration file esx.conf (2011588).

Подтверждаем, что ошибку определили верно:

Открываем файлик /etc/vmware/esx.conf и видим:

При использовании технологии Veeam Instant Recovery создается и монтируется к хостам NAS-хранилище. Если же вы сменили сервер Veeam, а хранилище отмонтировали, то наивно думать, что в конфигурации ESXi произошли все требуемые зачистки.

Удаляем лишние строки и сохраняем файл. Делаем проверку, что проблема ушла:

Запускам сканирование заново.

Описание аналогичной ситуации для любителей английского Unsupported Configuration when using VUM for a Major Upgrade.

Обновление хостов ESXi 5.5 с коммутатором Cisco Nexus 1000V до ESXi 6.0

Не смотря на название, сегодняшняя статья продолжение эпика Собираем грабли при обновлении VMware vSphere 5.5 до vSphere 6.0.

Для затравки, первый баг на сегодня очень радует – желтый баннер с текстом “Quick stats on hostname is not up-to-date”. Судя по vCenter Server 5.5 and 6.0 displays a yellow warning in the Summary tab of hosts and reports the error: Quick stats on hostname is not up-to-date (2061008), разработчики синхронизируют фиксы с серьёзным лагом.

А теперь к основному блюду.

Как неправильно обновлять хост ESXi 6.0 с Cisco Nexus 1000V

После обновления супервизора VSM Cisco Nexus 1000V пришло время обновлять карты расширения VEM.

При попытке обновления Update Manager ругнулся на VIB cisco-vem-v173-esx , который я снёс командой

а сам хост удалил из коммутатора Remove from VDS.

Это было жёсткой ошибкой, так как после обновления возможности добавить хосты c ESXi версии 6.0 на данный момент нет – хосты просто не отображаются в списке выбора.

Я понадеялся на только что вышедшую версию Cisco Virtual Switch Update Manager Release 1.3, но браузер зависает при обращении из vSphere Web Client, так как, похоже, продукт до сих пор не поддеживает vCenter 6.0.

Поэтому пришлось искать в глубь и ширь. Поиск в базе знаний даёт подсказку When attempting to add an ESXi 5.x host to a DVS, the host is missing or the list is empty (2039046), но я мигрировал базу на vPostgres, поэтому необходимо понять как vPostgres готовить.

  • Из файла C:\ProgramData\VMware\vCenterServer\cfg\vmware-vpx\vcdb.properties берем адрес и порт, которые слушает СУБД (localhost:5432),  имя пользователя (vc) и копируем в буфер обмена пароль.
  • Ставим PGAdmin и 32-битные библиотеки C++ Visual Studio 2013 Redistributable.
  • Запускаем PGAdmin, вводим полученные ранее данные.

Раскрываем дерево – VCDB->Схемы->vc->Таблицы->VPX_DVS_COMPATIBLE, добавляем пару строк со значениями:

  • повтор значения id(значение содержится в таблице VPX_DVS), esx, 6.0+;
  • повтор  значения id, embeddedEsx, 6.0+,
  • жмём “Обновить” для автозаполнения последнего поля.

После этого подключаем хост в коммутатор. Если возникает ошибка, описанная в Adding an ESX/ESXi host to Nexus 1000v vDS fails with the error: vDS operation failed on host <hostname>, got (vmodl.fault.SystemError) exception (2007166), то на время подключения останавливаем службу VMware Update Manager (VIB модуль должен быть установлен вручную).

Если все вышесказанное не помогло, то делаем как написано ниже, но если вы не сделаете то, что выше, не факт, что сработает то, что ниже.

Как правильно обновлять хост ESXi 6.0 с Cisco Nexus 1000V

На данный момент официальная единственная возможность – это сразу вшивать VIB Cisco Nexus 1000V VEM в образ ESXi 6.0 и им обновляться.

Все команды выполняются в PowerCLI:

За основу взята статья Upgrading an ESXi/ESX 4.x host with the Cisco Nexus 1000V to ESXi 5.x using Update Manager (2021363).

Вывод

Горе от ума вечно…

Собираем грабли при обновлении VMware vSphere 5.5 до vSphere 6.0

На днях начал обновляться со старой платформы VMware vSphere 5.5 до новой 6.0. Граблей собрал небольшую пачку, о чём и хочу поведать.
Во-первых, пришлось избавиться от хоста с ESXi версии 4.1, так как vCenter 6.0 поддерживает только ESXi 5.0+. Об этом вышла пара статей на нашем блоге: VMware ESXi и Realtek 8168/8169/8111 и Установка VMware ESXi 5.5 на хост с менее 4 ГБ ОЗУ.

Во-вторых, Вышел Veeam Backup & Replication 8.0 Update 2 с поддержкой vSphere 6.0, который также потребовалось обновить.

В-третьих, Вышел Cisco Nexus 1000V для VMware vSphere 6.0, и его обновили.

В-четвертых, Вышел VMware vRealize Operations Manager 6.0, его пропатчили до версии 6.0.1.

После всего этого настало время vCenter. Запустили установщик, согласились на использование vPostgres и спустя полтора часа получили новенький vCenter. И набор граблей…

Пропала интеграция с Cisco Virtual Switch Update Manager – при попытке открыть раздел Cisco Nexus 1000V в vSphere Web Client, страница намертво зависала, удалить через MOB расширение не получалось. В итоге удалил виртуалку, после перезагрузки сервера с vCenter в MOB расширение благополучно исчезло. Приложуха на редкость бесполезная, так что послал в топку.

Пропала интеграция с Veeam B&R. Переустановили плагин, рестартнули службы – заработало.

Вылезли ошибки с плагинами в толстом клиенте:

plugin errorОшибка с VMware Syslog Colector Configuration была снята добавлением порта в правила файервола.

Ошибка с VMware vCenter Storage Monitoring Service описана в базе знаний The Storage Monitoring Service plug-in fails to install in VMware vCenter Server 6.0 (2115295), теперь его просто нет, как и The Overview sub-tab in the Performance tab view is no longer available in the VMware vSphere Client 6.0.x (2109800).

Ошибку с Auto Deploy я проигнорировал, так как это функционал не используем, а служба остановлена. Подозреваю, что старт службы и настройки файервола снимут симптом.

После этого начал обновлять ESXi – путь снова оказался тернист. После обновление до ESXi отвалились все хранилища. Как оказалось, выстрелил костыль, заложенный при переходе на vSphere 5.5. Но, как обычно, выручил бложик, так как костыль был записан в заметке Отключение VMware ESXi Native Driver. Для исправления подал команду:

Каким-то чудом вылезла еще одна старая ошибка, которая опять же описана в нашем бложике Ошибка обновления ESXi 5.1 до 5.5 — Cannot run upgrade script on host. Но, в этот раз, решил поправить её через esxcli:

Напоследок. Так как архитектура vCenter серьёзно поменялась, то мониторинг списка старых сервисов уже не подходит, а ручной подсчет меня соориентировал, что сейчас сервисов точно не меньше 32(!) штук. Так что для определения сервисов нужных для контроля воспользовался статьей Stopping, starting, or restarting VMware vCenter Server 6.0 services (2109881), с помощью которой выгрузил список запущенных сервисов командой:

Их и засунул в Nagios.

Советы по управлению производительностью в vSphere 6

Nick Marshall выпустил обзор “Performance Practices for vSphere 6” в рамках VMUG, описывающий новинки vSphere 6.0, что они дают с точки зрения производительности. Особую ценность представляют рекомендации по использованию компонентов платформы.

 Performance Practices for vSphere 6.

VMware vSphere vs OpenStack

Спросили меня на работе, а почему мы не используем бесплатные решения, разработанные сообществом? Или “платные” решения от Mirantis…

Так как слова OpenStack мне вообще ничего не говорили, пришлось кратко погрузиться в эту тему.

Начать чтение про OpenStack стоит отсюда или в вики. Вообще говоря, это некий набор решений, позволяющий сделать частное или публичное облако.

Так как вопрос изначально стоял про сравнение, то я нагуглил еще пару ссылок про сравнение функционала (раз и два):

  • VMware vMotion переносит ВМ без простоя. Максимальный заявленный latency – 100мс. В vSphere 6.0 можно осуществлять миграцию на другой vCenter (сервер управления) и даже в другую IP-сеть (через маршрутизатор). В OpenStack заявлен suspend (пауза) на две секунды. С другой стороны, OpenStack умеет мигрировать ВМ между Intel и AMD;
  • Storage vMotion в OpenStack то ли не поддерживается, то ли предлагается реализовать средствами LVM. То есть “можно, но геморройно”;
  • балансировки нагрузки, аналогичной VMware DRS, тоже практически нет. DPM также отсутствует. “Готовый” шедулер балансирует машины только при включении. Из практической пользы можно отметить, что при желании можно соорудить свой планировщик, использующий абсолютно любые требования;
  • аналог VMware HA есть (правда, вызывает сомнения функциональность). Мониторинг ОС в ВМ 100% реализуется через стороннюю связку с Zabbix/Nagios. Аналогом Fault Tolerance был Kemari+Xen, но Kemari, вроде бы, больше не поддерживается. Зеркалирование инструкций в KVM, вроде бы, также не поддерживается;
  • всякие другие штуки типа network teaming, VMware API Array Integration, Update Manager, Host Profiles, Distributed Switch, Storage/Network IO Control либо отсутствуют, либо требуют активного допиливания.

В целом, стоит отметить, что OpenStack, с одной стороны, несет за собой конскую экономию на лицензиях гипервизора. С другой, однозначно увеличиваются операционные затраты на изучение и поддержку инфраструктуры плюс увеличится значимость человеческого фактора. Также будет снижена доступность инфраструктуры, так как учиться администраторам надо будет налету.

В целом, я рад, что на текущий момент сообщество может предложить мне не бесплатный гипервизор (Xen/KVM), а некий инструмент, позволяющий создать свою инфраструктуру виртуализации. Несколько лет назад были только гипервизоры…

Вышел Veeam Backup & Replication 8.0 Update 2 с поддержкой vSphere 6.0

Вышел Veeam Backup & Replication 8.0 Update 2 с поддержкой vSphere 6.0, теперь можно планировать переход на новую платформу.

Для vSphere 6.0 заявлено:

  •  поддержка VMware Virtual Volumes (VVols) и Virtual SAN (VSAN) 2.0;
  •  резервное копирование и восстановление политик в рамках функциональности управления средствами хранения на основе политик (SPBM);
  •  поддержка резервного копирования и репликации отказоустойчивых виртуальных машин (Fault Tolerant VMs);
  •  интеграция тегов vSphere 6;
  •  ускоренная миграция на хранилища VVol;
  •  учет Cross-vCenter vMotion;
  •  поддержка передачи данных в режиме «горячего» подключения (Hot-Add) для виртуальных SATA-приводов.

Подробнее в базе знаний.