Author: Mister Nobody

Хождение по граблям VMware vSphere 7.0

Цикл статей о борьбе с VMware vSphere 7.0 продолжается. Читайте содержимое предыдущих серий:

Обновление IBM/LENOVO System X M5 Embedded Hypervisor on SD-card до версии ESXi 7.0

Обновление VMware vCenter с версии 6.7 до 7.0

VMware ESXi 7.0 и неподдерживаемое оборудование

Снимки ВМ и NetApp FAS ONTAP

Самая жёсткая проблема, с которой столкнулись — это переход LUN’ов на системе хранения NetApp FAS в режим Offline при попытке сделать снимок из-под vSphere 7.0 с ошибкой “Out of space”.

Предположительно, проблема связана с All Flash LUN’ами, созданными в ONTAP версии 9.1 или 9.2. Проблема наблюдается в ONTAP 9.7P4, более поздние патчи не проверяли.

Для нас пока закончилось падением пары продуктивных баз данных при инициации резервного копирования.

Решение проблемы:

  1. Вернуть LUN в Online.
  2. Если при Rescan Storage не вернулось DataStore на хостах, то перезагрузить хосты.
  3. Смигрировать ВМ на другой LUN.
  4. Пересоздать проблемный LUN (*либо устранить корневую причину).
  5. Смигрировать ВМ обратно.

vLCM Image и Intel VMD NVMe Driver

Самая весёлая проблема, которая убила кучу времени.

При переводе кластеров с модели обновления Baseline на модель обновления Image поймали отличный конфликт компонентов там, где не ожидали.

Про драйвер читать в статье:

VMware ESXi, VSAN и Intel VMD-Enabled NVMe Driver

На текущий момент в VSAN HCL рекомендуется версия драйвера intel-nvme-vmd-2.0.0.1146, в стандартном же образе зашит другой драйвер iavmd 2.0.0.1055-3vmw.700.1.0.15843807. При попытке собрать образ, совместимый с VSAN HCL получаем невозможность установить компоненты HA. Валят скопом такие ошибки:

  • vSphere HA host status/Cannot find HA master agent
  • vSphere HA agent for this host has an error: vSphere HA agent cannot be installed or configured
  • Component vsphere-fdm cannot be found in depot
  • ‘vxd’ service, runnig on ‘cluster’, reported issue: The HA constraints in the image spec have version whereas the expected version is 7.0.0.-16386338

Решение проблемы:

  1. Отключить HA.
  2. Добавить в image драйвер intel-nvme-vmd-2.0.0.1146.
  3. Накатить на  хост image.
  4. Убрать из image intel-nvme-vmd-2.0.0.1146.
  5. Включить HA.

В итоге, проходим проверку на VSAN HCL и получаем Warning при проверке Image Compliance.

Update 11092020. 10.09.2020 драйвер iavmd 2.0.0.1055-3vmw.700 добавлен в VSAN HCL.

Image не накатывается на хосты

Ещё одна весёлая проблема, при попытке пройти проверку или накатить Image получаем шедевральную ошибку:

Unknown error occurred when invoking host API.

Самое тупое решение:

  1. Cделать сброс БД менеджера обновлений —  Resetting VMware Update Manager Database on a vCenter Server Appliance 6.5/6.7/7.0 (2147284).
  2. Перезагрузить хост.
  3. Запустить обновление снова.

Не работает vLCM Image Export

Для переноса сборки Image между кластерами или vCenter разработчики предусмотрели вариант выгрузки собранной вами конструкции.

Существует три варианта экспорта:

А теперь о проблеме: если вы используете свои сертификаты, то ни одна опция не работает, происходит ошибка браузера “ERR_SSL_PROTOCOL_ERROR”.

Решение проблемы, конкурирующие с предыдущим по интеллектуальности и попахивает уязвимостью (неавторизованный доступ):

  1. Скопировать ссылку из адресной строки браузера.
  2. Открыть приватное окно.
  3. Вставить ссылку в адресную строку.
  4. Заменить протокол с https на http и получить ожидаемое.

Обновление IBM/LENOVO System X M5 Embedded Hypervisor on SD-card до версии ESXi 7.0

Семейство серверов IBM/LENOVO System X  серии M5 может иметь предустановленный Embedded Hypervisor на SD-карте с совместимой версией ESXi 6.x.

При попытке обновиться до версии ESXi 7.0 выходит ошибка:

Управление SD-картой осуществляется в интерфейсе IMM2. Анализ адаптера показывает, что в реальности используются 32 ГБ карты, но на заводе создан виртуальный диск на 1 ГБ. Расширение размеров не поддерживается.

Для установки ESXi 7.0 придётся прибегнуть к обходной схеме:

  1. Сделать резервную копию конфигурации ESXi – подробно описано в How to back up ESXi host configuration (2042141).
  2. Переформатировать SD-карту на 30 ГБ (максимально доступный размер).
  3. Установить чистый ESXi 6.x (версии, с которой снята резервная копия).
  4. Настроить сеть.
  5. Восстановить из резервной копии конфигурации по инструкции из пункта 1.
  6. Накатить обновление до ESXi 7.x.

P.S. Возможно, данная проблема встречается и на серверах других производителей с предустановленным гипервизором.

VMware ESXi 7.0 и неподдерживаемое оборудование

Disclaimer:  все дальнейшие рассуждения и действия не соответствуют политике технической поддержки VMware. Любое использование оборудования вне VMware HCL может быть использовано только на свой страх и риск. В статье рассматривается только то оборудование, на котором возможен технический запуск ESXi 6.7U3.

В связи с выходом платформы VMware vSphere 7.0 виртуальные системные администраторы стали анализировать возможность обновления либо внедрения данного продукта.

Если проблемы с vCenter 7.0 вполне решаемы и описаны в нашей статье Обновление VMware vCenter с версии 6.7 до 7.0, то с ESXi 7.0 всё не так просто.

Для “упрощения” работы администраторов VMware расширила функциональность Update Manager (VUM) полуавтоматическим анализом оборудования: сверкой моделей серверов с HCL, проверкой версий прошивок и драйверов компонентов. Данная функциональность уже была частично представлена  в VSAN [Skyline] Health Hardware compatibility для дисковой подсистемы. Новая версия VUM стала называться vSphere Lifecycle Manager (vLCM). Для загрузки HCL следует в административном интерфейсе нажать ACTIONS->Sync HCL.

Мои ожидания от vLCM были примерно такие – запускаю на хосте Updates -> Hardware Compatibility и система пишет, что оборудование не в HCL, такие-то компоненты не имеют драйверов и не будут работать. В реальности, если сервер не в HCL, то на этом проверка останавливается:

Host model is not compatible with ESXi 7.0
Skipped checking host devices.

Что как бы нас совершенно не устраивает, так как наша цель – запуститься вне HCL, и хотелось бы понимать какие компоненты не имеют драйверов и поддержки.

Поэтому с компонентами придётся разбираться самостоятельно. Continue reading “VMware ESXi 7.0 и неподдерживаемое оборудование”

Обновление VMware vCenter с версии 6.7 до 7.0

Дождавшись выхода VMware vSphere 7.0.0b, мы решились на обновление нашей инфраструктуры, построенной на платформе версии 6.7.

Для уменьшения количества граблей внимательно прочитали следующие документы:

Проблема с сертификатами

При попытке обновления вылезла ошибка с сертификатами:

Error: A vCenter Single Sign-On endpoint certificate validation error has occurred.
Resolution: Ensure that the endpoint service registrations in vmdir match their corrsponding machine SSL certificates in VECS. For more information, see Knowledge Base article KB 2121701

Как это бывает, КБшка не помогла, как и не помог совет в форуме VMware.

Обратились в ТП VMware, получили волшебный скрипт и инструкцию: ls_ssltrust_fixer_p3.

  1. Проверить наличие актуальной резервной копии и сделать snapshot.
  2. Подключиться к vCenter по SSH.
  3. Скопировать “ls_ssltrust_fixer.py” в папку /usr/lib/vmidentity/tools/scripts (например, с помощью WinSCP).
    1. Перейти в папку:
    2. Изменить права:
  4. Выполнить проверку ошибок “certificate thumbprint mismatch” с помощью команды:
  5. Выполнить исправление ошибок “certificate thumbprint mismatch” с помощью команды:

После магических пасов руками vCenter обновился.

Проблема с vLCM

Зная рецепт, обновили несколько vCenter и получили разную функциональность в обновлении Update Manager – vSphere Lifecycle Manager (vLCM). Местами он категорически отказывался показывать Image Depot и видеть обновления для ESXi 7.0. Недолго думая, мы решили сделать сброс БД, чтобы заодно её почистить от компонентов для ESXi6.0 –  Resetting VMware Update Manager Database on a vCenter Server Appliance 6.5/6.7/7.0 (2147284). Это исправило “видимость” семёрочных обновлений.

Проблема с безагентской антивирусной проверкой

Для безагентской антивирусной проверки требуются компоненты VMware NSX Data Center for vSphere, поддержка которого не была заявлена (вышел новый продукт) при релизе vSphere 7.0. Но, VMware одумалась и в этом месяце всё таки выпустила патч версии 6.4.7.

Проблема с плагином Veeam BR

Также отвалился плагин для Veeam BR – порешалось переустановкой.

P.S. В придачу слетел файловый бэкап vCenter ;). Требуется перенастройка.

Релиз Stor2RRD 2.80

Вышла  версия 2.80 бесплатного мониторинга систем хранения Stor2RRD.

Поддержка новых систем хранения, ПО и функций:

Релиз RVTools 4.0.4

Rob de Veij выпустил обновление своей отличной утилиты инвентаризации VMware vSphere — RVTools версии 4.0.4.

В этой версии появились новые функции:

  • Обновлен VMware vSphere Management SDK до версии 7.0
  • Используется CIS REST API для получения информации о тегах с vSphere 6.5+
  • в vInfo новые колонки: Virtual machine tags и min Required EVC Mode
    Key
  • в vCPU новая колонка: Virtual machine tags
  • в vMemory новые колонки: Virtual machine tags и Memory Reservation
    Locked To Max
  • в vDisk новая колонка: Virtual machine tags
  • в vPartition новая колонка: Virtual machine tags
  • в vCD новая колонка: Virtual machine tags
  • в vFloppy новая колонка: Virtual machine tags
  • в vNetwork новая колонка: Virtual machine tags
  • в vSnapshot новая колонка: Virtual machine tags
  • в vTools новая колонка: Virtual machine tags
  • в vRP новые колонки: Resource Pool tags и object ID
  • в vCluster новые колонки: Cluster tags, custom attributes и object ID
  • в vHost новые колонки: Host tags, in Maintenance Mode и in Quarantine
    Mode
  • в dvSwitch новые колонки: Distributed VirtualSwitch tags, custom attributes
    и object ID
  • в dvPort новые колонки: Distributed VirtualSwitch Port Group tags и
    object ID
  • в vDatastore новые колонки: Datastore tags, custom attributes и object
    ID
  • Опция в настройках “Exclude tags”
  • в CLI новый параметр -ExcludeTags
  • Исправлены ошибки.

Известная проблема: Теги видны только при явном указании имени и пароля, при использовании SSO не работает!

Настройка NVMe-oF подключения к RHEL 8.1

Dmitriy Shevchenko прислал продолжение цикла инструкций по настройке NVMe-oF. Сегодня речь пойдёт об операционной системе RHEL.

Перечень оборудования и ПО

Система хранения: Netapp AFF A320, версия ПО ONTAP Release 9.7P1.

Коммутаторы сети хранения данных: Switch Brocade 6505 16Gb 24 Port 2шт. FW 8.2.1c.

Серверы: Fujitsu PRIMERGY RX2530 M5 c FC адаптерами Broadcom (EMULEX) LPe32002 версия FW 12.6.240.22 (рекомендованная в матрице совместимости Netapp).

Операционная система: Red Hat Enterprise Linux release 8.1 (Ootpa) (Примечание: в 8.2 с установкой драйверов, были проблемы, нет ключа -n).


Предварительная подготовка

  1. Устанавливаем Red Hat Enterprise Linux release 8.1 (без установки обновлений):

  1. Скачиваем необходимые драйвера и ПО с сайта broadcom.com:
  1. Устанавливаем OneCommand Manager: Continue reading “Настройка NVMe-oF подключения к RHEL 8.1”

Настройка NVMe-oF подключения к VMware vSphere 7.0

В связи с выходом VMware vSphere 7.0 стала доступна технология NVMe over Fabric (NVMe-oF) для управления операциями с накопителями и передачи данных по протоколу NVMe вместо SCSI.

Dmitriy Shevchenko прислал инструкцию, которую мы сегодня и публикуем.

Перечень оборудования и ПО

Система хранения: Netapp AFF A320; версия ПО: ONTAP Release 9.7P1.

Коммутаторы сети хранения данных: Brocade 6505 16Gb 24 Port 2 шт. ; FOS FW 8.2.1c.

Сервер: Fujitsu PRIMERGY RX2530 M5 c FC-адаптерами Broadcom (EMULEX) LPe32002, версия FW 12.4.243.17 (рекомендованная в матрице совместимости Netapp).

Гипервизор: ESXi-7.0.0-15843807.

Схема подключения: Continue reading “Настройка NVMe-oF подключения к VMware vSphere 7.0”

VMware ESXi, VSAN и Intel VMD-Enabled NVMe Driver

Компания Intel для NVMe-устройств разработала программно-аппаратную технологию объединения таких устройств Virtual RAID On CPU (VROC или масло масляное VROC RAID).

Несколько лет обещая в форумах реализовать поддержку VMware ESXi, Intel бросила сие потуги, в итоге официально появилось полторы технологии:

Функций в Intel VMD (Volume Management Device) осталось три:

  1. Surprise Hot Plug
  2. LED Management
  3. Error Handling

Функционал RAID не реализован.

При разворачивание инфраструктуры VSAN важно использовать только оборудование из HCL — проверку по компонентам проверяем нажав «Build Your Own based on Certified Components» на странице VSAN HCL.

Для удобства пользователей VSAN использует технологию Skyline Health, которая позволяет определить отклонения в настройках и используемых компонентах от рекомендуемых.

В нашем случае используются для уровня кэширования U2-накопители на технологии Intel Optane, проверка здоровья не смогла нормально по ним отработать, также были проблемы с неопределением дисков при горячей установке.
Коллеги посоветовали включить в UEFI опцию для Intel VMD (для серверов Lenovo: UEFI Setup > System Settings > Devices and I/O Ports > Intel VMD Technology), что привело к исправлению статуса проверки и смены типа устройства (все NVMe-накопители скрыты за слоем абстракции VMD) , версия прошивок дисков перестала анализироваться Skyline Health.

Обновление. Появился драйвер с поддержкой RAID1 для загрузки ESXi.

Релиз VMware vSphere 7.0

Доступна для скачивания новая платформа VMware vSphere 7.0:

VMware vCenter Server 7.0.0 [Release Notes] [Download]
VMware vSphere Hypervisor (ESXi) 7.0.0 [Release Notes] [Download]
VMware vSphere Replication 8.3.0 [Release Notes] [Download]
VMware vSphere Perl SDK 7.0 [Download]
OVFTOOL 4.4.0 [Download]
VMware Guest SDK 11.0.0 [Download]
VMware ESX Command Line Interface 7.0 [Download]
VMware vSphere Virtual Disk Development Kit 7.0 [Download]
VMware vSphere Client SDK 7.0 [Download]
VMware vSAN Management SDK 7.0 [Download]
VMware vSphere Management SDK 7.0 [Download]
VMware Guest Customization Engine for Instant Clone 1.0.0 [Download]
VMware Remote Console 11.1.0 [Release Notes] [Download]
VMware Virtual SAN Witness Appliance 7.0 [Download]
VMware Virtual SAN File Services Appliance 7.0 [Download]
VMware vSphere SNMP MIBs 7.0 [Download]
Plug-Ins for vSphere Replication 8.3.0 [Release Notes] [Download]
DellEMC Addon for ESXi 7.0 [Download]
HPE Addon for ESXi 7.0 [Download]
DellEMC Custom Image for ESXi 7.0 Install CD [Download]
HPE Custom Image for ESXi 7.0 Install CD [Download]

UPDATE 1

VMware Tools 11.0.6 [Release Notes] [Download]
VMware NSX-T Data Center 3.0.0 [Release Notes] [Download]
VMware NSX Intelligence 1.1.0 [Release Notes] [Download]
VMmark 3.1.1 [Download]
VMware NSX Cloud 3.0.0 [Download]
VMware View Planner 4.4 [Release Notes] [Download]

UPDATE 2

VMware vCenter Server 6.7U3f [Release Notes] [Download]
VMware Cloud Director 10.1.0 [Release Notes] [Download]
VMware Cloud Director App Launchpad 1.0 [Release Notes] [Download]
VMware Tanzu Kubernetes Grid 1.0.0 [Release Notes] [Download]

UPDATE 3

VMware vSphere Integrated Containers 1.5.5 [Release Notes] [Download]
VMware vRealize Operations 8.1.0 [Release Notes] [Download]
VMware vRealize Orchestrator Appliance 8.1.0 [Release Notes] [Download]
VMware vRealize Suite Lifecycle Manager 8.1.0 [Release Notes] [Download]
VMware vRealize Log Insight 8.1.0 [Release Notes] [Download]
VMware vRealize Automation 8.1.0 [Release Notes] [Download]
VMware vRealize Log Insight 8.1.0 for NSX [Release Notes] [Download]
VMware vRealize Network Insight 5.2.0 [Release Notes] [Download]
VMware Identity Manager 3.3.2 (for vRA, vRops, vRLI, vRB, vRNI, NSX only) [Download]