VMware ESXi 7.0 и неподдерживаемое оборудование

Disclaimer:  все дальнейшие рассуждения и действия не соответствуют политике технической поддержки VMware. Любое использование оборудования вне VMware HCL может быть использовано только на свой страх и риск. В статье рассматривается только то оборудование, на котором возможен технический запуск ESXi 6.7U3.

В связи с выходом платформы VMware vSphere 7.0 виртуальные системные администраторы стали анализировать возможность обновления либо внедрения данного продукта.

Если проблемы с vCenter 7.0 вполне решаемы и описаны в нашей статье Обновление VMware vCenter с версии 6.7 до 7.0, то с ESXi 7.0 всё не так просто.

Для «упрощения» работы администраторов VMware расширила функциональность Update Manager (VUM) полуавтоматическим анализом оборудования: сверкой моделей серверов с HCL, проверкой версий прошивок и драйверов компонентов. Данная функциональность уже была частично представлена  в VSAN [Skyline] Health Hardware compatibility для дисковой подсистемы. Новая версия VUM стала называться vSphere Lifecycle Manager (vLCM). Для загрузки HCL следует в административном интерфейсе нажать ACTIONS->Sync HCL.

Мои ожидания от vLCM были примерно такие — запускаю на хосте Updates -> Hardware Compatibility и система пишет, что оборудование не в HCL, такие-то компоненты не имеют драйверов и не будут работать. В реальности, если сервер не в HCL, то на этом проверка останавливается:

Host model is not compatible with ESXi 7.0
Skipped checking host devices.

Что как бы нас совершенно не устраивает, так как наша цель — запуститься вне HCL, и хотелось бы понимать какие компоненты не имеют драйверов и поддержки.

Поэтому с компонентами придётся разбираться самостоятельно.

Во-первых, следует проверить процессор, так как без него дальнейшие шаги просто бесполезны. Мы писали ранее о процессорах, исключенных из поддержки в статьях: Прекращение поддержки процессоров в VMware vSphere 6.7 и Чего не будет в VMware vSphere 7.0?  — то есть, если ваш процессор старее Intel Xeon E5-26xx v1, то можете выкинуть данный серверный хлам. Но! Для Westmere-EP (очень популярных Xeon _56xx) и Westmere-EX есть чит, который позволяет запускать ESXi 7.0 — Allow unsupported CPUs when upgrading to ESXi 7.0.

Во-вторых, критическими компонентами являются сетевые карты, FC-HBA и RAID/HBA-контроллеры. Без обнаружения сетевой карты установщик ESXi прекращает свою работу. Проблема в том, что для старых компонентов драйверов для ESXi 7.0 нет — количество драйверных пакетов уменьшено с 144 до 75.

Почему же в ESXi 7.0 произошла жёсткая отсечка старого оборудования? Для понимания оглянемся назад на 6-7 лет — в 2013-2014 годы. В платформе vSphere 5.5 компания VMware объявила о новой модели Native Device Driver вместо портированных с Linux драйверов, работающих через посредника API vmklinux.  Почитать о  NDD можно в статьях William’a Lam’a: ESXi 5.5 introduces a new Native Device Driver Architecture Part 1(по-русски),  Part 2.

Если раньше для решения проблем приходилось отключать новые драйверы, например, Отключение VMware ESXi Native Driver, то в семёрке убрали vmklinux.

Чтобы понять как это повлияет на инфраструктур в официальном блоге опубликована статья What is the Impact of the VMKlinux Driver Stack Deprecation? и предложен PowerCLI-скрипт от William’a Lam’aдля обнаружения vmklinux-драйверов.

Для тестов мы запустили скрипт на стенде со старыми серверами IBM (процессоры Xeon x56xx, E5-26xx v1):

Теперь наша задача  — понять, насколько критичны данные компоненты для функционирования, есть ли для них драйверы в формате Native Device Driver.

Для понимания общей картины прекращения поддержки устройств следует ознакомиться с КБшечкой и приложениями:

1. Devices deprecated and unsupported in ESXi 7.0 (77304)
   https://kb.vmware.com/s/article/77304?lang=en_US
   https://kb.vmware.com/sfc/servlet.shepherd/version/download/0685G00000SsY5UQAV

Один из серверов нашего стенда — IBM BladeCenter HS23,  в отличие от HS22v и x3650 M2, имеется в VMware HCL (уже убрали 🙁 )! А это значит, что мы можем воспользоваться вышеупомянутым функционалом vLCM проверки хостов черех Updates -> Hardware Compatibility:

Результат удовлетворительный — система на HS23 рабочая для тестовых нужд, но без RAID, который имеет старый тип драйвера. Кусочек успешной проверки на совместимость RAID с ESXi 6.7U3:

Мы у себя не используем локальные диски серверов, а устанавливаем ESXi на USB-накопители/SD-карты. В ESXi 7.0 требования к загрузочным накопителям и раскладка томов изменились, советую ознакомиться со следующей документацией:

1. vSphere 7 – ESXi System Storage Changes
2. vSphere 7 – System Storage When Upgrading
3. Installing ESXi on a supported USB flash drive or SD flash card (2004784)
4. Running ESXi in “Degraded Mode”, what does that mean?
5. Removal of SD card/USB as a standalone boot device option (85685)
6. Boot option to configure the size of ESXi system partitions (81166)
7. Potential VMFS-L Locker partition corruption on SD cards in ESXi 7.0 (83376)
8. Storage Requirements for ESXi 7.0 Installation or Upgrade
9. Approved Flash Devices

В итоге, мы можем использовать IBM BC HS23 в качестве стенда для ESXi 7.0, а вот серверы на процессорах Intel Xeon _56xx пора списывать — их время ушло.

P.S. Для Intel Xeon _56xx остаётся чит, но это сильно на любителя, также без правки конфигурационных файлов он работает только до перезагрузки сервера. Скорее всего будут проблемы и с драйверами.

Update 03082020. Проверка совместимости с помощью образа ESXi 7.0

Для определения Device ID неподдерживаемых устройств в vCenter 7.0 vLCM добавляем ISO с ESXi 7.0, делаем ATTACH Baseline с образом, запускаем CHECK COMPLIANCE, смотрим на ошибки и варианты решения:

1. The upgrade has VIBs that are missing dependencies: перечисление VIB’ов
   • Взять Custom-образ от производителя
   • или собрать свой Custom-образ,
   • или удалить VIB (если это не драйверы сетевых карт) и заново запустить обновление.
2. The boot disk has a size of 1024MB, the minimum requirement of the upgrade image is 3814MB.
   • Заменить загрузочный диск на большего размера — не менее 8 ГБ ( 4 ГБ можно использовать только при обновлении с 6.7, в данном случае проще поставить ESXi 7.0 с нуля, а это потребует 8 ГБ).
3. Unsupported devices [перечисление Device ID] found on the host.
   • Необходимо понять сможете ли жить без этого контроллера — устройство по идентификатору, обычно, легко ищется. Например, если итак RAID не используется, то теперь его не будет в ОС совсем. Некоторые контроллеры имеют неподдерживаемые драйверы, проверяйте, что они в модели NDD.

Update 04082020. Поддержка гигабитных карт Intel типа NE1000

1-гигабитные карты Intel c драйвером NE1000 перестали поддерживаться VMware в официальном канале и ушли на поддержку в community. Драйвер можно взять по ссылке из статьи Enhancements to the community ne1000 VIB for Intel NUC 10, а инструкция по установке приведена в How to patch Intel NUC 10 with latest ESXi 7.0 update?