Category: 7.0

Релиз VMware vSphere 7.0 update 1c

Вышло очередное обновление платформы VMware vSphere 7.0 до версии update 1c.

Теперь даже в минорных обновлениях есть интересные вещи.

Новое в vCenter Server 7.0 Update 1c (заметка о релизе):

  • Статистика физических сетевых карт: добавлено пять статистик физических сетевых карт: dropRx, dropTx, errorsRx, RxCRCErrors и errorsTx в /var/run/log/hostd.log для обнаружения сетевых ошибок и принятия мер по их устранению.
  • Advanced Cross vCenter vMotion: в vSphere Client можно использовать функцию Advanced Cross vCenter vMotion для управления массовым переносом рабочих нагрузок между системами vCenter Server в различных доменах vCenter Single Sign-On. Функция Advanced Cross vCenter vMotion не зависит от режима vCenter Enhanced Linked Mode или Hybrid Linked Mode и работает как для локальных, так и для облачных сред. Advanced Cross vCenter vMotion облегчает переход с VMware Cloud Foundation 3 на версию 4, которая включает vSphere с Tanzu Kubernetes Grid, и предоставляет унифицированную платформу как для виртуальных машин, так и для контейнеров, позволяя операторам обеспечивать инициализацию кластеров Kubernetes с vCenter Server. Эта функция также обеспечивает плавный переход на последнюю версию vCenter Server за счет упрощения переноса рабочей нагрузки с любого экземпляра vCenter Server 6.x или более поздней версии.
  • Параллельный накат обновлений на хосты в кластерах, управляемых с помощью базовых линий(baseline) vSphere Lifecycle Manager: можно запускать параллельный накат обновлений на ESXi-хосты в режиме обслуживания в кластерах, управляемых с помощью базовых линий vSphere Lifecycle Manager.
  • Подключаемые модули сторонних производителей для управления службами на платформе vSAN Data Persistence:  можно включить сторонние подключаемые модули для управления службами на платформе vSAN Data Persistence из vSphere Client аналогично управлению vCenter Server.

Новое в VMware ESXi 7.0 Update 1c (заметка о релизе)

  • Расширена поддержка vSphere Quick Boot на серверах Cisco, DELL, HPE.
  • Можно использовать параметр –remote-host-max-msg-len, чтобы установить максимальную длину сообщений syslog до 16 КиБ, прежде, чем они должны быть разделены. По умолчанию, демон ESXi syslog (vmsyslogd) строго придерживается максимальной длины сообщения в 1 КиБ, установленной RFC 3164. Более длинные сообщения разбиваются на несколько частей. Установите максимальную длину сообщения до размера не более минимальной длины, поддерживаемой любым из syslog-приемников или ретрансляторов, участвующих в syslog-инфраструктуре.
  • Можно использовать опцию загрузки программы установки systemMediaSize для ограничения размера разделов системного хранилища на загрузочном носителе. Если ваша система занимает мало места и не требует максимального размера системного хранилища 138 ГБ, вы можете ограничить его до минимума 33 ГБ. Параметр systemMediaSize может принимать следующие значения:
    1. min (33 ГБ, для однодисковых или встроенных серверов);
    2. small (69 ГБ, для серверов с не менее, чем 512 ГБ оперативной памяти);
    3. default (138 ГБ);
    4. max (потреблять все доступное пространство, для многотерабайтных серверов).

    Выбранное значение должно соответствовать назначению вашей системы. Например, система с 1 ТБ памяти должна использовать минимум 69 ГБ для системного хранения. Чтобы установить параметр загрузки во время установки, например, systemMediaSize=small, обратитесь к разделу  Enter Boot Options to Start an Installation or Upgrade Script , а также к БЗ статье 81166.

Обновление ESXi до версии 7.0 update 1

После обновления пилотного VMware vCenter начали обновлять прочие управляющие серверы и гипервизоры.

Обновление VCSA 7.0 до update 1 или тренировка восстановления с резервной копии

Обновление Veeam Backup&Replication

Как раз на днях вышло обновление для Veeam Backup&Replication повышающий совместимость с vSphere 7.0 update 1 – Release notes for Veeam Backup & Replication 10a Cumulative Patch 20201202:

  • Поддержка VMware vSphere 7.0 U1, включая обновление  vSphere API; поддержка ВМ с vHW версии 18 и автоматического исключение служебных ВМ vSphere Clustering Service (vCLS), обеспечивающих работу DRS (почему-то в KB написано, что они нужны для High Availability, но в данный момент это не так).

Накопители на USB-флеш,  SD Card, дешёвые M.2

В ESXi 7.0 требования к загрузочным накопителям и раскладка томов изменились, советую ознакомиться со следующей документацией:

  1. vSphere 7 – ESXi System Storage Changes
  2. vSphere 7 – System Storage When Upgrading
  3. Installing ESXi on a supported USB flash drive or SD flash card (2004784)
  4. Running ESXi in “Degraded Mode”, what does that mean?
  5. ESXi Hardware Requirements

Теперь размещение ESXi рекомендуется только на надёжных носителях.

Мы продолжаем использовать ненадёжные, что привело к проблемам, например, к откату на резервный bootbank.

Для решения проблемы используем 2 решения:

  1. Bootbank loads in /tmp/ after reboot of ESXi 7.0 Update 1 host (2149444)
  2. Configuring ESXi coredump to file instead of partition (2077516)

Обновление VCSA 7.0 до update 1 или тренировка восстановления с резервной копии

Недавно мы писали о выходе нового обновления для vSphere 7.0

Релиз VMware vSphere 7.0 update 1

И вот, встав не с той ноги, решили обновить VCSA в нашей инфраструктуре Horizon.

Облом с обновлением через GUI

Как у нас заведено, сделали снимок ВМ VCSA с оперативной памятью и запустили в GUI обновление, аналогично

Обновление одиночного VMware vCenter 6.7

Как это бывает с GUI, обновление не завершилось:

Статусы служб при попытке пнуть вручную:

Решили откатить снимок и запустить обновление с CLI, но vpxd был с нами не согласен:

Предположительно, во время снятия снимка Horizon клепал ВМ и мы попали в конфликт записей о ВМ.

Грабли при восстановлении VCSA с file-based резервной копии

Сделав несколько вздохов, приступили к восстановлению из резервной копии. На всякий случай, прогулялись по граблям:

  1. ВМ VCSA привязали к обычным портгруппам vDS, соответственно, сетка попала в пустоту. Исправили, переключив на ephemeral.
  2. Стали накатывать резервную копию, оказалось, номер сборки vCenter не совпал с резервной копией. Скачали нужный, переразвернули VCSA.
  3. При повторном накате опять получили ошибку, что не совпадает deployment size – мы выбрали medium, а был другой. Посмотрели конфигурацию старой ВМ, переразвернули VCSA в large.

Обновление VCSA с CLI

Как обновлять с помощью ISO в CLI описано в статье

Обновление VMware vCenter 6.7 в конфигурации HA

В этот же раз мы обновляли с URL:

Релиз VMware vSphere 7.0 update 1

Релиз VMware vSphere 7.0 update 1:

VMware vSphere Hypervisor (ESXi) 7.0U1 [Release Notes] [Download]
VMware vCenter Server 7.0U1 [Release Notes] [Download]
VMware vRealize Automation 8.2.0 [Release Notes] [Download]
VMware vRealize Orchestrator Appliance 8.2.0 [Release Notes] [Download]
VMware vRealize Operations 8.2.0 [Release Notes] [Download]
VMware vRealize Log Insight 8.2.0 [Release Notes] [Download]
VMware vRealize Suite Lifecycle Manager 8.2.0 [Release Notes] [Download]

Анонс VMware vSphere 7 Update 1, vSAN 7 Update 1 и Cloud Foundation 4.1

VMware vSphere Quick (Re)Boot

В платформе VMware vSphere 6.7 появилась технология vSphere(ESXi) Quick Boot, предназначенная для быстрой перезагрузки ESXi хостов во время обновлений с помощью vSphere Update Manager.

Технология требует соблюдения нескольких условий, описанных в БЗ Understanding ESXi Quick Boot Compatibility (52477):

  1. Модель сервера находится в VMware HCL (функция QuickBoot для ESXi 7.0+)  либо хранится локально в ESXi 6.7 в текстовых файлах.
  2. Выключена технология TPM.
  3. Нет passthru-устройств, подключенных к ВМ с хоста.
  4. Не загружены vmklinux-драйверы на хосте.

В vSphere 7.0 третье ограничение снято, а четвертое отсутствует архитектурно.

Для проверки можно использовать локальный скрипт, выводящие информацию о совместимости модели сервера и драйверов:

Пример вывода на стендовом хосте:

Для быстрого обновления хостов технология включается в vSphere 7+ Menu->Lifecycle Manager-> Images/Baselines Remediation Settings->Quick Boot. Сокращение времени установки равно времени проверок UEFI при полной перезагрузке хоста.

Также меня заинтересовала возможность быстрой перезагрузки хостов без применения обновлений, поиск в интернете выявил два схожих варианта.

Вариант с Reddit:

Вариант от Jiří Viktorin:

Прошу проголосовать за добавление функционала в графический интерфейс на портале по сбору идей vSphere Ideas, авторизация стандартная от vmware.com.

Анонс VMware vSphere 7 Update 1, vSAN 7 Update 1 и Cloud Foundation 4.1

Компания VMware сегодня анонсирует обновления своих инфраструктурных продуктов VMware vSphere 7 Update 1, VMware vSAN 7 Update 1 и VMware Cloud Foundation 4.1:

  • МонстроВМ – vSphere 7 Update 1 поддерживает ВМ до 24 ТБ ОЗУ и до 768 вЦПУ для расширения поддержки база данных, работающих целиком в памяти.
  • Cluster Scale Enhancements – в vSphere 7 Update 1 расширена поддержка кластеров на 50% – до 96 узлов в кластере.
  • HCI Mesh – в vSAN 7 Update 1 представлен HCI Mesh,предназначен для разделения вычислительных мощностей и ресурсов хранения, что позволит планомерно масштабировать инфраструктуру в течение длительного периода. Теперь можно использовать хранилища с чужих VSAN-кластеров, при наличии лицензий.
  • Compression-Only Option – vSAN 7 Update 1 разрешает использовать компрессию без дедупликации, скорость должна вырасти ;).
  • Enterprise-Ready File Services – vSAN 7 Update 1 поддерживает протоколы SMB v3 и v2.1. vSAN File Services получил интеграцию с Active Directory и аутентификацию по Kerberos.
  • Remote Clusters – новая возможность для управления удаленными кластерами в  VMware Cloud Foundation 4.1 расширяет операционные возможности на периметральных локациях и в филиалах.
  • vVols Integration – новая интеграция vVols в VMware Cloud Foundation 4.1 с Tanzu предоставляет единый фреймворк для работы с внешними хранилищами.
  • VMware Skyline Support for VMware Cloud Foundation – проактивный анализ VMware Skyline теперь и в VMware Cloud Foundation.

Update 16092020

Запись вебинара на русском языке

https://cormachogan.com/2020/09/15/vsan-7-0u1-whats-new/

All About vSphere 7 U1 Features

Introducing VMware vSphere and vSAN 7 Update 1 and VCF 4.1

What’s new for vSAN 7.0 U1!?

vSphere 7 Update 1 – vSphere Lifecycle Manager Improvements

vSphere 7 Update 1 – AMD SEV-ES

What’s New with VMware vSphere 7 Update 1

Announcing vSAN Data Persistence Platform

What’s New in vSAN 7 Update 1

Хождение по граблям VMware vSphere 7.0

Цикл статей о борьбе с VMware vSphere 7.0 продолжается. Читайте содержимое предыдущих серий:

Обновление IBM/LENOVO System X M5 Embedded Hypervisor on SD-card до версии ESXi 7.0

Обновление VMware vCenter с версии 6.7 до 7.0

VMware ESXi 7.0 и неподдерживаемое оборудование

Снимки ВМ и NetApp FAS ONTAP

Самая жёсткая проблема, с которой столкнулись — это переход LUN’ов на системе хранения NetApp FAS в режим Offline при попытке сделать снимок из-под vSphere 7.0 с ошибкой “Out of space”.

Предположительно, проблема связана с All Flash LUN’ами, созданными в ONTAP версии 9.1 или 9.2. Проблема наблюдается в ONTAP 9.7P4, более поздние патчи не проверяли.

Для нас пока закончилось падением пары продуктивных баз данных при инициации резервного копирования.

Решение проблемы:

  1. Вернуть LUN в Online.
  2. Если при Rescan Storage не вернулось DataStore на хостах, то перезагрузить хосты.
  3. Смигрировать ВМ на другой LUN.
  4. Пересоздать проблемный LUN (*либо устранить корневую причину).
  5. Смигрировать ВМ обратно.

vLCM Image и Intel VMD NVMe Driver

Самая весёлая проблема, которая убила кучу времени.

При переводе кластеров с модели обновления Baseline на модель обновления Image поймали отличный конфликт компонентов там, где не ожидали.

Про драйвер читать в статье:

VMware ESXi, VSAN и Intel VMD-Enabled NVMe Driver

На текущий момент в VSAN HCL рекомендуется версия драйвера intel-nvme-vmd-2.0.0.1146, в стандартном же образе зашит другой драйвер iavmd 2.0.0.1055-3vmw.700.1.0.15843807. При попытке собрать образ, совместимый с VSAN HCL получаем невозможность установить компоненты HA. Валят скопом такие ошибки:

  • vSphere HA host status/Cannot find HA master agent
  • vSphere HA agent for this host has an error: vSphere HA agent cannot be installed or configured
  • Component vsphere-fdm cannot be found in depot
  • ‘vxd’ service, runnig on ‘cluster’, reported issue: The HA constraints in the image spec have version whereas the expected version is 7.0.0.-16386338

Решение проблемы:

  1. Отключить HA.
  2. Добавить в image драйвер intel-nvme-vmd-2.0.0.1146.
  3. Накатить на  хост image.
  4. Убрать из image intel-nvme-vmd-2.0.0.1146.
  5. Включить HA.

В итоге, проходим проверку на VSAN HCL и получаем Warning при проверке Image Compliance.

Update 11092020. 10.09.2020 драйвер iavmd 2.0.0.1055-3vmw.700 добавлен в VSAN HCL.

Image не накатывается на хосты

Ещё одна весёлая проблема, при попытке пройти проверку или накатить Image получаем шедевральную ошибку:

Unknown error occurred when invoking host API.

Самое тупое решение:

  1. Cделать сброс БД менеджера обновлений —  Resetting VMware Update Manager Database on a vCenter Server Appliance 6.5/6.7/7.0 (2147284).
  2. Перезагрузить хост.
  3. Запустить обновление снова.

Не работает vLCM Image Export

Для переноса сборки Image между кластерами или vCenter разработчики предусмотрели вариант выгрузки собранной вами конструкции.

Существует три варианта экспорта:

А теперь о проблеме: если вы используете свои сертификаты, то ни одна опция не работает, происходит ошибка браузера “ERR_SSL_PROTOCOL_ERROR”.

Решение проблемы, конкурирующие с предыдущим по интеллектуальности и попахивает уязвимостью (неавторизованный доступ):

  1. Скопировать ссылку из адресной строки браузера.
  2. Открыть приватное окно.
  3. Вставить ссылку в адресную строку.
  4. Заменить протокол с https на http и получить ожидаемое.

Обновление IBM/LENOVO System X M5 Embedded Hypervisor on SD-card до версии ESXi 7.0

Семейство серверов IBM/LENOVO System X  серии M5 может иметь предустановленный Embedded Hypervisor на SD-карте с совместимой версией ESXi 6.x.

При попытке обновиться до версии ESXi 7.0 выходит ошибка:

Управление SD-картой осуществляется в интерфейсе IMM2. Анализ адаптера показывает, что в реальности используются 32 ГБ карты, но на заводе создан виртуальный диск на 1 ГБ. Расширение размеров не поддерживается.

Для установки ESXi 7.0 придётся прибегнуть к обходной схеме:

  1. Сделать резервную копию конфигурации ESXi – подробно описано в How to back up ESXi host configuration (2042141).
  2. Переформатировать SD-карту на 30 ГБ (максимально доступный размер).
  3. Установить чистый ESXi 6.x (версии, с которой снята резервная копия).
  4. Настроить сеть.
  5. Восстановить из резервной копии конфигурации по инструкции из пункта 1.
  6. Накатить обновление до ESXi 7.x.

P.S. Возможно, данная проблема встречается и на серверах других производителей с предустановленным гипервизором.

VMware ESXi 7.0 и неподдерживаемое оборудование

Disclaimer:  все дальнейшие рассуждения и действия не соответствуют политике технической поддержки VMware. Любое использование оборудования вне VMware HCL может быть использовано только на свой страх и риск. В статье рассматривается только то оборудование, на котором возможен технический запуск ESXi 6.7U3.

В связи с выходом платформы VMware vSphere 7.0 виртуальные системные администраторы стали анализировать возможность обновления либо внедрения данного продукта.

Если проблемы с vCenter 7.0 вполне решаемы и описаны в нашей статье Обновление VMware vCenter с версии 6.7 до 7.0, то с ESXi 7.0 всё не так просто.

Для “упрощения” работы администраторов VMware расширила функциональность Update Manager (VUM) полуавтоматическим анализом оборудования: сверкой моделей серверов с HCL, проверкой версий прошивок и драйверов компонентов. Данная функциональность уже была частично представлена  в VSAN [Skyline] Health Hardware compatibility для дисковой подсистемы. Новая версия VUM стала называться vSphere Lifecycle Manager (vLCM). Для загрузки HCL следует в административном интерфейсе нажать ACTIONS->Sync HCL.

Мои ожидания от vLCM были примерно такие – запускаю на хосте Updates -> Hardware Compatibility и система пишет, что оборудование не в HCL, такие-то компоненты не имеют драйверов и не будут работать. В реальности, если сервер не в HCL, то на этом проверка останавливается:

Host model is not compatible with ESXi 7.0
Skipped checking host devices.

Что как бы нас совершенно не устраивает, так как наша цель – запуститься вне HCL, и хотелось бы понимать какие компоненты не имеют драйверов и поддержки.

Поэтому с компонентами придётся разбираться самостоятельно. Continue reading “VMware ESXi 7.0 и неподдерживаемое оборудование”

Обновление VMware vCenter с версии 6.7 до 7.0

Дождавшись выхода VMware vSphere 7.0.0b, мы решились на обновление нашей инфраструктуры, построенной на платформе версии 6.7.

Для уменьшения количества граблей внимательно прочитали следующие документы:

Проблема с сертификатами

При попытке обновления вылезла ошибка с сертификатами:

Error: A vCenter Single Sign-On endpoint certificate validation error has occurred.
Resolution: Ensure that the endpoint service registrations in vmdir match their corrsponding machine SSL certificates in VECS. For more information, see Knowledge Base article KB 2121701

Как это бывает, КБшка не помогла, как и не помог совет в форуме VMware.

Обратились в ТП VMware, получили волшебный скрипт и инструкцию: ls_ssltrust_fixer_p3.

  1. Проверить наличие актуальной резервной копии и сделать snapshot.
  2. Подключиться к vCenter по SSH.
  3. Скопировать “ls_ssltrust_fixer.py” в папку /usr/lib/vmidentity/tools/scripts (например, с помощью WinSCP).
    1. Перейти в папку:
    2. Изменить права:
  4. Выполнить проверку ошибок “certificate thumbprint mismatch” с помощью команды:
  5. Выполнить исправление ошибок “certificate thumbprint mismatch” с помощью команды:

После магических пасов руками vCenter обновился.

Проблема с vLCM

Зная рецепт, обновили несколько vCenter и получили разную функциональность в обновлении Update Manager – vSphere Lifecycle Manager (vLCM). Местами он категорически отказывался показывать Image Depot и видеть обновления для ESXi 7.0. Недолго думая, мы решили сделать сброс БД, чтобы заодно её почистить от компонентов для ESXi6.0 –  Resetting VMware Update Manager Database on a vCenter Server Appliance 6.5/6.7/7.0 (2147284). Это исправило “видимость” семёрочных обновлений.

Проблема с безагентской антивирусной проверкой

Для безагентской антивирусной проверки требуются компоненты VMware NSX Data Center for vSphere, поддержка которого не была заявлена (вышел новый продукт) при релизе vSphere 7.0. Но, VMware одумалась и в этом месяце всё таки выпустила патч версии 6.4.7.

Проблема с плагином Veeam BR

Также отвалился плагин для Veeam BR – порешалось переустановкой.

P.S. В придачу слетел файловый бэкап vCenter ;). Требуется перенастройка.