Записки о виртуализации и о жизни
Однажды поручили разработать нам DRP (Disaster Recovery Plan) – План восстановления деятельности после кризисной ситуации. План как план, таких мильон.
Но один раздел запал мне в душу – Порядок восстановления ИТ-инфраструктуры.
В моём видении, базирующемся на опыте переездов ЦОДов, порядок получился таким: Continue reading “Порядок восстановления ИТ-инфраструктуры”
Рекомендую подписаться на следующие группы в Telegram для получения широкой экспертной поддержки:
При вступлении в группы осмотритесь, оцените обстановку и не забудьте ознакомиться с правилами задавания вопросов.
В платформе VMware vSphere 6.7 появилась технология vSphere(ESXi) Quick Boot, предназначенная для быстрой перезагрузки ESXi хостов во время обновлений с помощью vSphere Update Manager.
Технология требует соблюдения нескольких условий, описанных в БЗ Understanding ESXi Quick Boot Compatibility (52477):
В vSphere 7.0 третье ограничение снято, а четвертое отсутствует архитектурно.
Для проверки можно использовать локальный скрипт, выводящие информацию о совместимости модели сервера и драйверов:
|
1 |
/usr/lib/vmware/loadesx/bin/loadESXCheckCompat.py |
Пример вывода на стендовом хосте:
|
1 2 3 |
LoadESX is not compatible with vmkLinux drivers. This platform (IBM:System x3650 M2 -[794744G]-) is not compatible with loadESX. Compatibility check failed: violating one or more strict requirements (loadESX is not supported on this machine) |
Для быстрого обновления хостов технология включается в vSphere 7+ Menu->Lifecycle Manager-> Images/Baselines Remediation Settings->Quick Boot. Сокращение времени установки равно времени проверок UEFI при полной перезагрузке хоста.
Также меня заинтересовала возможность быстрой перезагрузки хостов без применения обновлений, поиск в интернете выявил два схожих варианта.
|
1 2 3 |
/bin/loadESXEnable -e /usr/lib/vmware/loadesx/bin/loadESX.py reboot |
|
1 2 3 |
/bin/loadESXEnable -e /usr/lib/vmware/loadesx/bin/loadESXShutdown.sh prepare reboot |
Прошу проголосовать за добавление функционала в графический интерфейс на портале по сбору идей vSphere Ideas, авторизация стандартная от vmware.com.
Цикл статей о борьбе с VMware vSphere 7.0 продолжается. Читайте содержимое предыдущих серий:
Обновление IBM/LENOVO System X M5 Embedded Hypervisor on SD-card до версии ESXi 7.0
Снимки ВМ и NetApp FAS ONTAP
Самая жёсткая проблема, с которой столкнулись — это переход LUN’ов на системе хранения NetApp FAS в режим Offline при попытке сделать снимок из-под vSphere 7.0 с ошибкой “Out of space”.
Предположительно, проблема связана с All Flash LUN’ами, созданными в ONTAP версии 9.1 или 9.2. Проблема наблюдается в ONTAP 9.7P4, более поздние патчи не проверяли.
Для нас пока закончилось падением пары продуктивных баз данных при инициации резервного копирования.
Решение проблемы:
vLCM Image и Intel VMD NVMe Driver
Самая весёлая проблема, которая убила кучу времени.
При переводе кластеров с модели обновления Baseline на модель обновления Image поймали отличный конфликт компонентов там, где не ожидали.
Про драйвер читать в статье:
На текущий момент в VSAN HCL рекомендуется версия драйвера intel-nvme-vmd-2.0.0.1146, в стандартном же образе зашит другой драйвер iavmd 2.0.0.1055-3vmw.700.1.0.15843807. При попытке собрать образ, совместимый с VSAN HCL получаем невозможность установить компоненты HA. Валят скопом такие ошибки:
Решение проблемы:
В итоге, проходим проверку на VSAN HCL и получаем Warning при проверке Image Compliance.
Update 11092020. 10.09.2020 драйвер iavmd 2.0.0.1055-3vmw.700 добавлен в VSAN HCL.
Image не накатывается на хосты
Ещё одна весёлая проблема, при попытке пройти проверку или накатить Image получаем шедевральную ошибку:
Unknown error occurred when invoking host API.
Самое тупое решение:
Не работает vLCM Image Export
Для переноса сборки Image между кластерами или vCenter разработчики предусмотрели вариант выгрузки собранной вами конструкции.
Существует три варианта экспорта:
А теперь о проблеме: если вы используете свои сертификаты, то ни одна опция не работает, происходит ошибка браузера “ERR_SSL_PROTOCOL_ERROR”.
Решение проблемы, конкурирующие с предыдущим по интеллектуальности и попахивает уязвимостью (неавторизованный доступ):
Семейство серверов IBM/LENOVO System X серии M5 может иметь предустановленный Embedded Hypervisor на SD-карте с совместимой версией ESXi 6.x.
При попытке обновиться до версии ESXi 7.0 выходит ошибка:
|
1 |
<em>The boot disk has a size of 1024MB, the minimum requirement of the upgrade image is 3814MB.</em> |
Управление SD-картой осуществляется в интерфейсе IMM2. Анализ адаптера показывает, что в реальности используются 32 ГБ карты, но на заводе создан виртуальный диск на 1 ГБ. Расширение размеров не поддерживается.
Для установки ESXi 7.0 придётся прибегнуть к обходной схеме:
P.S. Возможно, данная проблема встречается и на серверах других производителей с предустановленным гипервизором.
Disclaimer: все дальнейшие рассуждения и действия не соответствуют политике технической поддержки VMware. Любое использование оборудования вне VMware HCL может быть использовано только на свой страх и риск. В статье рассматривается только то оборудование, на котором возможен технический запуск ESXi 6.7U3.
В связи с выходом платформы VMware vSphere 7.0 виртуальные системные администраторы стали анализировать возможность обновления либо внедрения данного продукта.
Если проблемы с vCenter 7.0 вполне решаемы и описаны в нашей статье Обновление VMware vCenter с версии 6.7 до 7.0, то с ESXi 7.0 всё не так просто.
Для “упрощения” работы администраторов VMware расширила функциональность Update Manager (VUM) полуавтоматическим анализом оборудования: сверкой моделей серверов с HCL, проверкой версий прошивок и драйверов компонентов. Данная функциональность уже была частично представлена в VSAN [Skyline] Health Hardware compatibility для дисковой подсистемы. Новая версия VUM стала называться vSphere Lifecycle Manager (vLCM). Для загрузки HCL следует в административном интерфейсе нажать ACTIONS->Sync HCL.
Мои ожидания от vLCM были примерно такие – запускаю на хосте Updates -> Hardware Compatibility и система пишет, что оборудование не в HCL, такие-то компоненты не имеют драйверов и не будут работать. В реальности, если сервер не в HCL, то на этом проверка останавливается:
Host model is not compatible with ESXi 7.0
Skipped checking host devices.
Что как бы нас совершенно не устраивает, так как наша цель – запуститься вне HCL, и хотелось бы понимать какие компоненты не имеют драйверов и поддержки.
Поэтому с компонентами придётся разбираться самостоятельно. Continue reading “VMware ESXi 7.0 и неподдерживаемое оборудование”
Всем привет!
HPE выпустила онлайн-утилиту по анализу конфигурации и прошивок для массивов MSA, начиная с третьего поколения (HPE MSA P2000 G3).
Собираете логи массива, загружаете на портал и “вжух” – получаете набор рекомендаций по настройкам и прошивкам.
Ниже я привожу выдержки из отчёта с одной из моих MSA:
Вышла версия 2.80 бесплатного мониторинга систем хранения Stor2RRD.
Поддержка новых систем хранения, ПО и функций:
Dmitriy Shevchenko прислал продолжение цикла инструкций по настройке NVMe-oF. Сегодня речь пойдёт об операционной системе RHEL.
Перечень оборудования и ПО
Система хранения: Netapp AFF A320, версия ПО ONTAP Release 9.7P1.
Коммутаторы сети хранения данных: Switch Brocade 6505 16Gb 24 Port 2шт. FW 8.2.1c.
Серверы: Fujitsu PRIMERGY RX2530 M5 c FC адаптерами Broadcom (EMULEX) LPe32002 версия FW 12.6.240.22 (рекомендованная в матрице совместимости Netapp).
Операционная система: Red Hat Enterprise Linux release 8.1 (Ootpa) (Примечание: в 8.2 с установкой драйверов, были проблемы, нет ключа -n).
Предварительная подготовка
|
1 2 |
# cat /etc/redhat-release Red Hat Enterprise Linux release 8.1 (Ootpa) |
В связи с выходом VMware vSphere 7.0 стала доступна технология NVMe over Fabric (NVMe-oF) для управления операциями с накопителями и передачи данных по протоколу NVMe вместо SCSI.
Dmitriy Shevchenko прислал инструкцию, которую мы сегодня и публикуем.
Перечень оборудования и ПО
Система хранения: Netapp AFF A320; версия ПО: ONTAP Release 9.7P1.
Коммутаторы сети хранения данных: Brocade 6505 16Gb 24 Port 2 шт. ; FOS FW 8.2.1c.
Сервер: Fujitsu PRIMERGY RX2530 M5 c FC-адаптерами Broadcom (EMULEX) LPe32002, версия FW 12.4.243.17 (рекомендованная в матрице совместимости Netapp).
Гипервизор: ESXi-7.0.0-15843807.
Схема подключения: Continue reading “Настройка NVMe-oF подключения к VMware vSphere 7.0”