Обновление VCSA 7.0 до update 1 или тренировка восстановления с резервной копии

Недавно мы писали о выходе нового обновления для vSphere 7.0

Релиз VMware vSphere 7.0 update 1

И вот, встав не с той ноги, решили обновить VCSA в нашей инфраструктуре Horizon.

Облом с обновлением через GUI

Как у нас заведено, сделали снимок ВМ VCSA с оперативной памятью и запустили в GUI обновление, аналогично

Обновление одиночного VMware vCenter 6.7

Как это бывает с GUI, обновление не завершилось:

Data conversion/Post install hook failed

Статусы служб при попытке пнуть вручную:

Service-control failed. Error: Failed to start services in profile ALL. RC=5, stderr=Failed to start eam, vsphere-ui, analytics, lookupsvc, applmgmt, vmware-postgres-archiver, vtsdb services. Error: Operation not allowed in current service state

Решили откатить снимок и запустить обновление с CLI, но vpxd был с нами не согласен:

10:53
020-11-05T05:52:27.046Z error vpxd[25938] [Originator@6876 sub=Default opID=HB-host-103@780911-5fc80db7] An unrecoverable problem has occurred, stopping the VMware VirtualCenter service. Error: Error[VdbODBCError] (-1) "ODBC error: (23505) - ERROR: duplicate key value violates unique constraint "pk_n_vm_config_info";
--> Error while executing the query" is returned when executing SQL statement "INSERT INTO VPX_NON_ORM_VM_CONFIG_INFO (ID,CHANGE_VERSION,CHANGE_TRACKING_ENABLED,CPU_HOT_ADD_ENABLED,CPU_HOT_REMOVE_ENABLED,MEM_HOT_ADD_ENABLED,HARDWARE_NUM,HARDWARE_MEMORY,HARDWARE_CORES,VIRTUAL_ICH7M_PRESENT,VIRTUAL_SMC_PRESENT,TOOLS_BEFORE_GUEST_STANDBY_FLG,TOOLS_BEFORE_GUESTSHUTDOWN_FLG,TOOLS_TOOLS_UPGRADE_POLICY,TOOLS_AFTER_RESUME_FLG,TOOLS_AFTER_POWER_ON_FLG,TOOLS_SYNC_TIME_WITH_HOST_FLG,TOOLS_TOOLS_VERSION,TOOLS_LASTINSTALL_COUNTER,GUEST_FULL_NAME,INSTANCE_UUID,UUID,ANNOTATION,VERSION,TEMPLATE_FLG,M" 
2020-11-05T05:52:27.051Z panic vpxd[25938] [Originator@6876 sub=Default opID=HB-host-103@780911-5fc80db7]
-->

Предположительно, во время снятия снимка Horizon клепал ВМ и мы попали в конфликт записей о ВМ.

Грабли при восстановлении VCSA с file-based резервной копии

Сделав несколько вздохов, приступили к восстановлению из резервной копии. На всякий случай, прогулялись по граблям:

  1. ВМ VCSA привязали к обычным портгруппам vDS, соответственно, сетка попала в пустоту. Исправили, переключив на ephemeral.
  2. Стали накатывать резервную копию, оказалось, номер сборки vCenter не совпал с резервной копией. Скачали нужный, переразвернули VCSA.
  3. При повторном накате опять получили ошибку, что не совпадает deployment size — мы выбрали medium, а был другой. Посмотрели конфигурацию старой ВМ, переразвернули VCSA в large.

Обновление VCSA с CLI

Как обновлять с помощью ISO в CLI описано в статье

Обновление VMware vCenter 6.7 в конфигурации HA

В этот же раз мы обновляли с URL:

software-packages stage --url https://vapp-updates.vmware.com/vai-catalog/valm/vmw/8d167796-34d5-4899-be0a-6daade4005a3/7.0.0.10400.latest/ --acceptEulas

software-packages list --staged

software-packages install --staged

reboot
Рубрика: 7.0, VMware, vSphere, Статьи | 3 комментария

Что я успел глянуть на VMworld 2020?

Пару недель назад прошёл VMworld 2020. Было порядка 900 сессий, из которых я успел посмотреть малую малость.

Про просьбе трудящихся публикую плейлист (видео требовали регистрацию, PDF — нет):

Рубрика: Horizon, VMware, vSphere, Новости | Оставить комментарий

Релиз VMware vSphere 7.0 update 1

Релиз VMware vSphere 7.0 update 1:

VMware vSphere Hypervisor (ESXi) 7.0U1 [Release Notes] [Download]
VMware vCenter Server 7.0U1 [Release Notes] [Download]
VMware vRealize Automation 8.2.0 [Release Notes] [Download]
VMware vRealize Orchestrator Appliance 8.2.0 [Release Notes] [Download]
VMware vRealize Operations 8.2.0 [Release Notes] [Download]
VMware vRealize Log Insight 8.2.0 [Release Notes] [Download]
VMware vRealize Suite Lifecycle Manager 8.2.0 [Release Notes] [Download]

Анонс VMware vSphere 7 Update 1, vSAN 7 Update 1 и Cloud Foundation 4.1

Рубрика: 7.0, VMware, vSphere, Новости | Оставить комментарий

Zerologon check (проверка)

Как вы слышали,  в августе 2020 года была обнаружена критическая уязвимость CVE-2020-1472 в протоколе проверки пользователя контроллером домена.

Критическая она потому, что для эксплуатации этой уязвимости достаточно оказаться в одной сети с контроллером домена.

Microsoft конечно же выпустил обновления, но кто ж их ставит, верно?

В сети есть скрипт, позволяющий провести проверку через эксплуатацию уязвимости, но это вряд ли считается нормальным методом проверки.

Поэтому я написал скрипт, который проверяет наличие требуемых обновлений на контроллерах домена Windows Server 2012 R2.

Список обновлений взят из статьи про уязвимость, а также Catalog MS, указывающего на более новые версии обновлений. В моем списке сентябрьское обновление, два августовских и перекрывающий их апдейт безопасности для Windows 2012 R2.

Обратите внимание, что для Windows 2016/2019 номера апдейтов другие!

Для запуска скрипта требуются права администратора домена, так как скрипт проходит по контроллерам и через WMI получает список установленных обновлений.

$updates="KB4577066","KB4571703","KB4571723","KB4578013";

Get-ADDomainController -filter * | sort name | %{
$result="initial";$hf=$null;
$hf=Get-HotFix -ComputerName $_.name | where{$updates -contains $_.hotfixid};
if($hf -eq $null){$result="WARNING"}
else{$result="";foreach($HFs in $HF){$result+=$HFs.HotfixID+";"}};
$_ | select Name, @{Name="Updates";Expression={$result}}}

Результатом работы скрипта является следующий вывод:

Name           Updates
----           -------
BAD-DC02 WARNING
GOOD-DC01 KB4571723;KB4578013;KB4577066;
GOOD-DC02 KB4571723;KB4578013;KB4577066;
MEDI-DC02 KB4571723;KB4571703;
MEDI-DC03 KB4578013;KB4571703;

WARNING означает, что нужно срочно бежать и ставить обновления.

Наличие сентябрьского обновления означает, что вы молодцы. Наличие августовских — ну не безнадежны, по крайней мере :-).

Рубрика: Domain Controller, Microsoft | Метки: | 2 комментария

VCP:DCV2020 от Veeam

Наш спонсор, Veeam, выпустил обновленную версию неофициального гайда по подготовке к экзамену VMware Certified Professional on DataCenter Virtualization (VCP:DCV2020).

Данный гайд является хоть и неофициальным, но достаточно интересным буквариком для подготовки к экзамену.

Руководство подготовлено Shane Williford и Paul Wilk, имеющими общую цифру 2x:

  • Шейн в ИТ более 20 лет;
  • Пол пока не разменял третий десяток 😉

P.S. А еще Пол похож на того мужика, что сует 1С в Кубернетис.

Рубрика: Новости | Метки: , | Оставить комментарий

VMware vSphere Quick (Re)Boot

В платформе VMware vSphere 6.7 появилась технология vSphere(ESXi) Quick Boot, предназначенная для быстрой перезагрузки ESXi хостов во время обновлений с помощью vSphere Update Manager.

Технология требует соблюдения нескольких условий, описанных в БЗ Understanding ESXi Quick Boot Compatibility (52477):

  1. Модель сервера находится в VMware HCL (функция QuickBoot для ESXi 7.0+)  либо хранится локально в ESXi 6.7 в текстовых файлах.
  2. Выключена технология TPM.
  3. Нет passthru-устройств, подключенных к ВМ с хоста.
  4. Не загружены vmklinux-драйверы на хосте.

В vSphere 7.0 третье ограничение снято, а четвертое отсутствует архитектурно.

Для проверки можно использовать локальный скрипт, выводящие информацию о совместимости модели сервера и драйверов:

/usr/lib/vmware/loadesx/bin/loadESXCheckCompat.py

Пример вывода на стендовом хосте:

LoadESX is not compatible with vmkLinux drivers.
This platform (IBM:System x3650 M2 -[794744G]-) is not compatible with loadESX.
Compatibility check failed: violating one or more strict requirements (loadESX is not supported on this machine)

Для быстрого обновления хостов технология включается в vSphere 7+ Menu->Lifecycle Manager-> Images/Baselines Remediation Settings->Quick Boot. Сокращение времени установки равно времени проверок UEFI при полной перезагрузке хоста.

Также меня заинтересовала возможность быстрой перезагрузки хостов без применения обновлений, поиск в интернете выявил два схожих варианта.

Вариант с Reddit:

/bin/loadESXEnable -e
/usr/lib/vmware/loadesx/bin/loadESX.py
reboot

Вариант от Jiří Viktorin:

/bin/loadESXEnable -e
/usr/lib/vmware/loadesx/bin/loadESXShutdown.sh prepare
reboot

Прошу проголосовать за добавление функционала в графический интерфейс на портале по сбору идей vSphere Ideas, авторизация стандартная от vmware.com.

Рубрика: 6.7, 7.0, Cisco, Dell, Hardware, HP, Lenovo, VMware, vSphere, Советы | Оставить комментарий

Анонс VMware vSphere 7 Update 1, vSAN 7 Update 1 и Cloud Foundation 4.1

Компания VMware сегодня анонсирует обновления своих инфраструктурных продуктов VMware vSphere 7 Update 1, VMware vSAN 7 Update 1 и VMware Cloud Foundation 4.1:

  • МонстроВМ – vSphere 7 Update 1 поддерживает ВМ до 24 ТБ ОЗУ и до 768 вЦПУ для расширения поддержки база данных, работающих целиком в памяти.
  • Cluster Scale Enhancements – в vSphere 7 Update 1 расширена поддержка кластеров на 50% – до 96 узлов в кластере.
  • HCI Mesh – в vSAN 7 Update 1 представлен HCI Mesh,предназначен для разделения вычислительных мощностей и ресурсов хранения, что позволит планомерно масштабировать инфраструктуру в течение длительного периода. Теперь можно использовать хранилища с чужих VSAN-кластеров, при наличии лицензий.
  • Compression-Only Option – vSAN 7 Update 1 разрешает использовать компрессию без дедупликации, скорость должна вырасти ;).
  • Enterprise-Ready File Services – vSAN 7 Update 1 поддерживает протоколы SMB v3 и v2.1. vSAN File Services получил интеграцию с Active Directory и аутентификацию по Kerberos.
  • Remote Clusters – новая возможность для управления удаленными кластерами в  VMware Cloud Foundation 4.1 расширяет операционные возможности на периметральных локациях и в филиалах.
  • vVols Integration – новая интеграция vVols в VMware Cloud Foundation 4.1 с Tanzu предоставляет единый фреймворк для работы с внешними хранилищами.
  • VMware Skyline Support for VMware Cloud Foundation – проактивный анализ VMware Skyline теперь и в VMware Cloud Foundation.

Update 16092020

Запись вебинара на русском языке

vSAN 7.0U1 – What’s new?

All About vSphere 7 U1 Features

Introducing VMware vSphere and vSAN 7 Update 1 and VCF 4.1

What’s new for vSAN 7.0 U1!?

vSphere 7 Update 1 – vSphere Lifecycle Manager Improvements

vSphere 7 Update 1 – AMD SEV-ES

What’s New with VMware vSphere 7 Update 1

Announcing vSAN Data Persistence Platform

What’s New in vSAN 7 Update 1

Рубрика: 7.0, VMware, vSphere, Новости | Оставить комментарий

Хождение по граблям VMware vSphere 7.0

Цикл статей о борьбе с VMware vSphere 7.0 продолжается. Читайте содержимое предыдущих серий:

Обновление IBM/LENOVO System X M5 Embedded Hypervisor on SD-card до версии ESXi 7.0

Обновление VMware vCenter с версии 6.7 до 7.0

VMware ESXi 7.0 и неподдерживаемое оборудование

Снимки ВМ и NetApp FAS ONTAP

Самая жёсткая проблема, с которой столкнулись — это переход LUN’ов на системе хранения NetApp FAS в режим Offline при попытке сделать снимок из-под vSphere 7.0 с ошибкой «Out of space».

Предположительно, проблема связана с All Flash LUN’ами, созданными в ONTAP версии 9.1 или 9.2. Проблема наблюдается в ONTAP 9.7P4, более поздние патчи не проверяли.

Для нас пока закончилось падением пары продуктивных баз данных при инициации резервного копирования.

Решение проблемы:

  1. Вернуть LUN в Online.
  2. Если при Rescan Storage не вернулось DataStore на хостах, то перезагрузить хосты.
  3. Смигрировать ВМ на другой LUN.
  4. Пересоздать проблемный LUN (*либо устранить корневую причину).
  5. Смигрировать ВМ обратно.

vLCM Image и Intel VMD NVMe Driver

Самая весёлая проблема, которая убила кучу времени.

При переводе кластеров с модели обновления Baseline на модель обновления Image поймали отличный конфликт компонентов там, где не ожидали.

Про драйвер читать в статье:

VMware ESXi, VSAN и Intel VMD-Enabled NVMe Driver

На текущий момент в VSAN HCL рекомендуется версия драйвера intel-nvme-vmd-2.0.0.1146, в стандартном же образе зашит другой драйвер iavmd 2.0.0.1055-3vmw.700.1.0.15843807. При попытке собрать образ, совместимый с VSAN HCL получаем невозможность установить компоненты HA. Валят скопом такие ошибки:

  • vSphere HA host status/Cannot find HA master agent
  • vSphere HA agent for this host has an error: vSphere HA agent cannot be installed or configured
  • Component vsphere-fdm cannot be found in depot
  • ‘vxd’ service, runnig on ‘cluster’, reported issue: The HA constraints in the image spec have version whereas the expected version is 7.0.0.-16386338

Решение проблемы:

  1. Отключить HA.
  2. Добавить в image драйвер intel-nvme-vmd-2.0.0.1146.
  3. Накатить на  хост image.
  4. Убрать из image intel-nvme-vmd-2.0.0.1146.
  5. Включить HA.

В итоге, проходим проверку на VSAN HCL и получаем Warning при проверке Image Compliance.

Update 11092020. 10.09.2020 драйвер iavmd 2.0.0.1055-3vmw.700 добавлен в VSAN HCL.

Image не накатывается на хосты

Ещё одна весёлая проблема, при попытке пройти проверку или накатить Image получаем шедевральную ошибку:

Unknown error occurred when invoking host API.

Самое тупое решение:

  1. Cделать сброс БД менеджера обновлений —  Resetting VMware Update Manager Database on a vCenter Server Appliance 6.5/6.7/7.0 (2147284).
  2. Перезагрузить хост.
  3. Запустить обновление снова.

Не работает vLCM Image Export

Для переноса сборки Image между кластерами или vCenter разработчики предусмотрели вариант выгрузки собранной вами конструкции.

Существует три варианта экспорта:

А теперь о проблеме: если вы используете свои сертификаты, то ни одна опция не работает, происходит ошибка браузера «ERR_SSL_PROTOCOL_ERROR».

Решение проблемы, конкурирующие с предыдущим по интеллектуальности и попахивает уязвимостью (неавторизованный доступ):

  1. Скопировать ссылку из адресной строки браузера.
  2. Открыть приватное окно.
  3. Вставить ссылку в адресную строку.
  4. Заменить протокол с https на http и получить ожидаемое.
Рубрика: 10, 7.0, Backup&Replication, Hardware, Lenovo, Veeam, VMware, vSphere | 1 комментарий

Обновление IBM/LENOVO System X M5 Embedded Hypervisor on SD-card до версии ESXi 7.0

Семейство серверов IBM/LENOVO System X  серии M5 может иметь предустановленный Embedded Hypervisor на SD-карте с совместимой версией ESXi 6.x.

При попытке обновиться до версии ESXi 7.0 выходит ошибка:

The boot disk has a size of 1024MB, the minimum requirement of the upgrade image is 3814MB.

Управление SD-картой осуществляется в интерфейсе IMM2. Анализ адаптера показывает, что в реальности используются 32 ГБ карты, но на заводе создан виртуальный диск на 1 ГБ. Расширение размеров не поддерживается.

Для установки ESXi 7.0 придётся прибегнуть к обходной схеме:

  1. Сделать резервную копию конфигурации ESXi — подробно описано в How to back up ESXi host configuration (2042141).
  2. Переформатировать SD-карту на 30 ГБ (максимально доступный размер).
  3. Установить чистый ESXi 6.x (версии, с которой снята резервная копия).
  4. Настроить сеть.
  5. Восстановить из резервной копии конфигурации по инструкции из пункта 1.
  6. Накатить обновление до ESXi 7.x.

P.S. Возможно, данная проблема встречается и на серверах других производителей с предустановленным гипервизором.

Рубрика: 6.0, 6.5, 6.7, 7.0, Hardware, IBM, Lenovo, VMware, vSphere, Советы | Оставить комментарий

Много проблем с VMware Data Recovery

Много лет назад VMware решили, что неплохо было бы сделать свой бэкап-софт для виртуальной среды. Так и появился VMware Data Recovery.

Софт был несколько глючный, поэтому через несколько версий/лет (и объединение с EMC) VMware похоронило свою разработку и сделало vDP на базе EMC Avamar.

На этом глюки поуменьшились, но VMware и этого было мало, вследствие чего поддержка vDP была окончательно похоронена (в 2019 или 2020 году)…

  1. Как-то сдох у меня основной сторадж, на котором лежало все: виртуалки, контроллер домена, vcenter 6.0. Остался жить только vdp и еще один виндовый сервер, лежащие на локальных дисках ESXi. Стоит отметить, что места на локальных дисках ESXi под все виртуальные сервера из бэкапа не было. Но это не стало основной проблемой 😉
  2. Я зашел на веб-интерфейс vDP и запустил Emergency Restore трех продуктивных виртуальных машин (топ по критичности). Это была главная ошибка: надо было сначала восстанавливать DC/VC.
  3. Три критичных виртуалки восстановились, после чего веб-интерфейс vDP отмер — по таймауту. В течение суток и пары ребутов vDP восстановить его не удалось, пошли в саппорт.
  4. Ахмед сказал, что vDP окончательно слетел с саппорта и добавил: «я не гинеколог, но посмотреть могу». Посмотрел на мое горе, посоветовал развернуть максимально свежую версию vDP и вставить диски туда/либо развернуть vDP 6.1.2 и подоткнуть диски туда.
  5. В штатном режиме vDP развертывается (ovf deploy) только через vCenter. 😉 (Ох щит) (это знак, что стоило сесть за чтение документации по развертыванию vDP)
  6. Я отредактировал вручную .OVF и успешно импортировал виртуальную машину;
  7. Затем я научился менять ip-настройки SLES11 из командной строки;
  8. После этого запустился инсталлятор vDP из веб-интерфейса и… напоролся на проблемы с отсутствием записей DNS.
  9. Ну вы помните, что у меня рабочих систем нет и я работаю в выжженом поле 😉 Ладно, побороли и DNS.
  10. На следующем шаге vDP сказал, что ему нужна для развертывания регистрация в vCenter. АААааааа 😊
  11. В силу ограниченных ресурсов я попытался развернуть vCSA 6.0. Ожидаемо встал на грабли плагина интеграции с браузером, который не захотел устанавливаться.
  12. Мыши плакали, кололись, но продолжали есть кактус.
  13. Я решил рискнуть костями и поставить vCSA 6.5. Да, по матрице он не совместим с vDP 6.1.2, но мало ли что. Впрочем, vCenter развернулся штатно (хоть что-то).
  14. Ожидаемо, регистрация vDP 6.1.2 на vCSA 6.5 не проходит. (непереводимая игра слов)
  15. Развернул через vCenter vDP 6.1.11 — он нормально прошел регистрацию на vCSA 6.5. С замиранием духа втыкаю в него VMDK от старого vDP и прожимаю импорт. Через полчаса…
  16. Через полчаса vDP 6.1.11 говорит, что пароль рута к дискам не подходит. Кстати говоря, эта же проблема имела место год назад. Тогда vDP 6.1.2 не стартовал, импорт дисков не помогал. Тогда vDP мне починил инженер из саппорта (фактически, специалист по Авамару и линуксу, судя по тому трешу, что он творил в консоли)
  17. Остается обратно лохматить старый и неподдерживаемый vDP.
  18. Обратно включаем с дисками старый vDP 6.1.2.
  19. Веб-интерфейс старого vDP открывается, но говорит «ждите до 25 минут, запускаемся»;
  20. В консоли старого vDP вижу, что не запускается служба MCS из-за проблем с чекпоинтами. К счастью есть статья в КБ (https://kb.vmware.com/s/article/2053986), служба запускается и…
  21. Еще минут через 5-10 запускается веб-интерфейс. И я могу продолжать emergency restore!!!11111

Выводы:

  1. Никогда. Не. Используйте. VMware Data Recovery!
  2. В DR-план восстановления инфраструктуры заложите восстановление самого сервера резервного копирования в случае какого-либо сбоя. Ну и тестируйте это (DR — Disaster Recovery, восстановление после катастрофы)!
  3. Я крайне не рекомендую использование в продуктиве софта, для DR-переустановки которого требуется куча «левых» компонент типа vCenter.

P.S. Впрочем, это одна из причин, по которой VMware «мигрировали» vDP на Avamar. До Avamar vDP метаданные держал в базе vCenter. Нет vCenter — ну вы поняли 😉

Рубрика: Новости | Метки: | Оставить комментарий