Рекомендую подписаться на следующие группы в Telegram для получения широкой экспертной поддержки:
При вступлении в группы осмотритесь, оцените обстановку и не забудьте ознакомиться с правилами задавания вопросов.
Обновление VCSA 7.0 до update 1 или тренировка восстановления с резервной копии
Недавно мы писали о выходе нового обновления для vSphere 7.0
И вот, встав не с той ноги, решили обновить VCSA в нашей инфраструктуре Horizon.
Облом с обновлением через GUI
Как у нас заведено, сделали снимок ВМ VCSA с оперативной памятью и запустили в GUI обновление, аналогично
Как это бывает с GUI, обновление не завершилось:
|
1 |
Data conversion/Post install hook failed |
Статусы служб при попытке пнуть вручную:
|
1 |
Service-control failed. Error: Failed to start services in profile ALL. RC=5, stderr=Failed to start eam, vsphere-ui, analytics, lookupsvc, applmgmt, vmware-postgres-archiver, vtsdb services. Error: Operation not allowed in current service state |
Решили откатить снимок и запустить обновление с CLI, но vpxd был с нами не согласен:
|
1 2 3 4 5 |
10:53 020-11-05T05:52:27.046Z error vpxd[25938] [Originator@6876 sub=Default opID=HB-host-103@780911-5fc80db7] An unrecoverable problem has occurred, stopping the VMware VirtualCenter service. Error: Error[VdbODBCError] (-1) "ODBC error: (23505) - ERROR: duplicate key value violates unique constraint "pk_n_vm_config_info"; --> Error while executing the query" is returned when executing SQL statement "INSERT INTO VPX_NON_ORM_VM_CONFIG_INFO (ID,CHANGE_VERSION,CHANGE_TRACKING_ENABLED,CPU_HOT_ADD_ENABLED,CPU_HOT_REMOVE_ENABLED,MEM_HOT_ADD_ENABLED,HARDWARE_NUM,HARDWARE_MEMORY,HARDWARE_CORES,VIRTUAL_ICH7M_PRESENT,VIRTUAL_SMC_PRESENT,TOOLS_BEFORE_GUEST_STANDBY_FLG,TOOLS_BEFORE_GUESTSHUTDOWN_FLG,TOOLS_TOOLS_UPGRADE_POLICY,TOOLS_AFTER_RESUME_FLG,TOOLS_AFTER_POWER_ON_FLG,TOOLS_SYNC_TIME_WITH_HOST_FLG,TOOLS_TOOLS_VERSION,TOOLS_LASTINSTALL_COUNTER,GUEST_FULL_NAME,INSTANCE_UUID,UUID,ANNOTATION,VERSION,TEMPLATE_FLG,M" 2020-11-05T05:52:27.051Z panic vpxd[25938] [Originator@6876 sub=Default opID=HB-host-103@780911-5fc80db7] --> |
Предположительно, во время снятия снимка Horizon клепал ВМ и мы попали в конфликт записей о ВМ.
Грабли при восстановлении VCSA с file-based резервной копии
Сделав несколько вздохов, приступили к восстановлению из резервной копии. На всякий случай, прогулялись по граблям:
- ВМ VCSA привязали к обычным портгруппам vDS, соответственно, сетка попала в пустоту. Исправили, переключив на ephemeral.
- Стали накатывать резервную копию, оказалось, номер сборки vCenter не совпал с резервной копией. Скачали нужный, переразвернули VCSA.
- При повторном накате опять получили ошибку, что не совпадает deployment size – мы выбрали medium, а был другой. Посмотрели конфигурацию старой ВМ, переразвернули VCSA в large.
Обновление VCSA с CLI
Как обновлять с помощью ISO в CLI описано в статье
В этот же раз мы обновляли с URL:
|
1 2 3 4 5 6 7 |
software-packages stage --url https://vapp-updates.vmware.com/vai-catalog/valm/vmw/8d167796-34d5-4899-be0a-6daade4005a3/7.0.0.10400.latest/ --acceptEulas software-packages list --staged software-packages install --staged reboot |
Что я успел глянуть на VMworld 2020?
Пару недель назад прошёл VMworld 2020. Было порядка 900 сессий, из которых я успел посмотреть малую малость.
Про просьбе трудящихся публикую плейлист (видео требовали регистрацию, PDF – нет):
- Technical Deep Dive: Blast Extreme Protocol and Remote Experience [DWDE1521]
- vCenter Performance Deep Dive [HCP1975]
- vSAN Technical Deep Dive [HCI1069]
- Innovations in vSphere 7 vMotion: Architecture and Performance HCP1508
- Sneak Peek to what’s new in Veeam Backup & Replication HCP1936S
- Deep Dive: What’s New with vCenter Server HCP1100
- What’s New with DRS and vMotion in vSphere 7 HCP1246
- HCI1689 What’s New in vSphere 7 Core Storage
- HCI Management: Current and Future HCI1514
- Simplify HCI Cluster Updates with vSphere Lifecycle Manager HCI1413
- Architecting Horizon: The Official Reference Architecture [DWHV1821]
- Moving from Horizon Linked Clones to Instant Clones Without Fear [DWHV1491]
Релиз VMware vSphere 7.0 update 1
Релиз VMware vSphere 7.0 update 1:
VMware vSphere Hypervisor (ESXi) 7.0U1 [Release Notes] [Download]
VMware vCenter Server 7.0U1 [Release Notes] [Download]
VMware vRealize Automation 8.2.0 [Release Notes] [Download]
VMware vRealize Orchestrator Appliance 8.2.0 [Release Notes] [Download]
VMware vRealize Operations 8.2.0 [Release Notes] [Download]
VMware vRealize Log Insight 8.2.0 [Release Notes] [Download]
VMware vRealize Suite Lifecycle Manager 8.2.0 [Release Notes] [Download]
Анонс VMware vSphere 7 Update 1, vSAN 7 Update 1 и Cloud Foundation 4.1
Zerologon check (проверка)
Как вы слышали, в августе 2020 года была обнаружена критическая уязвимость CVE-2020-1472 в протоколе проверки пользователя контроллером домена.
Критическая она потому, что для эксплуатации этой уязвимости достаточно оказаться в одной сети с контроллером домена.
Microsoft конечно же выпустил обновления, но кто ж их ставит, верно?
В сети есть скрипт, позволяющий провести проверку через эксплуатацию уязвимости, но это вряд ли считается нормальным методом проверки.
Поэтому я написал скрипт, который проверяет наличие требуемых обновлений на контроллерах домена Windows Server 2012 R2.
Список обновлений взят из статьи про уязвимость, а также Catalog MS, указывающего на более новые версии обновлений. В моем списке сентябрьское обновление, два августовских и перекрывающий их апдейт безопасности для Windows 2012 R2.
Обратите внимание, что для Windows 2016/2019 номера апдейтов другие!
Для запуска скрипта требуются права администратора домена, так как скрипт проходит по контроллерам и через WMI получает список установленных обновлений.
|
1 2 3 4 5 6 7 8 |
$updates="KB4577066","KB4571703","KB4571723","KB4578013"; Get-ADDomainController -filter * | sort name | %{ $result="initial";$hf=$null; $hf=Get-HotFix -ComputerName $_.name | where{$updates -contains $_.hotfixid}; if($hf -eq $null){$result="WARNING"} else{$result="";foreach($HFs in $HF){$result+=$HFs.HotfixID+";"}}; $_ | select Name, @{Name="Updates";Expression={$result}}} |
Результатом работы скрипта является следующий вывод:
|
1 2 3 4 5 6 7 |
Name Updates ---- ------- BAD-DC02 WARNING GOOD-DC01 KB4571723;KB4578013;KB4577066; GOOD-DC02 KB4571723;KB4578013;KB4577066; MEDI-DC02 KB4571723;KB4571703; MEDI-DC03 KB4578013;KB4571703; |
WARNING означает, что нужно срочно бежать и ставить обновления.
Наличие сентябрьского обновления означает, что вы молодцы. Наличие августовских – ну не безнадежны, по крайней мере :-).
VCP:DCV2020 от Veeam
Наш спонсор, Veeam, выпустил обновленную версию неофициального гайда по подготовке к экзамену VMware Certified Professional on DataCenter Virtualization (VCP:DCV2020).
Данный гайд является хоть и неофициальным, но достаточно интересным буквариком для подготовки к экзамену.
Руководство подготовлено Shane Williford и Paul Wilk, имеющими общую цифру 2x:
- Шейн в ИТ более 20 лет;
- Пол пока не разменял третий десяток 😉
P.S. А еще Пол похож на того мужика, что сует 1С в Кубернетис.
VMware vSphere Quick (Re)Boot
В платформе VMware vSphere 6.7 появилась технология vSphere(ESXi) Quick Boot, предназначенная для быстрой перезагрузки ESXi хостов во время обновлений с помощью vSphere Update Manager.
Технология требует соблюдения нескольких условий, описанных в БЗ Understanding ESXi Quick Boot Compatibility (52477):
- Модель сервера находится в VMware HCL (функция QuickBoot для ESXi 7.0+) либо хранится локально в ESXi 6.7 в текстовых файлах.
- Выключена технология TPM.
- Нет passthru-устройств, подключенных к ВМ с хоста.
- Не загружены vmklinux-драйверы на хосте.
В vSphere 7.0 третье ограничение снято, а четвертое отсутствует архитектурно.
Для проверки можно использовать локальный скрипт, выводящие информацию о совместимости модели сервера и драйверов:
|
1 |
/usr/lib/vmware/loadesx/bin/loadESXCheckCompat.py |
Пример вывода на стендовом хосте:
|
1 2 3 |
LoadESX is not compatible with vmkLinux drivers. This platform (IBM:System x3650 M2 -[794744G]-) is not compatible with loadESX. Compatibility check failed: violating one or more strict requirements (loadESX is not supported on this machine) |
Для быстрого обновления хостов технология включается в vSphere 7+ Menu->Lifecycle Manager-> Images/Baselines Remediation Settings->Quick Boot. Сокращение времени установки равно времени проверок UEFI при полной перезагрузке хоста.
Также меня заинтересовала возможность быстрой перезагрузки хостов без применения обновлений, поиск в интернете выявил два схожих варианта.
|
1 2 3 |
/bin/loadESXEnable -e /usr/lib/vmware/loadesx/bin/loadESX.py reboot |
|
1 2 3 |
/bin/loadESXEnable -e /usr/lib/vmware/loadesx/bin/loadESXShutdown.sh prepare reboot |
Прошу проголосовать за добавление функционала в графический интерфейс на портале по сбору идей vSphere Ideas, авторизация стандартная от vmware.com.
Анонс VMware vSphere 7 Update 1, vSAN 7 Update 1 и Cloud Foundation 4.1
Компания VMware сегодня анонсирует обновления своих инфраструктурных продуктов VMware vSphere 7 Update 1, VMware vSAN 7 Update 1 и VMware Cloud Foundation 4.1:
- МонстроВМ – vSphere 7 Update 1 поддерживает ВМ до 24 ТБ ОЗУ и до 768 вЦПУ для расширения поддержки база данных, работающих целиком в памяти.
- Cluster Scale Enhancements – в vSphere 7 Update 1 расширена поддержка кластеров на 50% – до 96 узлов в кластере.
- HCI Mesh – в vSAN 7 Update 1 представлен HCI Mesh,предназначен для разделения вычислительных мощностей и ресурсов хранения, что позволит планомерно масштабировать инфраструктуру в течение длительного периода. Теперь можно использовать хранилища с чужих VSAN-кластеров, при наличии лицензий.
- Compression-Only Option – vSAN 7 Update 1 разрешает использовать компрессию без дедупликации, скорость должна вырасти ;).
- Enterprise-Ready File Services – vSAN 7 Update 1 поддерживает протоколы SMB v3 и v2.1. vSAN File Services получил интеграцию с Active Directory и аутентификацию по Kerberos.
- Remote Clusters – новая возможность для управления удаленными кластерами в VMware Cloud Foundation 4.1 расширяет операционные возможности на периметральных локациях и в филиалах.
- vVols Integration – новая интеграция vVols в VMware Cloud Foundation 4.1 с Tanzu предоставляет единый фреймворк для работы с внешними хранилищами.
- VMware Skyline Support for VMware Cloud Foundation – проактивный анализ VMware Skyline теперь и в VMware Cloud Foundation.
Update 16092020
Запись вебинара на русском языке
https://cormachogan.com/2020/09/15/vsan-7-0u1-whats-new/
vSphere 7 Update 1 – vSphere Lifecycle Manager Improvements
vSphere 7 Update 1 – AMD SEV-ES
What’s New with VMware vSphere 7 Update 1
Хождение по граблям VMware vSphere 7.0
Цикл статей о борьбе с VMware vSphere 7.0 продолжается. Читайте содержимое предыдущих серий:
Обновление IBM/LENOVO System X M5 Embedded Hypervisor on SD-card до версии ESXi 7.0
Снимки ВМ и NetApp FAS ONTAP
Самая жёсткая проблема, с которой столкнулись — это переход LUN’ов на системе хранения NetApp FAS в режим Offline при попытке сделать снимок из-под vSphere 7.0 с ошибкой “Out of space”.
Предположительно, проблема связана с All Flash LUN’ами, созданными в ONTAP версии 9.1 или 9.2. Проблема наблюдается в ONTAP 9.7P4, более поздние патчи не проверяли.
Для нас пока закончилось падением пары продуктивных баз данных при инициации резервного копирования.
Решение проблемы:
- Вернуть LUN в Online.
- Если при Rescan Storage не вернулось DataStore на хостах, то перезагрузить хосты.
- Смигрировать ВМ на другой LUN.
- Пересоздать проблемный LUN (*либо устранить корневую причину).
- Смигрировать ВМ обратно.
vLCM Image и Intel VMD NVMe Driver
Самая весёлая проблема, которая убила кучу времени.
При переводе кластеров с модели обновления Baseline на модель обновления Image поймали отличный конфликт компонентов там, где не ожидали.
Про драйвер читать в статье:
На текущий момент в VSAN HCL рекомендуется версия драйвера intel-nvme-vmd-2.0.0.1146, в стандартном же образе зашит другой драйвер iavmd 2.0.0.1055-3vmw.700.1.0.15843807. При попытке собрать образ, совместимый с VSAN HCL получаем невозможность установить компоненты HA. Валят скопом такие ошибки:
- vSphere HA host status/Cannot find HA master agent
- vSphere HA agent for this host has an error: vSphere HA agent cannot be installed or configured
- Component vsphere-fdm cannot be found in depot
- ‘vxd’ service, runnig on ‘cluster’, reported issue: The HA constraints in the image spec have version whereas the expected version is 7.0.0.-16386338
Решение проблемы:
- Отключить HA.
- Добавить в image драйвер intel-nvme-vmd-2.0.0.1146.
- Накатить на хост image.
- Убрать из image intel-nvme-vmd-2.0.0.1146.
- Включить HA.
В итоге, проходим проверку на VSAN HCL и получаем Warning при проверке Image Compliance.
Update 11092020. 10.09.2020 драйвер iavmd 2.0.0.1055-3vmw.700 добавлен в VSAN HCL.
Image не накатывается на хосты
Ещё одна весёлая проблема, при попытке пройти проверку или накатить Image получаем шедевральную ошибку:
Unknown error occurred when invoking host API.
Самое тупое решение:
- Cделать сброс БД менеджера обновлений — Resetting VMware Update Manager Database on a vCenter Server Appliance 6.5/6.7/7.0 (2147284).
- Перезагрузить хост.
- Запустить обновление снова.
Не работает vLCM Image Export
Для переноса сборки Image между кластерами или vCenter разработчики предусмотрели вариант выгрузки собранной вами конструкции.
Существует три варианта экспорта:
А теперь о проблеме: если вы используете свои сертификаты, то ни одна опция не работает, происходит ошибка браузера “ERR_SSL_PROTOCOL_ERROR”.
Решение проблемы, конкурирующие с предыдущим по интеллектуальности и попахивает уязвимостью (неавторизованный доступ):
- Скопировать ссылку из адресной строки браузера.
- Открыть приватное окно.
- Вставить ссылку в адресную строку.
- Заменить протокол с https на http и получить ожидаемое.
Обновление IBM/LENOVO System X M5 Embedded Hypervisor on SD-card до версии ESXi 7.0
Семейство серверов IBM/LENOVO System X серии M5 может иметь предустановленный Embedded Hypervisor на SD-карте с совместимой версией ESXi 6.x.
При попытке обновиться до версии ESXi 7.0 выходит ошибка:
|
1 |
<em>The boot disk has a size of 1024MB, the minimum requirement of the upgrade image is 3814MB.</em> |
Управление SD-картой осуществляется в интерфейсе IMM2. Анализ адаптера показывает, что в реальности используются 32 ГБ карты, но на заводе создан виртуальный диск на 1 ГБ. Расширение размеров не поддерживается.
Для установки ESXi 7.0 придётся прибегнуть к обходной схеме:
- Сделать резервную копию конфигурации ESXi – подробно описано в How to back up ESXi host configuration (2042141).
- Переформатировать SD-карту на 30 ГБ (максимально доступный размер).
- Установить чистый ESXi 6.x (версии, с которой снята резервная копия).
- Настроить сеть.
- Восстановить из резервной копии конфигурации по инструкции из пункта 1.
- Накатить обновление до ESXi 7.x.
P.S. Возможно, данная проблема встречается и на серверах других производителей с предустановленным гипервизором.