VMware – Page 2

Отвал FC HBA Emulex 8/16-Gb/s после обновления VMware ESXi 7.0 update 3

После обновления до актуальной буквы VMware ESXi 7.0 update 3 у нас неожиданно отвались 8-гигабитные FC HBA на базе Emulex LPe12000.

При разборе полётов было выяснено, что в Emulex Drivers for ESXi 7.0 с релиза 14.0.326.12 прекращена поддержка адаптеров LPe12000-series, LPe15000-series и LPe16000-series.

Соответственно, последними версиями с поддержкой данных адаптеров являются lpfc 14.0.169.25-5vmw и lpfc 12.8.614.16.

После понижения драйверов адаптеры появились.

Релиз RVTools 4.4.1

Rob de Veij выпустил обновление своей отличной утилиты инвентаризации VMware vSphere — RVTools версии 4.4.1.

В этой версии используются свежие версии фреймворков, а также есть другие исправления:

Теперь для разработки используется Visual Studio 2022, VMware vSphere Management SDK 8.0
Log4net обновлен до версии 2.0.15
RVToolsPasswordEncryption теперь использует mac-адрес вместо фиксированной строки для шифрования пароля
На странице вкладки vInfo появились новые колонки: Total Disk capacity MiB, Folder ID, FT role, Reboot powerOff, EFI Secure boot option и SMBIOS UUID.
На вкладке vCPU новый столбец: “Numa Hotadd Exposed” – раскрывается ли виртуальная топология NUMA при включенном горячем добавлении процессора.
На странице вкладки vDisk новые колонки: Disk UUID, Sharing mode
На всех связанных страницах вкладок VM столбцы тегов перемещены непосредственно перед столбцом “Datacenter”
На всех страницах вкладок, связанных с ВМ: Изменен текст всплывающей подсказки VM UUID на “VirtualCenter-specific 128-bit UUID of a virtual machine”
На странице вкладки vSource добавлены новые столбцы: Version, Patch level и VI SDK Server
На странице вкладки vHealth: /storage/archive исключен для проверки “free disk capacity”, так как раздел /storage/archive может быть заполнен by design
Исправление ошибки на странице вкладки vInfo: колонка “Primary IP Address” не показывала правильное значение
Исправление ошибки на странице вкладки vNetwork: определение того, является ли ip-адрес ipv4 или ipv6, не всегда проходило успешно

Удаленное подключение к Linux через VMware Horizon Direct Connection

Disclaimer: все дальнейшие рассуждения и действия не соответствуют политике технической поддержки VMware. Любое использование программного обеспечения не соответствующего системным требованиям VMware может быть использовано только на свой страх и риск.

В разгар локдауна от ковида была написана статья о возможности использования прямого подключения к ПК по протоколу Blast (Blast Extreme) без использования серверной инфраструктуры VMware Horizon:

Удаленное подключение к ПК через VMware Horizon Direct Connection

В последние годы Linux приобретает всё большую популярность, как и потребность в удаленном подключении к нему.

В свою очередь, и компания VMware наращивает функциональность агента и клиента Horizon под операционные системы семейства Linux.

12 января 2023 года вышел релиз VMware Horizon 2212 (8.8). В этом релизе в агент для Linux добавили поддержку Debian 11.5, в котором мы и проведём наш эксперимент.

Для установки нам потребуется следующая документация:

и два дистрибутива агента и плагина:

VMware-horizonagent-linux-x86_64-2212-8.8.0-21071111.tar.gz
VMware-horizonagent-linux-vadc-x86_64-2212-8.8.0-21071111.tar.gz

В соответствии с системными требования проверяем версию Linux:

Ubuntu 18.04, 20.04, and 22.04
Debian 10.13 and 11.5
Red Hat Enterprise Linux (RHEL) Workstation 7.9, 8.4, 8.6, 8.7, 9.0, and 9.1
Red Hat Enterprise Linux (RHEL) Server 7.9, 8.4, 8.6, 8.7, 9.0, and 9.1
CentOS 7.9
SUSE Linux Enterprise Desktop (SLED) 15 SP3 and 15 SP4
SUSE Linux Enterprise Server (SLES) 15 SP3 and 15 SP4

и тип окружения рабочего стола: Continue reading “Удаленное подключение к Linux через VMware Horizon Direct Connection”

VMware ESXi Host Client 2 теперь и в vSphere 7

С выходом VMware ESXi 8 компания VMware представила новый веб-клиент для управления хостом: новые иконки; фреймворк Clarity; несколько тем, включая тёмную, и их кастомизация; навигация TAB-ом. Заметки о релизе для ESXi 8 – VMware Host Client 2.5.0 Release Notes.

Несколько обзоров:

К нашей радости, компания VMware решила не останавливаться на достигнутом и портировала клиента на ESXi 7 – теперь он стал доступен c версии ESXi 7 update 3i.

Релиз Код Безопасности vGate 4.6

Код безопасности выпустил свежую версию своего продукта для защиты виртуальных сред vGate 4.6. Ключевое отличие обновленной версии продукта – реализация защиты KVM-виртуализации.

В vGate 4.6 добавлена поддержка следующих операционных системам семейства Linux:

Ubuntu 18.04.6 LTS, 20.04.3 LTS;
Astra Linux Common Edition «Орел» 2.12.22;
Альт Сервер Виртуализации 10;
Альт Сервер 8 СП;
Скала-Р Управление 1.80; 1.92; 1.93.

Полный список новых функций:

Выполнен перенос функции управления фильтрацией трафика vCenter из консоли управления vGate в веб-консоль.
Выполнен перенос функций управления виртуальными сетями, виртуальными машинами, сетевыми адаптерами, хранилищами данных и организациями сервера Cloud Director из консоли управления vGate в веб-консоль.
Выполнен перенос функции объединения объектов виртуальной инфраструктуры в группы из консоли управления vGate в веб-консоль.
Реализована поддержка политик шаблона “CIS for ESXi 7.0”.
Реализовано ограничение числа одновременных сеансов АВИ.
Добавлены новые виджеты мониторинга: “Тепловая карта событий аудита”, “Объекты и учетные записи по категориям конфиденциальности”, “Объекты и учетные записи по уровням конфиденциальности”.
Реализована поддержка токенов Рутокен при аутентификации пользователей через вебинтерфейс vGate.
Реализована возможность добавления пользовательских уровней конфиденциальности.
Реализована поддержка контейнеров VMware, включая контроль целостности образов контейнеров, хранящихся во встроенном реестре Harbor, и контроль доступа к vSphere Pods.
Реализована возможность создания разрешающих правил фильтрации, по которым осуществляется однонаправленная передача трафика.
Реализована поддержка KVM-серверов и защита виртуальных машин KVM.
Добавлена возможность использования символов кириллицы в именах пользователей и групп Active Directory.

Подробная документация:
Continue reading “Релиз Код Безопасности vGate 4.6”

Сохранение активации лицензий ПО при замене оборудования в VMware vSphere 6.7+

Disclaimer: все дальнейшие рассуждения и действия могут нарушать лицензионные соглашения правообладателей. Любое использование нижеследующих рекомендаций должно подтверждаться наличием у вас прав на лицензии. Все действия выполняются на свой страх и риск.

Время от времени серверы устаревают, а на замену им приходит новое оборудование с новыми процессорами.

Для абстрагирования vCPU от физического процессора от оборудования в VMware vSphere много лет развивается технология маскирования флагов процессора:

Обычно, технологии защиты ключей лицензий, разрешенные к использованию в виртуальных средах, используют привязки к:

BIOS/UEFI;
операционной системе;
имени сервера/ПК;
идентификаторам либо серийным номерам жестких дисков;
MAC-адресам сетевых карт;
CPUID, описывающему имя, семейство и модель процессора, доступные SIMD-инструкции.

В соответствии с этим мы можем использовать фиксацию части параметров.

Для фиксации UUID BIOS можно отредактировать VMX-файл:

uuid.bios = <uuidvalue>

1	uuid.bios = <uuidvalue>

Также возможны и более хардкорные модификации BIOS/UEFI. Получить данные можно получить через команду wmic bios.

Для привязки по MAC-адресу мы фиксируем адрес с физического сервера лицензий, либо генерируем его сами до получения лицензий. Адрес можно указать в настройках сетевого адаптера либо прописать в VMX-файле:

Parameter	Value
ethernet`X`.addressType	`static`
ethernet`X`.address	`MAC_address_of_the_virtual_NIC`

В большинстве случаев получается привязать MAC к выключенному адаптеру либо подключенному в пустую виртуальную сеть.

Для сохранения CPUID необходимо собрать следующую информацию:

EVC/поколение ЦПУ виртуальной машины в vSphere.
Поколение(CPU-Z), название, id и модель процессора в операционной системе (wmic cpu get caption, name, processorid; в Linux /proc/cpuinfo).

После этого в конфигурации выключенной виртуальной машины (vHW>=14) устанавливается нужный уровень Per-VM EVC, при необходимости прописываются в VMX-файл прочие параметры маскинга CPUID (*в примере левые параметры):

featMask.vm.cpuid.Intel = “Val:1”
featMask.vm.cpuid.FAMILY = “Val:6”
featMask.vm.cpuid.MODEL = “Val:0x4f”
featMask.vm.cpuid.STEPPING = “Val:0”
featMask.vm.cpuid.NUMLEVELS = “Val:0xd”
cpuid.brandstring = "Intel(R) Xeon(R) CPU E5-2643 v4 @ 3.40GHz"

featMask.vm.cpuid.Intel = “Val:1”

featMask.vm.cpuid.FAMILY = “Val:6”

featMask.vm.cpuid.MODEL = “Val:0x4f”

featMask.vm.cpuid.STEPPING = “Val:0”

featMask.vm.cpuid.NUMLEVELS = “Val:0xd”

cpuid.brandstring = "Intel(R) Xeon(R) CPU E5-2643 v4 @ 3.40GHz"

Примечание. При изменении vHW и/или обновлении ESXi версии BIOS/UEFI могут меняться. Изменение BIOS/UEFI, CPUID происходит по время выключения/включения (powercycle) виртуальной машины.

Всегда делайте копию виртуальной машины и VMX-файла перед правками!!!

Релиз RVTools 4.3.2

Rob de Veij выпустил обновление своей отличной утилиты инвентаризации VMware vSphere — RVTools версии 4.3.2.

В этой версии используются свежие версии фреймворков, а также есть другие исправления:

используется .NET Framework версии 4.6.2 вместо 4.6.1.
используется Newtonsoft.Json версии 13.0.1 вместо 12.0.3.
исправлена ошибка: таймаут соединения для огромных сред vSphere.
исправлена ошибка: изменена целевая платформа для RVToolsMergeExcelFiles на “Any CPU”, что позволило использовать платформу X64 и избежать исключения System.OutOfMemoryException для огромных сред vSphere.
исправлена ошибка: удаленные выходные строки для отладки из RVToolsMergeExcelFiles.

Управляем неуправляемым VMware ESXi

Иногда бывает, что ESXi теряет управление – отваливается от vCenter.

Что с этим делать расписано на русском в статье “Хост VMware ESXi в состоянии Not Responding на сервере vCenter – в чем может быть проблема?”

Опытные админы, обычно, идут в консоль и подают 2-3-4 команды:

/etc/init.d/hostd restart
/etc/init.d/vpxa restart
/etc/init.d/rhttpproxy restart

/etc/init.d/hostd restart

/etc/init.d/vpxa restart

/etc/init.d/rhttpproxy restart

либо полный фарш:

services.sh restart

1	services.sh restart

Недавно у нас случилась аналогичная ситуация – отвалилось несколько хранилищ (datastore) и ESXi решил прикурить: vCenter отпал, хостовый веб-клиент отпал, вышеупомянутые команды якобы отрабатывали с нулевым результатом. Хорошо хоть виртуальные машины продолжали работать.

В итоге решили перезагрузить хост. Вот только для этого нужно было погасить виртуальные машины – часть выключили штатно изнутри, но некоторым нужно подать команду shutdown снаружи.

Типовые команды для выключения ВМок описаны в статье “Powering off an unresponsive virtual machine on an ESXi host (1004340)”

Но у нас-то случился клинический случай и ESXi не отрабатывал команд esxcli. Соответственно, пришлось искать более низкоуровневое решение – localcli.

localcli – это набор команд для работы технической поддержки VMware. Команды localcli эквивалентны командам ESXCLI, но обходят hostd. Команды localcli предназначены только для ситуаций, когда hostd недоступен и не может быть перезапущен.

Предупреждение: Использование LOCALCLI официально не поддерживается. Все действия выполняются на свой страх и риск.
Однако команда очень интересна тем, что при использовании специального внутреннего каталога плагинов появляются некоторые недокументированные пространства имен. Вы можете просмотреть эти пространства имен и открыть для себя некоторые интересные функциональные возможности. Просто войдите в ESXi и используйте команду

 localcli --plugin-dir /usr/lib/vmware/esxcli/int/

1	localcli --plugin-dir /usr/lib/vmware/esxcli/int/

результат вывода:

[root@esxi01:~] localcli --plugin-dir /usr/lib/vmware/esxcli/int/
Usage: localcli [disp options] &lt;namespaces&gt; &lt;command&gt;
For help please run localcli --help

Available Namespaces:

boot                operations for system bootstrapping
daemon              Commands for controlling daemons built with Daemon SDK (DSDK).
debug               Options related to VMkernel debugging. These commands should be used at the direction of VMware Support Engineers.
device              Device manager commands
deviceInternal      Device layer internal commands.
esxcli              Commands that operate on the esxcli system itself allowing users to get additional information.
fcoe                VMware FCOE commands.
graphics            VMware graphics commands.
hardware            VMKernel hardware properties and commands for configuring hardware.
hardwareinternal    VMKernel hardware properties and commands for configuring hardware, which are not exposed to end users.
hyperclockinternal  Operations on HyperClock subsystem, a general framework for publishing hypervisor time to virtual machines. The operations are not exposed to the end user.
iscsi               VMware iSCSI commands.
network             Operations that pertain to the maintenance of networking on an ESX host. This includes a wide variety of commands to manipulate virtual networking components (vswitch, portgroup, etc) as well as local host IP, DNS
                    and general host networking settings.
networkinternal     Operations used by partner software, but are not exposed to the end user. These operations must be kept compatible across releases.
nvme                VMware NVMe driver operations.
rdma                Operations that pertain to remote direct memory access (RDMA) protocol stack on an ESX host.
rdmainternal        Operations that pertain to the remote direct memory access (RDMA) protocol stack on an ESX host, but are not exposed to the end user. These operations must be kept compatible across releases.
sched               VMKernel system properties and commands for configuring scheduling related functionality.
software            Manage the ESXi software image and packages
storage             VMware storage commands.
system              VMKernel system properties and commands for configuring properties of the kernel core system and related system services.
systemInternal      Internal VMKernel system properties andcommands for configuring properties of the kernel core system.
user                VMKernel properties and commands for configuring user level functionality.
vm                  A small number of operations that allow a user to Control Virtual Machine operations.
vmci                VMCI commands for internal use
vsan                VMware vSAN commands

Available Commands:

[root@esxi01:~] localcli --plugin-dir /usr/lib/vmware/esxcli/int/

Usage: localcli [disp options] <namespaces> <command>

For help please run localcli --help

Available Namespaces:

boot operations for system bootstrapping

daemon Commands for controlling daemons built with Daemon SDK (DSDK).

debug Options related to VMkernel debugging. These commands should be used at the direction of VMware Support Engineers.

device Device manager commands

deviceInternal Device layer internal commands.

esxcli Commands that operate on the esxcli system itself allowing users to get additional information.

fcoe VMware FCOE commands.

graphics VMware graphics commands.

hardware VMKernel hardware properties and commands for configuring hardware.

hardwareinternal VMKernel hardware properties and commands for configuring hardware, which are not exposed to end users.

hyperclockinternal Operations on HyperClock subsystem, a general framework for publishing hypervisor time to virtual machines. The operations are not exposed to the end user.

iscsi VMware iSCSI commands.

network Operations that pertain to the maintenance of networking on an ESX host. This includes a wide variety of commands to manipulate virtual networking components (vswitch, portgroup, etc) as well as local host IP, DNS

and general host networking settings.

networkinternal Operations used by partner software, but are not exposed to the end user. These operations must be kept compatible across releases.

nvme VMware NVMe driver operations.

rdma Operations that pertain to remote direct memory access (RDMA) protocol stack on an ESX host.

rdmainternal Operations that pertain to the remote direct memory access (RDMA) protocol stack on an ESX host, but are not exposed to the end user. These operations must be kept compatible across releases.

sched VMKernel system properties and commands for configuring scheduling related functionality.

software Manage the ESXi software image and packages

storage VMware storage commands.

system VMKernel system properties and commands for configuring properties of the kernel core system and related system services.

systemInternal Internal VMKernel system properties andcommands for configuring properties of the kernel core system.

user VMKernel properties and commands for configuring user level functionality.

vm A small number of operations that allow a user to Control Virtual Machine operations.

vmci VMCI commands for internal use

vsan VMware vSAN commands

Available Commands:

Осталось написать скрипт массового выключения ВМок. Пока думал как написать решил поискать готовые решения и поисковик выдал примечательную статью о шифровальщиках для VMware vSphere c готовым скриптом New Linux-Based Ransomware Cheerscrypt Targeting ESXi Devices Linked to Leaked Babuk Source Code. В статье косяки с кавычками и апострофами, так что держите верный код:

esxcli vm process kill –type=force –world-id=$(esxcli vm process list|grep "World ID"|awk '{print $3}')

1	esxcli vm process kill –type=force –world-id=$(esxcli vm process list\|grep "World ID"\|awk '{print $3}')

Ну, а для нашей задачи такой жести не надо, но нужны другая команда и обычное выключение:

localcli vm process kill –type=soft –world-id=$(localcli vm process list|grep "World ID"|awk '{print $3}')

1	localcli vm process kill –type=soft –world-id=$(localcli vm process list\|grep "World ID"\|awk '{print $3}')

Если же перед вами стоят другие задачи, но esxcli не работает, то попробуйте использовать доступные пространства имен для localcli.

Заметки в базе знаний VMware по платформе vSphere 8.0

Выпущено много новых заметок в базе знаний по проблемам, планам, принятым решениям по платформе VMware vSphere 8.0:

VMware vSphere 6.x End Of Support

С 15 октября 2022 года прекращается поддержка линейки vSphere 6.5 и 6.7, включая ESXi, vCenter и VSAN.

Уходит эпоха стабильных релизов, кастомных Linux-драйверов для левого оборудования, мажорных релизов не в виде update…

Для тех, кто ещё остаётся преданным делу 6-ки VMware выпустила прощальные патчи:

VMware vCenter Server 6.7U3s [Release Notes] [Download]
VMware vCenter Server 6.5U3u [Release Notes] [Download]
VMware ESXi 6.7, Patch Release ESXi670-202210001
VMware ESXi 6.5, Patch Release ESXi650-202210001