vMind.ru – Page 7 – Записки о виртуализации и о жизни

Кибер Бэкап. Дорожная карта

Компания Киберпротект анонсировала скорый выход 16 версии Кибер Бэкапа и планы по развитию:

Отключение Hyper-V с помощью BCDEDIT

Решил на домашнем компе поэкспериментировать с виртуальной машиной. Для этого включил компонент Hyper-V, компьютер ушёл в перезагрузку и больше не захотел загружаться.

После 2-3 сбросов я смог попасть в безопасный режим и удалить компонент в оснастке, но при следующей же перезагрузке Windows сказала, что доудалять не может и восстановила Hyper-V – и система ушла в цикл.

На просторах Интернета нашёл команду, запрещающую старт Hyper-V (запустить в командной строке от имени администратора):

bcdedit /set hypervisorlaunchtype off

1	bcdedit /set hypervisorlaunchtype off

обратная (если понадобится):

bcdedit /set hypervisorlaunchtype auto

1	bcdedit /set hypervisorlaunchtype auto

Релиз RVTools 4.3.2

Rob de Veij выпустил обновление своей отличной утилиты инвентаризации VMware vSphere — RVTools версии 4.3.2.

В этой версии используются свежие версии фреймворков, а также есть другие исправления:

используется .NET Framework версии 4.6.2 вместо 4.6.1.
используется Newtonsoft.Json версии 13.0.1 вместо 12.0.3.
исправлена ошибка: таймаут соединения для огромных сред vSphere.
исправлена ошибка: изменена целевая платформа для RVToolsMergeExcelFiles на “Any CPU”, что позволило использовать платформу X64 и избежать исключения System.OutOfMemoryException для огромных сред vSphere.
исправлена ошибка: удаленные выходные строки для отладки из RVToolsMergeExcelFiles.

Управляем неуправляемым VMware ESXi

Иногда бывает, что ESXi теряет управление – отваливается от vCenter.

Что с этим делать расписано на русском в статье “Хост VMware ESXi в состоянии Not Responding на сервере vCenter – в чем может быть проблема?”

Опытные админы, обычно, идут в консоль и подают 2-3-4 команды:

/etc/init.d/hostd restart
/etc/init.d/vpxa restart
/etc/init.d/rhttpproxy restart

/etc/init.d/hostd restart

/etc/init.d/vpxa restart

/etc/init.d/rhttpproxy restart

либо полный фарш:

services.sh restart

1	services.sh restart

Недавно у нас случилась аналогичная ситуация – отвалилось несколько хранилищ (datastore) и ESXi решил прикурить: vCenter отпал, хостовый веб-клиент отпал, вышеупомянутые команды якобы отрабатывали с нулевым результатом. Хорошо хоть виртуальные машины продолжали работать.

В итоге решили перезагрузить хост. Вот только для этого нужно было погасить виртуальные машины – часть выключили штатно изнутри, но некоторым нужно подать команду shutdown снаружи.

Типовые команды для выключения ВМок описаны в статье “Powering off an unresponsive virtual machine on an ESXi host (1004340)”

Но у нас-то случился клинический случай и ESXi не отрабатывал команд esxcli. Соответственно, пришлось искать более низкоуровневое решение – localcli.

localcli – это набор команд для работы технической поддержки VMware. Команды localcli эквивалентны командам ESXCLI, но обходят hostd. Команды localcli предназначены только для ситуаций, когда hostd недоступен и не может быть перезапущен.

Предупреждение: Использование LOCALCLI официально не поддерживается. Все действия выполняются на свой страх и риск.
Однако команда очень интересна тем, что при использовании специального внутреннего каталога плагинов появляются некоторые недокументированные пространства имен. Вы можете просмотреть эти пространства имен и открыть для себя некоторые интересные функциональные возможности. Просто войдите в ESXi и используйте команду

 localcli --plugin-dir /usr/lib/vmware/esxcli/int/

1	localcli --plugin-dir /usr/lib/vmware/esxcli/int/

результат вывода:

[root@esxi01:~] localcli --plugin-dir /usr/lib/vmware/esxcli/int/
Usage: localcli [disp options] &lt;namespaces&gt; &lt;command&gt;
For help please run localcli --help

Available Namespaces:

boot                operations for system bootstrapping
daemon              Commands for controlling daemons built with Daemon SDK (DSDK).
debug               Options related to VMkernel debugging. These commands should be used at the direction of VMware Support Engineers.
device              Device manager commands
deviceInternal      Device layer internal commands.
esxcli              Commands that operate on the esxcli system itself allowing users to get additional information.
fcoe                VMware FCOE commands.
graphics            VMware graphics commands.
hardware            VMKernel hardware properties and commands for configuring hardware.
hardwareinternal    VMKernel hardware properties and commands for configuring hardware, which are not exposed to end users.
hyperclockinternal  Operations on HyperClock subsystem, a general framework for publishing hypervisor time to virtual machines. The operations are not exposed to the end user.
iscsi               VMware iSCSI commands.
network             Operations that pertain to the maintenance of networking on an ESX host. This includes a wide variety of commands to manipulate virtual networking components (vswitch, portgroup, etc) as well as local host IP, DNS
                    and general host networking settings.
networkinternal     Operations used by partner software, but are not exposed to the end user. These operations must be kept compatible across releases.
nvme                VMware NVMe driver operations.
rdma                Operations that pertain to remote direct memory access (RDMA) protocol stack on an ESX host.
rdmainternal        Operations that pertain to the remote direct memory access (RDMA) protocol stack on an ESX host, but are not exposed to the end user. These operations must be kept compatible across releases.
sched               VMKernel system properties and commands for configuring scheduling related functionality.
software            Manage the ESXi software image and packages
storage             VMware storage commands.
system              VMKernel system properties and commands for configuring properties of the kernel core system and related system services.
systemInternal      Internal VMKernel system properties andcommands for configuring properties of the kernel core system.
user                VMKernel properties and commands for configuring user level functionality.
vm                  A small number of operations that allow a user to Control Virtual Machine operations.
vmci                VMCI commands for internal use
vsan                VMware vSAN commands

Available Commands:

[root@esxi01:~] localcli --plugin-dir /usr/lib/vmware/esxcli/int/

Usage: localcli [disp options] <namespaces> <command>

For help please run localcli --help

Available Namespaces:

boot operations for system bootstrapping

daemon Commands for controlling daemons built with Daemon SDK (DSDK).

debug Options related to VMkernel debugging. These commands should be used at the direction of VMware Support Engineers.

device Device manager commands

deviceInternal Device layer internal commands.

esxcli Commands that operate on the esxcli system itself allowing users to get additional information.

fcoe VMware FCOE commands.

graphics VMware graphics commands.

hardware VMKernel hardware properties and commands for configuring hardware.

hardwareinternal VMKernel hardware properties and commands for configuring hardware, which are not exposed to end users.

hyperclockinternal Operations on HyperClock subsystem, a general framework for publishing hypervisor time to virtual machines. The operations are not exposed to the end user.

iscsi VMware iSCSI commands.

network Operations that pertain to the maintenance of networking on an ESX host. This includes a wide variety of commands to manipulate virtual networking components (vswitch, portgroup, etc) as well as local host IP, DNS

and general host networking settings.

networkinternal Operations used by partner software, but are not exposed to the end user. These operations must be kept compatible across releases.

nvme VMware NVMe driver operations.

rdma Operations that pertain to remote direct memory access (RDMA) protocol stack on an ESX host.

rdmainternal Operations that pertain to the remote direct memory access (RDMA) protocol stack on an ESX host, but are not exposed to the end user. These operations must be kept compatible across releases.

sched VMKernel system properties and commands for configuring scheduling related functionality.

software Manage the ESXi software image and packages

storage VMware storage commands.

system VMKernel system properties and commands for configuring properties of the kernel core system and related system services.

systemInternal Internal VMKernel system properties andcommands for configuring properties of the kernel core system.

user VMKernel properties and commands for configuring user level functionality.

vm A small number of operations that allow a user to Control Virtual Machine operations.

vmci VMCI commands for internal use

vsan VMware vSAN commands

Available Commands:

Осталось написать скрипт массового выключения ВМок. Пока думал как написать решил поискать готовые решения и поисковик выдал примечательную статью о шифровальщиках для VMware vSphere c готовым скриптом New Linux-Based Ransomware Cheerscrypt Targeting ESXi Devices Linked to Leaked Babuk Source Code. В статье косяки с кавычками и апострофами, так что держите верный код:

esxcli vm process kill –type=force –world-id=$(esxcli vm process list|grep "World ID"|awk '{print $3}')

1	esxcli vm process kill –type=force –world-id=$(esxcli vm process list\|grep "World ID"\|awk '{print $3}')

Ну, а для нашей задачи такой жести не надо, но нужны другая команда и обычное выключение:

localcli vm process kill –type=soft –world-id=$(localcli vm process list|grep "World ID"|awk '{print $3}')

1	localcli vm process kill –type=soft –world-id=$(localcli vm process list\|grep "World ID"\|awk '{print $3}')

Если же перед вами стоят другие задачи, но esxcli не работает, то попробуйте использовать доступные пространства имен для localcli.

AWS SAA-C03

Наверное, многие из вас видели этот мем про девопс и зарплату в 300кк. Зарплаты девопс-инженеров с hh.ru пробивали мой воображаемый потолок по зарплате в несколько раз, поэтому: настала пора перемен. ~~Пора закопать VMware и изучить кубернетис.~~

Continue reading “AWS SAA-C03”

Заметки в базе знаний VMware по платформе vSphere 8.0

Выпущено много новых заметок в базе знаний по проблемам, планам, принятым решениям по платформе VMware vSphere 8.0:

Релиз РЕД Виртуализация 7.3

Компания «РЕД СОФТ» объявила о выходе новой версии своего продукта — РЕД Виртуализация 7.3.

Основные изменения в версии 7.3:

система построена на oVirt 4.4.9;
в качестве хостовой ОС и ОС виртуальной машины управления (Hosted Engine) используется РЕД ОС 7.3 и ее пакетная база с LTS-ядром Linux 5.15.35;
обновлены основные компоненты гипервизора: qemu-kvm 5.1.0, libvirt 7.5.0;
обеспечена возможность создания гиперконвергентной среды совместно с GlusterFS;
обеспечен мониторинг базовых метрик гипервизора и виртуальных машин с использованием Grafana;
появился механизм доставки обновлений по сети как для гипервизора, так и для виртуальной машины управления.

VMware vSphere 6.x End Of Support

С 15 октября 2022 года прекращается поддержка линейки vSphere 6.5 и 6.7, включая ESXi, vCenter и VSAN.

Уходит эпоха стабильных релизов, кастомных Linux-драйверов для левого оборудования, мажорных релизов не в виде update…

Для тех, кто ещё остаётся преданным делу 6-ки VMware выпустила прощальные патчи:

VMware vCenter Server 6.7U3s [Release Notes] [Download]
VMware vCenter Server 6.5U3u [Release Notes] [Download]
VMware ESXi 6.7, Patch Release ESXi670-202210001
VMware ESXi 6.5, Patch Release ESXi650-202210001

Релиз VMware vSphere 8.0

Доступна для скачивания новая платформа VMware vSphere 8.0 публичная бета aka Initial Availability:

VMware vSphere Replication 8.6.0 [Release Notes] [Download]
VMware vRealize Orchestrator Appliance 8.10.0 [Release Notes] [Download]
VMware vRealize Operations 8.10 [Release Notes] [Download]
VMware vRealize Suite Lifecycle Manager 8.10 [Release Notes] [Download]
VMware vRealize Automation 8.10.0 [Release Notes] [Download]
VMware vCenter Server 8.0.0 [Release Notes] [Download]
VMware vSphere Hypervisor (ESXi) 8.0.0 [Release Notes] [Download]
vRealize Automation SaltStack Config 8.10.0 [Download]
VMware Site Recovery Manager 8.6.0 [Release Notes] [Download]
vRealize True Visibility Management Pack for Cisco Networking 8.1.0 [Release Notes] [Download]
vRealize True Visibility Management Pack for SAP 8.1.0 [Release Notes] [Download]
vRealize True Visibility Management Pack for ServiceNow 8.3.0 [Release Notes] [Download]
vRealize True Visibility Management Pack for Red Hat JBoss EAP 9.1.0 [Release Notes] [Download]
VMware vCenter Converter 6.3.0 [Release Notes] [Download]

Наука виртуализации

Многие читатели бложика являются практиками виртуализации, кто-то даже пытается заглянуть под капот и посмотреть как это устроено.

Сегодня я подобрал несколько актуальных ссылок на статьи, описывающие как работает на уровне процессора вложенная виртуализация, как самому написать гипервизор, зачем нужны инструкции процессора для аппаратной реализации функций виртуализации.

Virtualization Internals

Как написать гипервизор самому:

Вложенная виртуализация:

Out of Hypervisor (OoH): When Nested Virtualization Becomes Practical
Using SMT to Accelerate Nested Virtualization
The Turtles Project: Design and Implementation of Nested Virtualization – с чего начиналось
Improving KVM x86 Nested Virtualization

Для понимая поддержки аппаратной виртуализации в VMware ESXi есть довольно полезная, хоть и давно не обновлявшаяся таблица ESX(i) Support of Intel VT-x and AMD-V Features. Вроде, все функции были реализованы в 6.5/6.7: Continue reading “Наука виртуализации”