Компания Киберпротект анонсировала скорый выход 16 версии Кибер Бэкапа и планы по развитию:
Автор: Mister Nobody
Отключение Hyper-V с помощью BCDEDIT
Решил на домашнем компе поэкспериментировать с виртуальной машиной. Для этого включить компонент Hyper-V, компьютер ушёл в перезагрузку и больше не не захотел загружаться.
После 2-3 сбросов я смог попасть в безопасный режим и удалить компонент в оснастке, но при следующей же перезагрузке Windows сказал, что доудалять не может и восстановил Hyper-V — система ушла в цикл.
На просторах Интернета нашёл команду, запрещающую старт Hyper-V (запустить в командной строке от имени администратора):
|
1 |
bcdedit /set hypervisorlaunchtype off |
обратная (если понадобится):
|
1 |
bcdedit /set hypervisorlaunchtype auto |
Релиз RVTools 4.3.2
Rob de Veij выпустил обновление своей отличной утилиты инвентаризации VMware vSphere — RVTools версии 4.3.2.
В этой версии используются свежие версии фреймворков, а также есть другие исправления:
- используется .NET Framework версии 4.6.2 вместо 4.6.1.
- используется Newtonsoft.Json версии 13.0.1 вместо 12.0.3.
- исправлена ошибка: таймаут соединения для огромных сред vSphere.
- исправлена ошибка: изменена целевая платформа для RVToolsMergeExcelFiles на «Any CPU», что позволило использовать платформу X64 и избежать исключения System.OutOfMemoryException для огромных сред vSphere.
- исправлена ошибка: удаленные выходные строки для отладки из RVToolsMergeExcelFiles.
Управляем неуправляемым VMware ESXi
Иногда бывает, что ESXi теряет управление — отваливается от vCenter.
Что с этим делать расписано на русском в статье «Хост VMware ESXi в состоянии Not Responding на сервере vCenter — в чем может быть проблема?»
Опытные админы, обычно, идут в консоль и подают 2-3-4 команды:
|
1 2 3 |
/etc/init.d/hostd restart /etc/init.d/vpxa restart /etc/init.d/rhttpproxy restart |
либо полный фарш:
|
1 |
services.sh restart |
Недавно у нас случилась аналогичная ситуация — отвалилось несколько хранилищ (datastore) и ESXi решил прикурить: vCenter отпал, хостовый веб-клиент отпал, вышеупомянутые команды якобы отрабатывали с нулевым результатом. Хорошо хоть виртуальные машины продолжали работать.
В итоге решили перезагрузить хост. Вот только для этого нужно было погасить виртуальные машины — часть выключили штатно изнутри, но некоторым нужно подать команду shutdown снаружи.
Типовые команды для выключения ВМок описаны в статье «Powering off an unresponsive virtual machine on an ESXi host (1004340)»
Но у нас-то случился клинический случай и ESXi не отрабатывал команд esxcli. Соответственно, пришлось искать более низкоуровневое решение — localcli.
localcli — это набор команд для работы технической поддержки VMware. Команды localcli эквивалентны командам ESXCLI, но обходят hostd. Команды localcli предназначены только для ситуаций, когда hostd недоступен и не может быть перезапущен.
Предупреждение: Использование LOCALCLI официально не поддерживается. Все действия выполняются на свой страх и риск.
Однако команда очень интересна тем, что при использовании специального внутреннего каталога плагинов появляются некоторые недокументированные пространства имен. Вы можете просмотреть эти пространства имен и открыть для себя некоторые интересные функциональные возможности. Просто войдите в ESXi и используйте команду
|
1 |
localcli --plugin-dir /usr/lib/vmware/esxcli/int/ |
результат вывода:
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 |
[root@esxi01:~] localcli --plugin-dir /usr/lib/vmware/esxcli/int/ Usage: localcli [disp options] <namespaces> <command> For help please run localcli --help Available Namespaces: boot operations for system bootstrapping daemon Commands for controlling daemons built with Daemon SDK (DSDK). debug Options related to VMkernel debugging. These commands should be used at the direction of VMware Support Engineers. device Device manager commands deviceInternal Device layer internal commands. esxcli Commands that operate on the esxcli system itself allowing users to get additional information. fcoe VMware FCOE commands. graphics VMware graphics commands. hardware VMKernel hardware properties and commands for configuring hardware. hardwareinternal VMKernel hardware properties and commands for configuring hardware, which are not exposed to end users. hyperclockinternal Operations on HyperClock subsystem, a general framework for publishing hypervisor time to virtual machines. The operations are not exposed to the end user. iscsi VMware iSCSI commands. network Operations that pertain to the maintenance of networking on an ESX host. This includes a wide variety of commands to manipulate virtual networking components (vswitch, portgroup, etc) as well as local host IP, DNS and general host networking settings. networkinternal Operations used by partner software, but are not exposed to the end user. These operations must be kept compatible across releases. nvme VMware NVMe driver operations. rdma Operations that pertain to remote direct memory access (RDMA) protocol stack on an ESX host. rdmainternal Operations that pertain to the remote direct memory access (RDMA) protocol stack on an ESX host, but are not exposed to the end user. These operations must be kept compatible across releases. sched VMKernel system properties and commands for configuring scheduling related functionality. software Manage the ESXi software image and packages storage VMware storage commands. system VMKernel system properties and commands for configuring properties of the kernel core system and related system services. systemInternal Internal VMKernel system properties andcommands for configuring properties of the kernel core system. user VMKernel properties and commands for configuring user level functionality. vm A small number of operations that allow a user to Control Virtual Machine operations. vmci VMCI commands for internal use vsan VMware vSAN commands Available Commands: |
Осталось написать скрипт массового выключения ВМок. Пока думал как написать решил поискать готовые решения и поисковик выдал примечательную статью о шифровальщиках для VMware vSphere c готовым скриптом New Linux-Based Ransomware Cheerscrypt Targeting ESXi Devices Linked to Leaked Babuk Source Code. В статье косяки с кавычками и апострофами, так что держите верный код:
|
1 |
esxcli vm process kill –type=force –world-id=$(esxcli vm process list|grep "World ID"|awk '{print $3}') |
Ну, а для нашей задачи такой жести не надо, но нужны другая команда и обычное выключение:
|
1 |
localcli vm process kill –type=soft –world-id=$(localcli vm process list|grep "World ID"|awk '{print $3}') |
Если же перед вами стоят другие задачи, но esxcli не работает, то попробуйте использовать доступные пространства имен для localcli.
Заметки в базе знаний VMware по платформе vSphere 8.0
Выпущено много новых заметок в базе знаний по проблемам, планам, принятым решениям по платформе VMware vSphere 8.0:
- [Master KB] — List of vSphere 8.0 Knowledge base articles and Important Links (89756)
- vSphere Back-in-time release upgrade restriction (67077)
- SD card/USB boot device revised guidance (85685)
- SSH Daemon Sandboxing VOB in vSphere 8.0 release (87386)
- Domain enforcement change warnings observed on ESXi Host (87510)
- Fix dataSets store file corrupt or missing in a virtual machine (87517)
- vSphere ESXi 8.0 — vGPU support for 128+ vCPUs (Linux Guest) (88161)
- Name server got from DHCP might be missing in /etc/resolv.conf after reboot (88235)
- Host client doesn’t work well with NVME controller for unitNumber above 15 (88304)
- VMKAPI v2.4 removal implications for upgrade to ESXi 8.0 or install of older VIBs on ESXi 8.0. (88646)
- Some older Linux VMs created with Hardware version 20 will fail to start installation when Secure Boot is enabled (88737)
- Collecting network packets using the lightweight PacketCapture on ESXi 8.0 (89489)
- Not Mounting Heavily Corrupted VMFS Datastores (89500)
- Microsoft Windows Server Failover Clustering (WSFC) with shared disks on VMware vSphere 8.x: Guidelines for supported configurations (89327)
- Booting vSphere ESXi 8.0 may fail with «Error 10 (Out of resources)» (89682)
- Managing iSER devices created on deprecated driver for RDMA HW (89517)
- CPU cache Flush to NVDIMM Durability on Power Loss is not Supported by ESXi (87146)
- How to manually update data-encipherment certificate (87506)
- vCenter HTTP Sessions expiring sooner than configured (88668)
- Storage I/O Control Privilege Change (88843)
- vSphere Client missing global banner notifications for historical data import (89441)
- vCenter Server 8.0 Alarm actions which run scripts fail with “Command must exist/be executable” (87918)
- vCenter Server 8.0 VM compute and storage migration failure from vSAN datastore to NFS datastore (87956)
- vSphere Lifecycle Manager (vLCM) Hardware Compatibility checks flags the VMD controller as «Non-Compliant» (89559)
- VM deployment failed due to VM class not found error on namespace. (89704)
- vCenter Servers Security Token Service (STS) refresh in version 8.0 can cause vSphere Lifecycle Manager (vLCM) upgrade failure (89698)
- Improving and increasing CPU utilization observed in some networking workloads for Mellanox (Cx-5) 100G NIC. (89554)
- NSX-T Edge VM Hardware Version upgrade (88934)
- Deleted Virtual Machine’s used persistent memory capacity is calculated into filesystem overhead Skip to end of metadata (88814)
- Documentation for Technology Preview of vSphere Configuration Profiles feature. (88629)
- Upgrading vCenter Server or ESXi 8.0 fails during precheck due to a weak certificate signature algorithm (89424)
- vSphere with Tanzu’s ESXi worker nodes stuck in Not Ready state after upgrade to version 8.0 (89787)
- Support for large cache tier capacity (> 600GB, upto 1.6TB) in VSAN (89485)
- System storage VOBs introduced in vSphere 8.0 (87212)
- Setting the customization script for virtual machines in vSphere 7.x and 8.x (74880)
- Script to Generate Computer Names and IP Addresses (2007557)
- Update Sequence for VMware vSphere 8.0 and Compatible VMware Products (89745)
- RHEL High Availability Cluster on VMware vSphere 7.x, 8.0 : Guidelines for supported configurations (85598)
- How to make guest customization work for Debian 10.1x and Debian 11 in ESXi 7.0 and ESXi 7.0 update (85845)
- Upgrade of ESXi hosts to 8.0 fails with an error about missing checksums (88877)
- ESXi 8.0 prevents the execution of non-installed ELF-binaries (87802)
Релиз РЕД Виртуализация 7.3
Компания «РЕД СОФТ» объявила о выходе новой версии своего продукта — РЕД Виртуализация 7.3.
Основные изменения в версии 7.3:
- система построена на oVirt 4.4.9;
- в качестве хостовой ОС и ОС виртуальной машины управления (Hosted Engine) используется РЕД ОС 7.3 и ее пакетная база с LTS-ядром Linux 5.15.35;
- обновлены основные компоненты гипервизора: qemu-kvm 5.1.0, libvirt 7.5.0;
- обеспечена возможность создания гиперконвергентной среды совместно с GlusterFS;
- обеспечен мониторинг базовых метрик гипервизора и виртуальных машин с использованием Grafana;
- появился механизм доставки обновлений по сети как для гипервизора, так и для виртуальной машины управления.
VMware vSphere 6.x End Of Support
С 15 октября 2022 года прекращается поддержка линейки vSphere 6.5 и 6.7, включая ESXi, vCenter и VSAN.
Уходит эпоха стабильных релизов, кастомных Linux-драйверов для левого оборудования, мажорных релизов не в виде update…
Для тех, кто ещё остаётся преданным делу 6-ки VMware выпустила прощальные патчи:
- VMware vCenter Server 6.7U3s [Release Notes] [Download]
- VMware vCenter Server 6.5U3u [Release Notes] [Download]
- VMware ESXi 6.7, Patch Release ESXi670-202210001
- VMware ESXi 6.5, Patch Release ESXi650-202210001
Релиз VMware vSphere 8.0
Доступна для скачивания новая платформа VMware vSphere 8.0 публичная бета aka Initial Availability:
VMware vSphere Replication 8.6.0 [Release Notes] [Download]
VMware vRealize Orchestrator Appliance 8.10.0 [Release Notes] [Download]
VMware vRealize Operations 8.10 [Release Notes] [Download]
VMware vRealize Suite Lifecycle Manager 8.10 [Release Notes] [Download]
VMware vRealize Automation 8.10.0 [Release Notes] [Download]
VMware vCenter Server 8.0.0 [Release Notes] [Download]
VMware vSphere Hypervisor (ESXi) 8.0.0 [Release Notes] [Download]
vRealize Automation SaltStack Config 8.10.0 [Download]
VMware Site Recovery Manager 8.6.0 [Release Notes] [Download]
vRealize True Visibility Management Pack for Cisco Networking 8.1.0 [Release Notes] [Download]
vRealize True Visibility Management Pack for SAP 8.1.0 [Release Notes] [Download]
vRealize True Visibility Management Pack for ServiceNow 8.3.0 [Release Notes] [Download]
vRealize True Visibility Management Pack for Red Hat JBoss EAP 9.1.0 [Release Notes] [Download]
VMware vCenter Converter 6.3.0 [Release Notes] [Download]
Наука виртуализации
Многие читатели бложика являются практиками виртуализации, кто-то даже пытается заглянуть под капот и посмотреть как это устроено.
Сегодня я подобрал несколько актуальных ссылок на статьи, описывающие как работает на уровне процессора вложенная виртуализация, как самому написать гипервизор, зачем нужны инструкции процессора для аппаратной реализации функций виртуализации.
Как написать гипервизор самому:
- Hypervisor From Scratch — Part 1: Basic Concepts & Configure Testing Environment
- Hypervisor From Scratch – Part 2: Entering VMX Operation
- Hypervisor From Scratch – Part 3: Setting up Our First Virtual Machine
- Hypervisor From Scratch – Part 4: Address Translation Using Extended Page Table (EPT)
- Hypervisor From Scratch – Part 5: Setting up VMCS & Running Guest Code
- Hypervisor From Scratch – Part 6: Virtualizing An Already Running System
- Hypervisor From Scratch – Part 7: Using EPT & Page-Level Monitoring Features
- Hypervisor From Scratch – Part 8: How To Do Magic With Hypervisor!
Вложенная виртуализация:
- Out of Hypervisor (OoH): When Nested Virtualization Becomes Practical
- Using SMT to Accelerate Nested Virtualization
- The Turtles Project: Design and Implementation of Nested Virtualization — с чего начиналось
- Improving KVM x86 Nested Virtualization
Для понимая поддержки аппаратной виртуализации в VMware ESXi есть довольно полезная, хоть и давно не обновлявшаяся таблица ESX(i) Support of Intel VT-x and AMD-V Features. Вроде, все функции были реализованы в 6.5/6.7: Читать далее «Наука виртуализации»
Видеообзоры zVirt
На просторах интернета попалось несколько роликов про zVirt:
Быстрое развертывание безопасной системы виртуализации zVirt
Миграция с VMware на zVirt на примере конкретного кейса
Мониторинг системы виртуализации zVirt посредством Zabbix
Обзор новой версии zVirt 4.4
Как создавать виртуальные машины для пользователей пачками в российской системе виртуализации zVirt