Обновляем серверы Lenovo Thinksystem/ThinkAgile VX с помощью VMware vSphere Lifecycle Manager

В VMware vSphere 7.0 появился новый встроенный продукт для управления обновлениями Lifecycle Manager. Кратко я о нём упоминал в статье:

VMware ESXi 7.0 и неподдерживаемое оборудование

Данный менеджер умеет проверять HCL и даже, по слухам, обновлять прошивки оборудования!

После несколько обращений по поводу функционала и неполным пониманием собеседников как это работает настало время написать про интеграцию с экосистемой Lenovo. Continue reading “Обновляем серверы Lenovo Thinksystem/ThinkAgile VX с помощью VMware vSphere Lifecycle Manager”

Veeam Backup&Replication и восстановление тонких дисков

После виртуального посещения VeeamONTour 2021, решил пересмотреть доклад Никиты Козленко “10 рекомендаций для ускорения процессов резервного копирования и восстановления”.

И на совете #10 залип – оказывается, что при восстановлении тонких дисков ВМ из резервных копий через транспорт DirectSAN получаем толстые диски. А мы после полноценной поддержки vSphere’ой команды UNMAP перешли на тонкие диски.

Админы СРК и ВД знали про этот нюанс и фигачили толстые диски, так как не знали как заменить транспорт и на какой (cиняя ссылка “Pick proxy to use”). Проведя консилиум и тесты, решили при восстановление выбирать прокси с транспортом hot-add (vSphere 7,  350+52+40 ГБ):

VBR NBD VBR DirectSAN VBR Hot-Add (2 теста) Acronis (Hot-Add?)
11:30:04 0:27:20 0:22:23/00:27:39 1:30:00

Время восстановления получилось сопоставимо с DirectSAN, при этом диски остаются тонкими.

P.S. Чё-то NBD на 10 GbE у нас медленноват…

Переход на VMware vSphere 7.0 update 2

Постоянный читатель прислал свои мысли о выборе гипервизоров и убедительной победе vSphere 7.0, несмотря на все грабли ;).

С чего все началось

Недавно у наших коллег появилось осознание, что:

  1. самым старым серверам в продуктивной среде уже 8 и больше лет,
  2. поддержки и запчастей на них нет,
  3. нагрузка по памяти под 90%, но ее там очень немного,
  4. установлена максимально возможная для этих серверов ESXi 6.5 , на тот момент 17477841 (сейчас 18071574).

Поэтому  было решено:

  1. начать закупку новых серверов,
  2. обновить, где  возможно, до ESXi 7.0 для единообразия.

Серверы, в основном, производства HPE и Huawei, на каких-то задачах используются серверы Supermicro. Предлагают закупать Dell, HPE, Lenovo. У Huawei сейчас все сложно, а присматриваться к линейке Kunpeng на Arm сейчас нет времени. Хотя под Arm есть и MS Server, и ESXi.

Почему ESXi, а не что-то еще Continue reading “Переход на VMware vSphere 7.0 update 2”

Синхронизация ВМ с хостов

Мы ранее уже писали про тонкости синхронизации времени с хостом.

А сейчас речь пойдет про локальное время на хосте и опцию по синхронизации времени ВМ с хостом, появившуюся в vSphere 7.0.

Для того, чтобы узнать локальное время на сервере ESXi в часовом поясе UTC+0, можно воспользоваться следующим скриптом PowerCLI:

Если захотите побольше узнать про вложенные свойства ConfigManager.DateTimeSystem, то можно воспользоваться фильтром к Get-View и параметром -ExpandProperty (ниже будет приведен пример для виртуальной машины).

Для того, чтобы узнать, синхронизирует ли свое время виртуальная машина через VMware Tools с хостом, можно воспользоваться одним из вариантов ниже.

Для vSphere 7.0U1 и выше:

Для более старых версий:

Отличие 7.0U1 от более старых версий в том, что свойство SyncTimeWithHost переключает разные настройки ВМ. В новой версии появился дополнительный флаг – “Synchronize time periodically”, который отвечает за синхронизацию времени с хостом раз в 60 секунд (по умолчанию отключен).

Соответственно, свойство “SyncTimeWithHost” в 7.0.1 переключает не общую синхронизацию времени, а именно “периодическую” синхронизацию. В более старых версиях это свойство отвечает за общую синхронизацию времени, тогда как в 7.0.1 за общую синхронизацию стал отвечать параметр SyncTimeWithHostAllowed!

P.S. Для того, чтобы узнать больше о содержимом вложенного свойства, например, Config.Tools, можно воспользоваться следующим фильтром:

Уязвимости в продуктах VMware

В VMware vCenter и VSAN обнаружены критические уязвимости – VMSA-2021-0010: What You Need to Know.

Всем клиентам рекомендовано немедленно обновиться до свежих версий ПО (хм, что же будут делать когда до z дойдут?):

Скрипт для проверки уязвимости h5-vsan через nmap доступен на гитхабе:

CVE-2021-21985 (Vulnerable Code)

P.S. PoC эксплойта тоже… ;(

Релиз RVTools 4.1.2

Rob de Veij выпустил обновление своей отличной утилиты инвентаризации VMware vSphere — RVTools версии 4.1.2.

В этой версии появились новые функции:

  • RVTools msi теперь подписан сертификатом Sectigo
  • Log4net обновлен до версии 2.0.12 (как исправление для CVE-2018-1285)
  • Новая вкладка vUSB: отображаются виртуальные машины с подключенными к хосту USB-устройствами
  • Вкладка vFloppy удалена
  • Дополнительный флажок для “Wait for Get Friendly vSAN Names thread at startup”. По умолчанию этот параметр отключен. Если этот параметр включен, RVTools сначала соберет понятные имена папок vSAN. Понятные имена vSAN отображаются вместо guid на вкладках vInfo, vDisk и vSnapshot
  • Новый ключ/параметр в CLI: -GetFriendlyNames для сбора понятных имен папок vSAN
  • Экспериментальная вкладка vFileInfo с подробной информацией обо всех файлах, найденных во всех хранилищах данных
  • Дополнительный флажок для “Get fileinfo detail information”. По умолчанию этот параметр отключен. Если этот параметр включен, то RVTools будет собирать все сведения обо всех файлах во всех хранилищах данных.
    Предупреждение: это очень трудоемко!
  • Новый ключ/параметр в CLI: -GetFileInfo для заполнения вкладки vFileInfo.
  • На экране входа в систему номер сборки теперь также является частью отображаемого номера версии
  • Все соответствующие страницы вкладок VM теперь имеют новый столбец, указывающий, является ли она SRM placeholder’ом или нет
  • В форме фильтра теперь можно фильтровать SRM placeholder’ы
  • На вкладке vInfo теперь отображается до восьми сетевых карт (было четыре)
  • На вкладке vNetwork новый столбец: порядковый номер NIC
  • На вкладке vNetwork: столбец IP разделен на столбцы ipv4 и ipv6
  • На вкладке vDisk новые столбцы: ключ диска и путь к диску = имя виртуального диска в гостевой операционной системе. Например: C:\(работает только для vSphere >= 7.0)
  • На вкладке vDisk новый столбец: “Internal Sort Column” используется для сортировки данных vDisk по имени виртуальной машины и ключу диска
  • На вкладке vPartition новый столбец: “Internal Sort Column” используется для сортировки данных vPartition по имени виртуальной машины и ключу диска
  • На вкладке vPartition новый столбец: Дисковый ключ может быть использован для сопоставления диска vDisk с дисковым разделом
  • На вкладке vNetwork новый столбец: “Internal Sort Column” используется для сортировки данных vNetwork по имени виртуальной машины и имени сетевой карты
  • На вкладке vHealth имена папок vSAN теперь отображаются вместе с их понятными именами папок вместо guid
  • На вкладке vRP новый столбец: путь к пулу ресурсов
    На вкладке vRPtab новый столбец: общее количество виртуальных машин в resourcepool
  • На вкладке vHost новый столбец: общее количество виртуальных машин на хосте
  • На вкладке vHost новый столбец: vSAN Fault Domain Name
  • На вкладке vDatastoretab новый столбец: общее количество виртуальных машин в хранилище данных
  • На вкладке vHealth: новое сообщение безопасности, если на хосте запущена служба “ESXi Shell” или “SSH”
  • Все метки столбцов, содержащие MB, были скорректированы на MiB, потому что появилась путаница с новой системой размеров.
  • RVTools отобразит предупреждающее сообщение, если собрана не вся инвентаризация виртуальной машины. Похоже, что существует проблема десериализации XML, когда существует виртуальная машина с сотнями дисков. Проблема, по-видимому, в основном вызвана решениями для резервного копирования, которые не могут очистить все должным образом после завершения резервного копирования. В документации есть инструкция, как найти “плохую” виртуальную машину.
  • Исправлена ошибка: На вкладке vHealth изменена проверка “Inconsistent Foldername”. Для vSAN понятное имя папки теперь сравнивается с именем виртуальной машины.
  • Исправлена ошибка: *-файлы digest.vmdk исключены для проверки зомби-файлов
  • Исправлена ошибка: общий размер файлов моментальных снимков

Утилита самообслуживания VMware Skyline Health Diagnostic Tool

Осенью 2020 года компания VMware анонсировала утилиту сбора и разбора журналов событий с vSphere 6.5, 6.7, 7.0 – VMware Skyline Health Diagnostic Tool.

  1. Introducing VMware Skyline Health Diagnostic Tool
  2. Перевод на русский Новая утилита VMware Skyline Health Diagnostic Tool – для чего она?
  3. VMware Skyline Health Diagnostics for vSphere Documentation
  4. VMware Skyline Health Diagnostics Release Notes
  5. VMware Skyline Health Diagnostics Installation, Configuration and Operations Guide
  6. Скачать

Утилита довольно просто устанавливается в виде ВМ (с версии 2.0.5 распространяется в виде OVA и ISO) , после этого указывается vCenter/ESXi, выбираются объекты для сбора логов и, подождав несколько десятков минут или несколько часов, получаем отчёты с замечаниями и ссылками на БЗ VMware.

Примечание. Утилита имеет довольно убогий интерфейс – если вы вышли из админки, то не видно есть ли текущие задания. Обновление: с версии 2.5.0 отображение заданий исправлено, да и дизайн слегка причесали. Continue reading “Утилита самообслуживания VMware Skyline Health Diagnostic Tool”

Прекращение поддержки процессоров в VMware vSphere 7.Next

Как в случае и с предыдущими релизами, компания VMware решила заранее предупредить заказчиков о прекращении поддержки процессоров в следующей платформе виртуализации VMware vSphere 7.Next.

9 марта 2021 года вышла заметка в БЗ – Updated Plan for CPU Support Discontinuation In Future Major vSphere Releases (82794), содержащая большой список процессоров Intel и AMD, при установке vSphere 7.0 update 2 на которые будет возникать предупреждение:

Больше всего озадачило прекращение поддержки серий процессоров Intel Xeon E5-2600-v1/v2 и даже v3. Если первые два поколения уже довольно пожилые, то третье поколение встречается в 4-5-летних серверах. Пользователям остаётся только вариант замены Xeon E5-2600 v3 (Haswell) на v4 (Broadwell), но даже б/у оборудование стоит очень прилично – от 500 долларов за средний в линейке процессор.

Напоследок картинка с доработками аппаратной виртуализации в Broadwell и улучшениями задержек при операциях VM Enter/Exit между поколениями Xeon на базе архитектуры Core :

Продукты VMware – весна 2021

Этим мартом компания VMware выпустила огромное обновление своих продуктов:

Выпущено много новых заметок в базе знаний по проблемам, планам, принятым решениям по платформе VMware vSphere 7.0 Update 2:

Transport (VMDB) error -45: Failed to connect to peer process после обновления VMware ESXi

mr_orangeV прислал заметку о решение проблемы с VMDB transport.

После обновления ESXi до версии 6.7 сборка 17499825 и вывода хоста из режима обслуживания, виртуальные машины не мигрировали обратно на хост с ошибкой:

Поиск корневых причин привёл к нескольким вариантам:

  1. Опять кто-то где-то напутал в коде, такое уже было у HPE, можно поискать по фразе ” had a bug that constantly wrote logs to the /tmp/vmware-root folder that eventually filled up the partition”.
  2. Кончилось место, в том числе под swap.
  3. Mac OS Unlocker или в работе, или криво удален.

Как найти реальную причину?

Для начала прочитать все, что написано в комьюнити и БЗ: ссылка 01 и ссылка 02 kb 50113127.

Во второй KB указано, что  “Confirm the presence of the Unlocker installation on the ESXi host using one or more of the following commands”.

В моём случае эти команды не показали ничего, а команды ls -l /bin/vmx в kb нет.

Подключаемся к хосту по SSH и GUI, смотрим:

  • Проверяем место: df –h
  • Проверяем Ramdisk: vdf –h
  • Проверяем snmp по kb 2040707 и inode: stat -f /vmfs/volumes
  • Проверяем что у нас с симлинками: ls -l /bin/vmx
  • Читаем (можно из GUI хоста) vmkernel и vpxd логи
    Ищем строки вида “vmx: Error in initial cartel setup: Failed to open /bin/vmx: Operation not permitted”

В моем случае, это оказался неудаленный полностью Unlocker.

Шаги решения

  • cd /bin
  • ls -l /bin/vmx и посмотреть куда он ведет
  • cd /куда ведет симлинк и
  • ls посмотреть на наличие vmx и unlocker
  • cd /bin
  • rm vmx – удалилить симлинк
  • cp /откуда)/vmx  /bin

Материалы для внеклассного чтения Continue reading “Transport (VMDB) error -45: Failed to connect to peer process после обновления VMware ESXi”