Transport (VMDB) error -45: Failed to connect to peer process после обновления VMware ESXi

mr_orangeV прислал заметку о решение проблемы с VMDB transport.

После обновления ESXi до версии 6.7 сборка 17499825 и вывода хоста из режима обслуживания, виртуальные машины не мигрировали обратно на хост с ошибкой:

Поиск корневых причин привёл к нескольким вариантам:

1. Опять кто-то где-то напутал в коде, такое уже было у HPE, можно поискать по фразе ” had a bug that constantly wrote logs to the /tmp/vmware-root folder that eventually filled up the partition”.
2. Кончилось место, в том числе под swap.
3. Mac OS Unlocker или в работе, или криво удален.

Как найти реальную причину?

Для начала прочитать все, что написано в комьюнити и БЗ: ссылка 01 и ссылка 02 kb 50113127.

Во второй KB указано, что  “Confirm the presence of the Unlocker installation on the ESXi host using one or more of the following commands”.

В моём случае эти команды не показали ничего, а команды ls -l /bin/vmx в kb нет.

Подключаемся к хосту по SSH и GUI, смотрим:

• Проверяем место: df –h
• Проверяем Ramdisk: vdf –h
• Проверяем snmp по kb 2040707 и inode: stat -f /vmfs/volumes
• Проверяем что у нас с симлинками: ls -l /bin/vmx
• Читаем (можно из GUI хоста) vmkernel и vpxd логи
  Ищем строки вида “vmx: Error in initial cartel setup: Failed to open /bin/vmx: Operation not permitted”

В моем случае, это оказался неудаленный полностью Unlocker.

Шаги решения

• cd /bin
• ls -l /bin/vmx и посмотреть куда он ведет
• cd /куда ведет симлинк и
• ls посмотреть на наличие vmx и unlocker
• cd /bin
• rm vmx – удалилить симлинк
• cp /откуда)/vmx  /bin

Материалы для внеклассного чтения

ESXi host becomes unresponsive when attempting a vMotion migration or a configuration change (2040707)

Powering on or migrating a virtual machine fails with error: Transport (VMDB) error -45: Failed to connect to peer process. (50113127)

Troubleshooting vMotion: оригинал, перевод от @pryalukhin

Unable to power on virtual machines on ESXi host with the error: “Invalid or unsupported virtual machine configuration.”

Почитать про аналогичные случаи и как их пытались решать в комьюнити

Transport (VMDB) error -45: Failed to connect to peer process

https://communities.vmware.com/t5/ESXi-Discussions/Transport-VMDB-error-45-Failed-to-connect-to-peer-process/m-p/1809593

Failed – Transport (VMDB) error -45: Failed to connect to peer process.

https://communities.vmware.com/t5/VMware-vSphere-Discussions/Failed-Transport-VMDB-error-45-Failed-to-connect-to-peer-process/td-p/2729637

Yet another “Failed – Transport (VMDB) error -45” issue after updating esxi host. No (ramdisk) issues

https://communities.vmware.com/t5/ESXi-Discussions/Yet-another-quot-Failed-Transport-VMDB-error-45-quot-issue-after/td-p/2744879

upgrade esxi from 6.0 to 6.5,VM can’t power on

https://communities.vmware.com/t5/ESXi-Discussions/upgrade-esxi-from-6-0-to-6-5-VM-can-t-power-on/m-p/1815521

Transport (VMDB) error -45: Failed to connect to peer process.

https://communities.vmware.com/t5/VMware-vSphere-Discussions/Transport-VMDB-error-45-Failed-to-connect-to-peer-process/td-p/483386

Мораль для тех, кто дочитал

Проверяйте IPMI и SSH доступ к хосту до начала работ. В том числе, что есть KVM, а ISO монтируется. Это не всегда так для старых серверов.

Планируйте время с запасом.

Планируйте запасной вариант и план отката, на случай, если что-то пойдет не так.

Учитывайте, что откат обновления у VMware крайне интересен (и прочитайте еще раз про IPMI).