VMware vSphere 6.7 Update 3 Alarm ‘Host hardware sensor state’

У VMware есть привычка в практически каждый релиз заложить какую-нибудь граблю. Вот и в vSphere 6.7 Update 3 отличились.

Выражается в виде массовых событий типа error в vCenter Events:

Функционал вроде бы не нарушен, проявляется на оборудовании разных производителей,  но эти же события имеют тип info в ESXi.

Проблема в том, что данные события переполняют логи vCenter и систем мониторинга.

Участник Reddit пишет:

Our vCenter daily log is usally something like 15-20KB, but it has blown up to 1.7-2.3 GB since the 10-node upgrade.

То есть рост логов в сутки составил всего-то сто тысяч(!) раз.

А что поддержка? Ничего – ещё не признали проблему! Видать, все на VMWorld уехали.

Update

VMware признала проблему и предложила пару обходных решений в базе знаний – Excessive Hardware health alarms being triggered for “Sensor -1 type” on ESXi hosts running vSphere 6.7 U3 (74607).

Останов VCSA при нехватке места

У нас неожиданно стал прекращать работать VCSA, а конкретно сервис VPXD.

Стартнёшь ручонками – работает то десяток часов, то 20 минут. Из warning’ов – мало места для базы данных (List of VMDKs/Partitions for a vCenter Server Appliance 6.7 – Size Mount point and Purpose (70625)). VAMI показывает, что места в SEAT занято 90%. Также не работает Update Manager даже при запущенном VPXD. Все логи vpxd.log перебрали – ничего не заметили, как будто штатный останов.

Написали в техподдержку – те попросили логи собрать, а как их соберёшь, если vCenter то потухнет, то погаснет. Кое-как собрали через VAMI, да и те оказались не полные, пришлось ручонками скопировать с помощью WinSCP папку логов VPXD.

Поддержка логи смотрела внимательнее и нашла:

Действительно, места не хватает и VPXD сам себя отправляет отдыхать.  Описание поведения vCenter есть КБ-шечке “Shutting down the VC as there is not enough free space for the Database” error (67017).  Вот только она про /storage/db, а про /storage/seat умалчивает.

Добавили место у диска SEAT по инструкции Increasing the disk space for the VMware vCenter Server Appliance in vSphere 6.5 and 6.7 (2145603). Перезагрузили VCSA и всё заработало.

P.S. Так и не понял – с каких пор 90%=>95%?

P.P.S. Андрей подсказал откуда разница в процентах (данные после увеличения диска):

Вывод в VAMI: seat Total space 54.0 GB  Used space 32.4 GB Available space 21.6 GB 60.1% of 54.0 GB

Вывод в df -h: /dev/mapper/seat_vg-seat 55G 33G 19G 64% /storage/seat

Изменение ссылки на сервер мониторинга в Skype for Business

После того, как вы развернете Monitoring Database на SQL Reporting Services, в SkypeFB/Lync Control Panel появится ссылка на веб-интерфейс с отчетами:

Однако при переносе отчетов на другой сервер ссылка автоматически не обновляется.

Для исправления проделаем следующее:

  1. Запомним строку, выделенную красным цветом:
    Service:1-MonitoringStore-13
  2. Удалим эту конфигурацию из PowerSHell CLI:
  3. Найдем актуальный сервер отчетов:
  4. Создадим новую конфигурацию отчетов:

Поиск переадресации в Exchange

Коллеги поделились рецептом:

Пользователь получает чужую рассылку, направленную 100500 получателям.

Возник вопрос – как узнать на ком из этих получателей стоит переадресация на этого пользователя.

А вот ответ с фильтрацией по имени сервера, которое можно обнаружить в трекинге почтовых сообщений:

Доступность инструкций процессора в зависимости от версии vHW

Ранее на бложике публиковались две статьи о разном поведении виртуальных машин при разном vHW и EVC

  1. Минимальная рекомендуемая версия vHW
  2. EVC Mode и vHW

Один из участников сообщества VMUG провел анализ доступных инструкций процессора в зависимости от версии виртуального железа с помощью утилиты /proc/cpuinfo. В результат появилась занимательная таблица:
vHW CPU flags Исходник в Google Таблицы.

P.S. Комментарий автора:

После обсуждения CPUID решил проверить зависимость доступных инструкций от vHW, но основной вывод уже был сделан в КВ по процессорным уязвимостям: “безопасной” версией является 9, а тормозить оно перестаёт на 11. Также выяснилось:
1. vHW режет флаги не так сильно, как EVC. Например, на vHW=8 доступны fma и movbe (Haswell), а на vHW=13 доступны xsavec и xsaves (Skylake).
2. Между 13-16 версиями без NVDIMM и гостевой виртуализации нет разницы.

Релиз платформы VMware vSphere 6.7 Update 3

Компания VMware выпустила обновление своей платформы виртуализации VMware vSphere 6.7 Update 3:

VMware ESXi 6.7 Update 3 Release Notes

VMware vCenter Server 6.7 Update 3 Release Notes

VMware vSAN 6.7 Update 3 Release Notes

vSAN 6.7 U3 Technical Overview

New Release: PowerCLI 11.4.0

vSphere Client Plugins: What’s New in 6.7 Update 3

VCSA VAMI переключается на “Installation in progress”

При попытке обновления VCSA он завис на тексте:

Подождав довольно долго, я понял, что ему так не помочь. Подключился по SSH и обновил через CLI.

Всё прошло гладко, но при подключении к VAMI каждый раз шло перенаправление на страницу /update/progress c тем же текстом:

Робот в поддержке предложил статью Accessing the VAMI returns error “Update installation in progress” after recovering from a failed update (67179), советом из которой я и воспользовался:

  1. Подключить к VCSA по SSH
  2. Проверить содержимое файла “/etc/applmgmt/appliance/software_update_state.conf”. Должно быть примерно такое содержимое:
  3. Сделать копию файла “/etc/applmgmt/appliance/software_update_state.conf”
  4. Остановить сервис applmgmt командой: service-control –stop applmgmt
  5. Удалить файл “software_update_state.conf”
  6. Запустить сервис applmgmt командой: service-control –start applmgmt
  7. Зайти на VAMI для проверки

Проблемы с VMware HA после обновления vCenter

Майское обновление vCenter 6.0 (U3i) и 6.5 (U2d) вывело из строя несколько кластеров vSphere HA. Симптомы были одинаковые: часть узлов кластера не может связаться с мастером. Лечение, увы, отличалось:

  • части узлов хватило переконфигурировать HA-агента;
  • часть узлов пришлось выводить в режим обслуживания и перезагружать.

Увидеть ситуацию помогли Alarms, сработавшие на хостах.

P.S. Не все обновления одинаково полезны…

HPE iLO4 и HTML5

Последние 8 лет я администрирую преимущественно серверы HPE. Интерфейс удаленного управления серверами называется iLO, за эти годы он прошел по пути развития от iLO100 до iLO5.

Для работы с консолью сервера было всего два варианта: .NET-надстройка (Integrated Console), поддерживаемая только в Internet Explorer и Java, устанавливаемая дополнительно.

В силу определенных проблем, случающихся с Java, я не любитель использовать их на серверах.

Я как-то привык к IE за годы работы с iLO2, однако, в iLO4 открытия консоли необходимо было ждать порядка минуты.

Когда у нас появился iLO5, я обнаружил в нем третий вариант: HTML5-реализацию консоли сервера. Внезапно консоль поверх HTML5 оказалась столь же шустрой, что и у Java, а у меня появился новый любимец.

Особенно грустно было сравнивать скорость открытия консоли в iLO4 и iLO5.

Какова же была моя радость, когда после обновления прошивки iLO4 до версии 2.70, я увидел HTML5 консоль и там.

Чтение Release notes показало, что HPE любезно добавили в iLO4 этот вариант работы.