Много проблем с VMware Data Recovery

Много лет назад VMware решили, что неплохо было бы сделать свой бэкап-софт для виртуальной среды. Так и появился VMware Data Recovery.

Софт был несколько глючный, поэтому через несколько версий/лет (и объединение с EMC) VMware похоронило свою разработку и сделало vDP на базе EMC Avamar.

На этом глюки поуменьшились, но VMware и этого было мало, вследствие чего поддержка vDP была окончательно похоронена (в 2019 или 2020 году)…

  1. Как-то сдох у меня основной сторадж, на котором лежало все: виртуалки, контроллер домена, vcenter 6.0. Остался жить только vdp и еще один виндовый сервер, лежащие на локальных дисках ESXi. Стоит отметить, что места на локальных дисках ESXi под все виртуальные сервера из бэкапа не было. Но это не стало основной проблемой 😉
  2. Я зашел на веб-интерфейс vDP и запустил Emergency Restore трех продуктивных виртуальных машин (топ по критичности). Это была главная ошибка: надо было сначала восстанавливать DC/VC.
  3. Три критичных виртуалки восстановились, после чего веб-интерфейс vDP отмер – по таймауту. В течение суток и пары ребутов vDP восстановить его не удалось, пошли в саппорт.
  4. Ахмед сказал, что vDP окончательно слетел с саппорта и добавил: “я не гинеколог, но посмотреть могу”. Посмотрел на мое горе, посоветовал развернуть максимально свежую версию vDP и вставить диски туда/либо развернуть vDP 6.1.2 и подоткнуть диски туда.
  5. В штатном режиме vDP развертывается (ovf deploy) только через vCenter. 😉 (Ох щит) (это знак, что стоило сесть за чтение документации по развертыванию vDP)
  6. Я отредактировал вручную .OVF и успешно импортировал виртуальную машину;
  7. Затем я научился менять ip-настройки SLES11 из командной строки;
  8. После этого запустился инсталлятор vDP из веб-интерфейса и… напоролся на проблемы с отсутствием записей DNS.
  9. Ну вы помните, что у меня рабочих систем нет и я работаю в выжженом поле 😉 Ладно, побороли и DNS.
  10. На следующем шаге vDP сказал, что ему нужна для развертывания регистрация в vCenter. АААааааа 😊
  11. В силу ограниченных ресурсов я попытался развернуть vCSA 6.0. Ожидаемо встал на грабли плагина интеграции с браузером, который не захотел устанавливаться.
  12. Мыши плакали, кололись, но продолжали есть кактус.
  13. Я решил рискнуть костями и поставить vCSA 6.5. Да, по матрице он не совместим с vDP 6.1.2, но мало ли что. Впрочем, vCenter развернулся штатно (хоть что-то).
  14. Ожидаемо, регистрация vDP 6.1.2 на vCSA 6.5 не проходит. (непереводимая игра слов)
  15. Развернул через vCenter vDP 6.1.11 – он нормально прошел регистрацию на vCSA 6.5. С замиранием духа втыкаю в него VMDK от старого vDP и прожимаю импорт. Через полчаса…
  16. Через полчаса vDP 6.1.11 говорит, что пароль рута к дискам не подходит. Кстати говоря, эта же проблема имела место год назад. Тогда vDP 6.1.2 не стартовал, импорт дисков не помогал. Тогда vDP мне починил инженер из саппорта (фактически, специалист по Авамару и линуксу, судя по тому трешу, что он творил в консоли)
  17. Остается обратно лохматить старый и неподдерживаемый vDP.
  18. Обратно включаем с дисками старый vDP 6.1.2.
  19. Веб-интерфейс старого vDP открывается, но говорит “ждите до 25 минут, запускаемся”;
  20. В консоли старого vDP вижу, что не запускается служба MCS из-за проблем с чекпоинтами. К счастью есть статья в КБ (https://kb.vmware.com/s/article/2053986), служба запускается и…
  21. Еще минут через 5-10 запускается веб-интерфейс. И я могу продолжать emergency restore!!!11111

Выводы:

  1. Никогда. Не. Используйте. VMware Data Recovery!
  2. В DR-план восстановления инфраструктуры заложите восстановление самого сервера резервного копирования в случае какого-либо сбоя. Ну и тестируйте это (DR – Disaster Recovery, восстановление после катастрофы)!
  3. Я крайне не рекомендую использование в продуктиве софта, для DR-переустановки которого требуется куча “левых” компонент типа vCenter.

P.S. Впрочем, это одна из причин, по которой VMware “мигрировали” vDP на Avamar. До Avamar vDP метаданные держал в базе vCenter. Нет vCenter – ну вы поняли 😉

VMware ESXi 7.0 и неподдерживаемое оборудование

Disclaimer:  все дальнейшие рассуждения и действия не соответствуют политике технической поддержки VMware. Любое использование оборудования вне VMware HCL может быть использовано только на свой страх и риск. В статье рассматривается только то оборудование, на котором возможен технический запуск ESXi 6.7U3.

В связи с выходом платформы VMware vSphere 7.0 виртуальные системные администраторы стали анализировать возможность обновления либо внедрения данного продукта.

Если проблемы с vCenter 7.0 вполне решаемы и описаны в нашей статье Обновление VMware vCenter с версии 6.7 до 7.0, то с ESXi 7.0 всё не так просто.

Для “упрощения” работы администраторов VMware расширила функциональность Update Manager (VUM) полуавтоматическим анализом оборудования: сверкой моделей серверов с HCL, проверкой версий прошивок и драйверов компонентов. Данная функциональность уже была частично представлена  в VSAN [Skyline] Health Hardware compatibility для дисковой подсистемы. Новая версия VUM стала называться vSphere Lifecycle Manager (vLCM). Для загрузки HCL следует в административном интерфейсе нажать ACTIONS->Sync HCL.

Мои ожидания от vLCM были примерно такие – запускаю на хосте Updates -> Hardware Compatibility и система пишет, что оборудование не в HCL, такие-то компоненты не имеют драйверов и не будут работать. В реальности, если сервер не в HCL, то на этом проверка останавливается:

Host model is not compatible with ESXi 7.0
Skipped checking host devices.

Что как бы нас совершенно не устраивает, так как наша цель – запуститься вне HCL, и хотелось бы понимать какие компоненты не имеют драйверов и поддержки.

Поэтому с компонентами придётся разбираться самостоятельно. Continue reading “VMware ESXi 7.0 и неподдерживаемое оборудование”

Обновление VMware vCenter с версии 6.7 до 7.0

Дождавшись выхода VMware vSphere 7.0.0b, мы решились на обновление нашей инфраструктуры, построенной на платформе версии 6.7.

Для уменьшения количества граблей внимательно прочитали следующие документы:

Проблема с сертификатами

При попытке обновления вылезла ошибка с сертификатами:

Error: A vCenter Single Sign-On endpoint certificate validation error has occurred.
Resolution: Ensure that the endpoint service registrations in vmdir match their corrsponding machine SSL certificates in VECS. For more information, see Knowledge Base article KB 2121701

Как это бывает, КБшка не помогла, как и не помог совет в форуме VMware.

Обратились в ТП VMware, получили волшебный скрипт и инструкцию: ls_ssltrust_fixer_p3.

  1. Проверить наличие актуальной резервной копии и сделать snapshot.
  2. Подключиться к vCenter по SSH.
  3. Скопировать “ls_ssltrust_fixer.py” в папку /usr/lib/vmidentity/tools/scripts (например, с помощью WinSCP).
    1. Перейти в папку:
    2. Изменить права:
  4. Выполнить проверку ошибок “certificate thumbprint mismatch” с помощью команды:
  5. Выполнить исправление ошибок “certificate thumbprint mismatch” с помощью команды:

После магических пасов руками vCenter обновился.

Проблема с vLCM

Зная рецепт, обновили несколько vCenter и получили разную функциональность в обновлении Update Manager – vSphere Lifecycle Manager (vLCM). Местами он категорически отказывался показывать Image Depot и видеть обновления для ESXi 7.0. Недолго думая, мы решили сделать сброс БД, чтобы заодно её почистить от компонентов для ESXi6.0 –  Resetting VMware Update Manager Database on a vCenter Server Appliance 6.5/6.7/7.0 (2147284). Это исправило “видимость” семёрочных обновлений.

Проблема с безагентской антивирусной проверкой

Для безагентской антивирусной проверки требуются компоненты VMware NSX Data Center for vSphere, поддержка которого не была заявлена (вышел новый продукт) при релизе vSphere 7.0. Но, VMware одумалась и в этом месяце всё таки выпустила патч версии 6.4.7.

Проблема с плагином Veeam BR

Также отвалился плагин для Veeam BR – порешалось переустановкой.

P.S. В придачу слетел файловый бэкап vCenter ;). Требуется перенастройка.

VeeamOn Tour 2020

Всем доброго времени суток.

25 июня с 11:00 до 13:40 компания Veeam приглашает всех на конференцию VeeamOn Tour 2020. Из-за того, чье имя нельзя называть, встреча будет проходить в онлайн-режиме.

На выбор доступны 6 технических сессий:

  1. реализация Veeam NAS Backup в версии 10;
  2. практические рекомендации по защите данных от программ вымогателей;
  3. рекомендации по планированию инфраструктуры Veeam Backup & Replication v10;
  4. лучшие практики и рекомендации для успешной работы с Veeam Agents;
  5. все об интеграции с СХД и новые возможности Veeam v10;
  6. защита данных облачного Microsoft Office 365.

Будут сессии по облачной стратегии защиты данных.

Участие бесплатное, требуется регистрация.

P.S. Если желаете вспомнить, как это было в офлайн-эпоху, есть фотоотчет о посещении VeeamOn Tour 2016.

P.P.S. По данному тэгу вы можете просмотреть ссылки на конференции, проходившие в прошлых годах.

S4B-собрание на 500 человек (часть 2)

Ранее я уже писал про головную боль, связанную с поднятием выделенного (согласно рекомендациям MS) пула под ВКС от 250 и до 1000 участников.

Пул мы развернули, ниже я опишу свои впечатления от его использования:

  • идет достаточно большая нагрузка на сервер WebApps при показе презентации, причем она носит нестабильный характер. Всплески до сотен мегабит/c при перелистывании, затем устаканивается на паре десятков мегабит/c;
  • аудио предсказуемо небольшое – загрузка канала от одного спикера составляет 50 Мбит/c на 500 участников;
  • аудио+видео ожидаемо побольше – порядка 100-150 Мбит/c на 250 участников;
  • экран демонстрировать побоялись, так как согласно документации в среднем он вдвое “тяжелее” видео;
  • если участники ВКС имеют права participant, а не presenter (участник, а не выступающий), то списка подобных участников вы не видите. Доступен только список выступающих, что крайне не удобно;
  • сделать выступающего участником можно, участника – выступающим нельзя. Любое изменение в списке выступающих – только через настройки собрания в Outlook с рассылкой оповещения всем участникам собрания.;
  • при планировании собрания в Outlook есть возможность указать список выступающих. Они выбираются из общего списка участников, НЕ отсортированного по алфавиту :). Хорошо хоть можно их имена набирать.

SkypefB-собрание на 500 человек или The UserServices module was not found in the Application List

В свете всем известных событий мне поставили задачу – развернуть выделенный сервер SfB для поддержки ВКС на 500 человек.

Задача казалась крайне простой: развернуть выделенный сервер SfB, добавить его в топологию и поставить службы.

Неделя сразу не задалась…

Continue reading “SkypefB-собрание на 500 человек или The UserServices module was not found in the Application List”

HPE MSA Analyzing Tool

Всем привет!

HPE выпустила онлайн-утилиту по анализу конфигурации и прошивок для массивов MSA, начиная с третьего поколения (HPE MSA P2000 G3).

Собираете логи массива, загружаете на портал и “вжух” – получаете набор рекомендаций по настройкам и прошивкам.

Ниже я привожу выдержки из отчёта с одной из моих MSA:

Continue reading “HPE MSA Analyzing Tool”

Релиз Stor2RRD 2.80

Вышла  версия 2.80 бесплатного мониторинга систем хранения Stor2RRD.

Поддержка новых систем хранения, ПО и функций:

Релиз RVTools 4.0.4

Rob de Veij выпустил обновление своей отличной утилиты инвентаризации VMware vSphere — RVTools версии 4.0.4.

В этой версии появились новые функции:

  • Обновлен VMware vSphere Management SDK до версии 7.0
  • Используется CIS REST API для получения информации о тегах с vSphere 6.5+
  • в vInfo новые колонки: Virtual machine tags и min Required EVC Mode
    Key
  • в vCPU новая колонка: Virtual machine tags
  • в vMemory новые колонки: Virtual machine tags и Memory Reservation
    Locked To Max
  • в vDisk новая колонка: Virtual machine tags
  • в vPartition новая колонка: Virtual machine tags
  • в vCD новая колонка: Virtual machine tags
  • в vFloppy новая колонка: Virtual machine tags
  • в vNetwork новая колонка: Virtual machine tags
  • в vSnapshot новая колонка: Virtual machine tags
  • в vTools новая колонка: Virtual machine tags
  • в vRP новые колонки: Resource Pool tags и object ID
  • в vCluster новые колонки: Cluster tags, custom attributes и object ID
  • в vHost новые колонки: Host tags, in Maintenance Mode и in Quarantine
    Mode
  • в dvSwitch новые колонки: Distributed VirtualSwitch tags, custom attributes
    и object ID
  • в dvPort новые колонки: Distributed VirtualSwitch Port Group tags и
    object ID
  • в vDatastore новые колонки: Datastore tags, custom attributes и object
    ID
  • Опция в настройках “Exclude tags”
  • в CLI новый параметр -ExcludeTags
  • Исправлены ошибки.

Известная проблема: Теги видны только при явном указании имени и пароля, при использовании SSO не работает!

Skype for Business on Mac – April Joke

28 апреля 2020 года вышло очередное обновление Skype for Business on Mac, которое сломало функционал звонков.

Все устройства дружно перестали осуществлять звонки через пограничный сервер SfB, когда один участник находится внутри, а другой – снаружи.

На Windows клиентах с обеих сторон проблема не воспроизводилась.

Единственная запись в CLS-журналах сервера, относящаяся к сбою, – “Application accepts invitations via static registration only”.

В ходе тестирования различных вариантов был найден workaround: выйти и зайти в учетную запись SfB on Mac (аналог logoff/logon). При этом если вместо выхода/входа перезапустить SfB (или перезапустить сразу после выхода/входа), функционал звонков не работоспособен 🙂