Рубрика: Backup&Replication

Veeam Ready

Многие знают, что для проверки совместимости оборудования с VMware vSphere существует VMware Compatibility Guide, размещенный по адресу https://www.vmware.com/go/hcl.

Но мало кто знает, что у Veeam запущена похожая программа для квалификации партнерских решений для обеспечения стандартов высокой производительности, функциональности и совместимости.

Имеет 4 категории Veeam Ready для участников Veeam Alliance Program (VAP)

  1. Veeam Ready — Repository (репозиторий)
    Партнеры VAP с первичными решениями для хранения резервных копий проходят квалификацию, выполнив или превысив функциональные тесты и тесты производительности для операций резервного копирования и восстановления.
  2. Veeam Ready — Object (объектное хранение)
    VAP-партнеры с S3-совместимыми решениями для хранения объектов проходят квалификацию, подтвердив совместимость с возможностями хранения объектов Veeam Backup & Replication.
  3. Veeam Ready — Object Immutability (неизменность объекта)
    VAP-партнеры с S3-совместимыми решениями для хранения объектов проходят квалификацию, подтвердив совместимость с использованием Veeam Backup & Replication возможностей S3 Object Lock в хранилищах объектов.
  4. Veeam Ready — Tape (хранение на лентах)
    Партнеры VAP с автономными решениями для хранения данных проходят квалификацию, проверив совместимость с функциями и операциями с лентой Veeam Backup & Replication.

Также имеется 4 программы для интеграционных решений:

  1. Veeam Integrated — «with Veeam»
    VAP-партнеры, которые разрабатывают решение для хранения данных для DR-нагрузок с использованием Veeam.
  2. Veeam Integrated — Object
    Партнеры VAP, предлагающие объектные системы хранения данных, для улучшения совместной работы с клиентами требуются определенные протоколы или настройки.
  3. Veeam Integrated — Deduplicating Storage
    VAP-партнеры с дедуплицирующими хранилищами для повышения эффективности совместной работы с клиентами необходимы определенные протоколы или настройки.
  4. Veeam Integrated — Universal Storage API
    Партнеры VAP с предложениями первичных систем хранения данных для виртуализации, физических серверов и рабочих нагрузок NAS  для совместной разработки интеграции моментальных снимков с Veeam.

Конечные заказчики легко и быстро могут узнать результат проверок на странице Veeam Alliance Technical Programs (переключайтесь между Veeam Ready и Veeam Integrated, пролистывайте примерно один экран до таблицы с фильтрами).

Обновление продуктов Veeam. Осень 2021

Компания Veeam выпускает обновления своей продуктовой линейки:

Всё о новинках уже 13-14 октября 2021 года на VeeamON.

P.S.  Будет презентация Veeam Backup for Red Hat Virtualization!

Veeam Backup&Replication и восстановление тонких дисков

После виртуального посещения VeeamONTour 2021, решил пересмотреть доклад Никиты Козленко «10 рекомендаций для ускорения процессов резервного копирования и восстановления».

И на совете #10 залип — оказывается, что при восстановлении тонких дисков ВМ из резервных копий через транспорт DirectSAN получаем толстые диски. А мы после полноценной поддержки vSphere’ой команды UNMAP перешли на тонкие диски.

Админы СРК и ВД знали про этот нюанс и фигачили толстые диски, так как не знали как заменить транспорт и на какой (cиняя ссылка «Pick proxy to use»). Проведя консилиум и тесты, решили при восстановление выбирать прокси с транспортом hot-add (vSphere 7,  350+52+40 ГБ):

VBR NBD VBR DirectSAN VBR Hot-Add (2 теста) Acronis (Hot-Add?)
11:30:04 0:27:20 0:22:23/00:27:39 1:30:00

Время восстановления получилось сопоставимо с DirectSAN, при этом диски остаются тонкими.

P.S. Чё-то NBD на 10 GbE у нас медленноват…

VeeamONTour 2021

Всем привет!

Приглашаем Вас 16 июня 2021 года на онлайн-конференцию #VeeamONTour «Эффективная стратегия защиты данных» по этой ссылке.

Я и другие блогеры записали для вас видео-приглашение:

Veeam BR V11 поиск сессий с NBD

Для ускорения копирования данных VBR умеет использовать механизмы разгрузки сети: подключение дисков к проксирующим виртуальным машинам (ВМ) — hotadd, передачу по сети хранения данных — san, без разгрузки используется сетевой механизм nbd. При определенных изменениях (смена прокси, недоступность хранилищ по FC и прочие) в  инфраструктуре разгрузочные механизма могут отказать и будут заменены механизмом nbd. Пример поломки описан в базе знаний Veeam https://www.veeam.com/kb3204. Для диагностики проблемы в журнале задания VBR необходимо убедиться в наличие тэга [hotadd/san] либо появление тэга [nbd] при переключении механизма.

Поиск запроса для обнаружения заданий с NBD выдал скрипт, опубликованный на форуме Veeam — Find Sessions with specific transport mode.

Для запуска в версии V11 мы заменили импорт модуля  (How to Install Veeam PowerShell Snapin?):

Import-Module Veeam.Backup.PowerShell
$NBDSessions = $Null
foreach ($Job in (Get-VBRJob | where {$_.JobType -eq "Backup"}))
{
$LastSession  = $Job.FindLastSession()
$NBDSessions = $NBDSessions + (Get-VBRTaskSession -Session $LastSession | where {$_.Logger.GetLog().updatedrecords.title -like "*nbd*"})
}
$NBDSessions | select @{N="Job Name";E={$_.JobName}}, @{N="VM Name";E={$_.Name}}, @{N="NBD diks";E={($_.Logger.GetLog().updatedrecords.title | where {$_ -like "*nbd*"})}} | ft -AutoSize

Пример выдачи:

Job Name           VM Name          NBD diks                                                                                                                                                  
--------           -------          --------                                                                                                                                                  
Win2016_everyday   Win2016    Using backup proxy vbr-proxy-57 for disk Hard disk 1 [nbd]

Релиз Veeam Availability Suite V11

Veeam выпустила новую линейку своих продуктов:

Неофициальный анонс платформы Veeam и сроки выхода

В свежем письме от Veeam Антон Гостев неофициально анонсировал сроки выхода следующих 14 продуктов:

  1. Veeam Backup & Replication v11
  2. Veeam Agent for Linux v5
  3. Veeam Agent for Mac NEW
  4. Veeam Agent for Microsoft Windows v5
  5. Veeam Plug-in for Oracle RMAN (AIX) NEW
  6. Veeam Plug-in for Oracle RMAN (Linux) v3
  7. Veeam Plug-in for Oracle RMAN (Solaris) v2
  8. Veeam Plug-in for Oracle RMAN (Windows) v3
  9. Veeam Plug-in for SAP HANA v3
  10. Veeam Plug-in for SAP on Oracle NEW
  11. Veeam Availability Orchestrator v4
  12. Veeam Backup for Microsoft Azure v2
  13. Veeam ONE v11
  14. Veeam Service Provider Console v5

В текущий момент специалисты Veeam проверяют код v11 на наличие регрессий, проверки должны быть завершены к концу этого месяца. После этого наступит стадия Release Candidate’ов (RC), каждый из которых имеет шанс стать Release to Manufacturing (RTM), при отсутствии ошибок «отмены поставки» («stop ship»). Эта стадия может длиться от нескольких дней до нескольких недель, но ожидается закончить работы в феврале.

P.S. К сожалению, год в письме не указан ;).

Обновление ESXi до версии 7.0 update 1

После обновления пилотного VMware vCenter начали обновлять прочие управляющие серверы и гипервизоры.

Обновление VCSA 7.0 до update 1 или тренировка восстановления с резервной копии

Обновление Veeam Backup&Replication

Как раз на днях вышло обновление для Veeam Backup&Replication повышающий совместимость с vSphere 7.0 update 1 — Release notes for Veeam Backup & Replication 10a Cumulative Patch 20201202:

  • Поддержка VMware vSphere 7.0 U1, включая обновление  vSphere API; поддержка ВМ с vHW версии 18 и автоматического исключение служебных ВМ vSphere Clustering Service (vCLS), обеспечивающих работу DRS (почему-то в KB написано, что они нужны для High Availability, но в данный момент это не так).

Накопители на USB-флеш,  SD Card, дешёвые M.2

В ESXi 7.0 требования к загрузочным накопителям и раскладка томов изменились, советую ознакомиться со следующей документацией:

  1. vSphere 7 – ESXi System Storage Changes
  2. vSphere 7 – System Storage When Upgrading
  3. Installing ESXi on a supported USB flash drive or SD flash card (2004784)
  4. Running ESXi in “Degraded Mode”, what does that mean?
  5. ESXi Hardware Requirements

Теперь размещение ESXi рекомендуется только на надёжных носителях.

Мы продолжаем использовать ненадёжные, что привело к проблемам, например, к откату на резервный bootbank.

Для решения проблемы используем 2 решения:

  1. Bootbank loads in /tmp/ after reboot of ESXi 7.0 Update 1 host (2149444)
  2. Configuring ESXi coredump to file instead of partition (2077516)

Хождение по граблям VMware vSphere 7.0

Цикл статей о борьбе с VMware vSphere 7.0 продолжается. Читайте содержимое предыдущих серий:

Обновление IBM/LENOVO System X M5 Embedded Hypervisor on SD-card до версии ESXi 7.0

Обновление VMware vCenter с версии 6.7 до 7.0

VMware ESXi 7.0 и неподдерживаемое оборудование

Снимки ВМ и NetApp FAS ONTAP

Самая жёсткая проблема, с которой столкнулись — это переход LUN’ов на системе хранения NetApp FAS в режим Offline при попытке сделать снимок из-под vSphere 7.0 с ошибкой «Out of space».

Предположительно, проблема связана с All Flash LUN’ами, созданными в ONTAP версии 9.1 или 9.2. Проблема наблюдается в ONTAP 9.7P4, более поздние патчи не проверяли.

Для нас пока закончилось падением пары продуктивных баз данных при инициации резервного копирования.

Решение проблемы:

  1. Вернуть LUN в Online.
  2. Если при Rescan Storage не вернулось DataStore на хостах, то перезагрузить хосты.
  3. Смигрировать ВМ на другой LUN.
  4. Пересоздать проблемный LUN (*либо устранить корневую причину).
  5. Смигрировать ВМ обратно.

vLCM Image и Intel VMD NVMe Driver

Самая весёлая проблема, которая убила кучу времени.

При переводе кластеров с модели обновления Baseline на модель обновления Image поймали отличный конфликт компонентов там, где не ожидали.

Про драйвер читать в статье:

VMware ESXi, VSAN и Intel VMD-Enabled NVMe Driver

На текущий момент в VSAN HCL рекомендуется версия драйвера intel-nvme-vmd-2.0.0.1146, в стандартном же образе зашит другой драйвер iavmd 2.0.0.1055-3vmw.700.1.0.15843807. При попытке собрать образ, совместимый с VSAN HCL получаем невозможность установить компоненты HA. Валят скопом такие ошибки:

  • vSphere HA host status/Cannot find HA master agent
  • vSphere HA agent for this host has an error: vSphere HA agent cannot be installed or configured
  • Component vsphere-fdm cannot be found in depot
  • ‘vxd’ service, runnig on ‘cluster’, reported issue: The HA constraints in the image spec have version whereas the expected version is 7.0.0.-16386338

Решение проблемы:

  1. Отключить HA.
  2. Добавить в image драйвер intel-nvme-vmd-2.0.0.1146.
  3. Накатить на  хост image.
  4. Убрать из image intel-nvme-vmd-2.0.0.1146.
  5. Включить HA.

В итоге, проходим проверку на VSAN HCL и получаем Warning при проверке Image Compliance.

Update 11092020. 10.09.2020 драйвер iavmd 2.0.0.1055-3vmw.700 добавлен в VSAN HCL.

Image не накатывается на хосты

Ещё одна весёлая проблема, при попытке пройти проверку или накатить Image получаем шедевральную ошибку:

Unknown error occurred when invoking host API.

Самое тупое решение:

  1. Cделать сброс БД менеджера обновлений —  Resetting VMware Update Manager Database on a vCenter Server Appliance 6.5/6.7/7.0 (2147284).
  2. Перезагрузить хост.
  3. Запустить обновление снова.

Не работает vLCM Image Export

Для переноса сборки Image между кластерами или vCenter разработчики предусмотрели вариант выгрузки собранной вами конструкции.

Существует три варианта экспорта:

А теперь о проблеме: если вы используете свои сертификаты, то ни одна опция не работает, происходит ошибка браузера «ERR_SSL_PROTOCOL_ERROR».

Решение проблемы, конкурирующие с предыдущим по интеллектуальности и попахивает уязвимостью (неавторизованный доступ):

  1. Скопировать ссылку из адресной строки браузера.
  2. Открыть приватное окно.
  3. Вставить ссылку в адресную строку.
  4. Заменить протокол с https на http и получить ожидаемое.

Обновление VMware vCenter с версии 6.7 до 7.0

Дождавшись выхода VMware vSphere 7.0.0b, мы решились на обновление нашей инфраструктуры, построенной на платформе версии 6.7.

Для уменьшения количества граблей внимательно прочитали следующие документы:

Проблема с сертификатами

При попытке обновления вылезла ошибка с сертификатами:

Error: A vCenter Single Sign-On endpoint certificate validation error has occurred.
Resolution: Ensure that the endpoint service registrations in vmdir match their corrsponding machine SSL certificates in VECS. For more information, see Knowledge Base article KB 2121701

Как это бывает, КБшка не помогла, как и не помог совет в форуме VMware.

Обратились в ТП VMware, получили волшебный скрипт и инструкцию: ls_ssltrust_fixer_p3.

  1. Проверить наличие актуальной резервной копии и сделать snapshot.
  2. Подключиться к vCenter по SSH.
  3. Скопировать «ls_ssltrust_fixer.py» в папку /usr/lib/vmidentity/tools/scripts (например, с помощью WinSCP).
    1. Перейти в папку: 
      cd /usr/lib/vmidentity/tools/scripts
    2. Изменить права: 
      chmod 777 ls_ssltrust_fixer.py
  4. Выполнить проверку ошибок «certificate thumbprint mismatch» с помощью команды: 
    python ls_ssltrust_fixer.py -f scan
  5. Выполнить исправление ошибок «certificate thumbprint mismatch» с помощью команды: 
    python ls_ssltrust_fixer.py -f fix

После магических пасов руками vCenter обновился.

Проблема с vLCM

Зная рецепт, обновили несколько vCenter и получили разную функциональность в обновлении Update Manager — vSphere Lifecycle Manager (vLCM). Местами он категорически отказывался показывать Image Depot и видеть обновления для ESXi 7.0. Недолго думая, мы решили сделать сброс БД, чтобы заодно её почистить от компонентов для ESXi6.0 —  Resetting VMware Update Manager Database on a vCenter Server Appliance 6.5/6.7/7.0 (2147284). Это исправило «видимость» семёрочных обновлений.

Проблема с безагентской антивирусной проверкой

Для безагентской антивирусной проверки требуются компоненты VMware NSX Data Center for vSphere, поддержка которого не была заявлена (вышел новый продукт) при релизе vSphere 7.0. Но, VMware одумалась и в этом месяце всё таки выпустила патч версии 6.4.7.

Проблема с плагином Veeam BR

Также отвалился плагин для Veeam BR — порешалось переустановкой.

P.S. В придачу слетел файловый бэкап vCenter ;). Требуется перенастройка.