Category: VMware

Лицензирование Oracle под VMware vSphere

Доля тяжёлых RISC-системы падает (из RISC-овых архитектур растёт только ARM), а вот x86 занимает всё больше ниш, в том числе с такими ресурсоёмкими приложениями, как Oracle DB.

На данный момент  у меня Oracle DB работает на серверах с архитектурой IBM Power7. Данная платформа имеет отличную фишку по экономии средств на лицензирование СУБД за счет использования hard partitioning в соответствии с Oracle Partitioning Policy. При создании виртуальной машины (LPAR) в IBM PowerVM достаточно указать, что процессоры “выделенные” (Dedicated), не разрешать живую миграцию (Live Partition Mobility) и спокойно можно использовать 10 лицензий на 16 ядерном сервере.

А вот на плаформе x86 с политикой лицензирования Oracle полная каша. Возникает вопрос в определении  – что используется в текущий момент soft или hard partitioning? Ответ не так прост, так как всё зависит от настроек.

Честный hard partioning на платформе x86

Вариантов мне известно два:

  • Использование серверов Fujitsu или Hitachi с функцией logical partitioning.
  • Отключить процессор в BIOS/UEFI.

Hard partioning на платформе x86 для своих

Использование CPU Affinity в Oracle VM. Также рекомендую статью Hard and Soft Partitioning with Oracle VM.

Для Microsoft Azure разрешена license mobility.

Альтернативное лицензирование

Специальная политика лицензирования для облачных провайдеров.

Как превратить soft partitioning в hard при использовании VMware vSphere?

VMware выпускает специальный документ Understanding Oracle Certification, Support and Licensing for VMware Environments, который даёт ответ, что использованиие CPU Affinity по аналогии с Oracle VM позволяет лицензировать под Oracle DB только используемые ядра.
Юридическая сторона вопрос разобрана специалистами компании House of Brick Technologies, занимающейся аудитом использования лицензий, в статье Oracle Licensing: Soft Partitioning on VMware is Your Contractual Right.

Вывод

Для легального использования лицензий Oracle DB по количеству используемых ядер в виртуальной среде VMware vSphere необходимо:

  • отключить применение технологий vMotion, DPM, DRS для виртуальных машин с Oracle DB;
  • назначить посредством CPU Affinity необходимое количество ядер виртуальной машине, при включенном HT – можно добавлять допольнительно нечётные ядра;
  • в случае аудита лицензий, должна быть возможность трекинга перемещений виртуальной машины, что можно выполнить в vSphere без особых проблем.

На первый взгляд, кажется, что после прочтения всей этой кучи документов вопросов не осталось. Как бы не так….

Осталась ещё одна функия – HA, с точки зрения использования Oracle VM нет прямого запрета в документах Oracle использовать данный функционал и он разрешен, а вот VMware считает это перемещением виртуальной машины и советует отключать.

Если же под ногами денег куры не клюют и очень хочется использовать механизмы автоматического размещения и миграции виртуальных машин, то необходимо лицензировать все ядра на всех хостах, где может оказаться  Oracle DB.

Свежее чтиво о VMware vSphere 6.0

За последний месяц вышло несколько документов, рекомендованных к прочтению о VMware vSphere 6.0:

Veeam B&R и VMware vSphere 6.0 tags

Компания обновила API по работе с тэгами, что привело к необходимости перенастраивать все задания резервного копирования, основанные на тэгировании в Veeam B&R.

Цитата из Release Notes for Veeam Backup & Replication 8.0 Update 2b:

vSphere 6 tags integration. vSphere 6 introduces new APIs for programmatic access and management of vSphere tags. With vSphere 6 tag support, you can continue building new advanced backup policies based on tags, even after you upgrade to vSphere 6. Due to new unique tag IDs in vSphere 6, be sure to review your job setup after upgrading to vCenter Server 6.0 and running your jobs at least once to let them match tags automatically based on the tag name.

Hardware Status и vSphere 6.0

Разработчики VMware не только убрали закладку Hardware Status при подключении к vCenter толстым клиентом, но и в vSphere Web Client она не работает.
Для решения проблемы нужно добавить разрешения в соответствии со статьей In the vSphere Web Client in vCenter Server 6.0 the Hardware Status tab reports: No host data available (2112847).

Deprecated VMFS volume и vSphere 6.0

Если вы решите создать и подключить новый том к хосту с ESXi 6.0 и отформатировать его в самую распоследнюю версию VMFS, то получите жёлтый баннер:

Что удивительно, разработчики считают это “не багой, а фичей” в заметке In a VMware vSphere 6 environment, the ESXi hosts display a false positive warning: Deprecated VMFS volume(s) (2109735).

VMware Tools в ESXi 6.0 против Dutch Windows

Уже четвертый акт нашего балета с vSphere 6.0.

В результате третьего акта Обновление хостов ESXi 5.5 до ESXi 6.0 против Veeam NAS мы получили хосты, виртуальные машины на которых потребовали обновления VMware Tools.

После запуска PowerCLI-скрипта с массовым обновлением компонента интеграции

наша система мониторинга начала казать сетевую изоляцию некоторых хостов.

Анализ ситуации показал, что обновление VMware Tools приводит к удалению старой версии вместе в драйверами, в том числе vmxnet.

Установка старой версии VMware Tools проходила успешно.

Копание логов выявило странную закономерность между успешной и не успешной установкой.

Корявая установка пишет в лог (логи смотрим в %temp%\vminst.log и vmmsi.log_date_Failed.log :

А в нормальной встречается подозрительная запись:

После этого надо понять, что у нас стоит не английская версия Windows, а, к примеру, голландская, что поможет резко увеличить шансы поиска решения в базе знаний VMware.

Одно из самых странных обходных решений, виденных мною, описано в статье Installing or Upgrading VMware Tools version 9.10.0 (ESXi 6.0GA) on a Dutch version of Windows Server 2008 R2 fails with the error: VMware Tools Setup Wizard ended prematurely (2114476).

Суть решения:

  • Создать группу everyone.
  • Добавить в неё пользователя, от имени которого запускается установщик.
  • Установить VMware  Tools.
  • Удалить группу.

Вот только Windows у меня русский, версии 2003 R2, а ещё доменный контроллер на 2012R2, где локальную группу просто так не создашь…

А в остальном – метод работает. Не всегда, правда…

That’s a Dutch comfort!

Обновление хостов ESXi 5.5 до ESXi 6.0 против Veeam NAS

Итак, третий акт Марлезонского балета. Предыдущий акт Обновление хостов ESXi 5.5 с коммутатором Cisco Nexus 1000V до ESXi 6.0.

При сканировании хостов ESXi 5.5 VMware Update Manager пишет “Unsupported configuration” без всяких пояснений. Для начала читаем /var/log/vua-*.log и ищем слово error:

Поиск по ошибке выдает статью Upgrading to VMware ESXi 5.x fails with the error: Error in ESX configuration file esx.conf (2011588).

Подтверждаем, что ошибку определили верно:

Открываем файлик /etc/vmware/esx.conf и видим:

При использовании технологии Veeam Instant Recovery создается и монтируется к хостам NAS-хранилище. Если же вы сменили сервер Veeam, а хранилище отмонтировали, то наивно думать, что в конфигурации ESXi произошли все требуемые зачистки.

Удаляем лишние строки и сохраняем файл. Делаем проверку, что проблема ушла:

Запускам сканирование заново.

Описание аналогичной ситуации для любителей английского Unsupported Configuration when using VUM for a Major Upgrade.

Обновление хостов ESXi 5.5 с коммутатором Cisco Nexus 1000V до ESXi 6.0

Не смотря на название, сегодняшняя статья продолжение эпика Собираем грабли при обновлении VMware vSphere 5.5 до vSphere 6.0.

Для затравки, первый баг на сегодня очень радует – желтый баннер с текстом “Quick stats on hostname is not up-to-date”. Судя по vCenter Server 5.5 and 6.0 displays a yellow warning in the Summary tab of hosts and reports the error: Quick stats on hostname is not up-to-date (2061008), разработчики синхронизируют фиксы с серьёзным лагом.

А теперь к основному блюду.

Как неправильно обновлять хост ESXi 6.0 с Cisco Nexus 1000V

После обновления супервизора VSM Cisco Nexus 1000V пришло время обновлять карты расширения VEM.

При попытке обновления Update Manager ругнулся на VIB cisco-vem-v173-esx , который я снёс командой

а сам хост удалил из коммутатора Remove from VDS.

Это было жёсткой ошибкой, так как после обновления возможности добавить хосты c ESXi версии 6.0 на данный момент нет – хосты просто не отображаются в списке выбора.

Я понадеялся на только что вышедшую версию Cisco Virtual Switch Update Manager Release 1.3, но браузер зависает при обращении из vSphere Web Client, так как, похоже, продукт до сих пор не поддеживает vCenter 6.0.

Поэтому пришлось искать в глубь и ширь. Поиск в базе знаний даёт подсказку When attempting to add an ESXi 5.x host to a DVS, the host is missing or the list is empty (2039046), но я мигрировал базу на vPostgres, поэтому необходимо понять как vPostgres готовить.

  • Из файла C:\ProgramData\VMware\vCenterServer\cfg\vmware-vpx\vcdb.properties берем адрес и порт, которые слушает СУБД (localhost:5432),  имя пользователя (vc) и копируем в буфер обмена пароль.
  • Ставим PGAdmin и 32-битные библиотеки C++ Visual Studio 2013 Redistributable.
  • Запускаем PGAdmin, вводим полученные ранее данные.

Раскрываем дерево – VCDB->Схемы->vc->Таблицы->VPX_DVS_COMPATIBLE, добавляем пару строк со значениями:

  • повтор значения id(значение содержится в таблице VPX_DVS), esx, 6.0+;
  • повтор  значения id, embeddedEsx, 6.0+,
  • жмём “Обновить” для автозаполнения последнего поля.

После этого подключаем хост в коммутатор. Если возникает ошибка, описанная в Adding an ESX/ESXi host to Nexus 1000v vDS fails with the error: vDS operation failed on host <hostname>, got (vmodl.fault.SystemError) exception (2007166), то на время подключения останавливаем службу VMware Update Manager (VIB модуль должен быть установлен вручную).

Если все вышесказанное не помогло, то делаем как написано ниже, но если вы не сделаете то, что выше, не факт, что сработает то, что ниже.

Как правильно обновлять хост ESXi 6.0 с Cisco Nexus 1000V

На данный момент официальная единственная возможность – это сразу вшивать VIB Cisco Nexus 1000V VEM в образ ESXi 6.0 и им обновляться.

Все команды выполняются в PowerCLI:

За основу взята статья Upgrading an ESXi/ESX 4.x host with the Cisco Nexus 1000V to ESXi 5.x using Update Manager (2021363).

Вывод

Горе от ума вечно…

Собираем грабли при обновлении VMware vSphere 5.5 до vSphere 6.0

На днях начал обновляться со старой платформы VMware vSphere 5.5 до новой 6.0. Граблей собрал небольшую пачку, о чём и хочу поведать.
Во-первых, пришлось избавиться от хоста с ESXi версии 4.1, так как vCenter 6.0 поддерживает только ESXi 5.0+. Об этом вышла пара статей на нашем блоге: VMware ESXi и Realtek 8168/8169/8111 и Установка VMware ESXi 5.5 на хост с менее 4 ГБ ОЗУ.

Во-вторых, Вышел Veeam Backup & Replication 8.0 Update 2 с поддержкой vSphere 6.0, который также потребовалось обновить.

В-третьих, Вышел Cisco Nexus 1000V для VMware vSphere 6.0, и его обновили.

В-четвертых, Вышел VMware vRealize Operations Manager 6.0, его пропатчили до версии 6.0.1.

После всего этого настало время vCenter. Запустили установщик, согласились на использование vPostgres и спустя полтора часа получили новенький vCenter. И набор граблей…

Пропала интеграция с Cisco Virtual Switch Update Manager – при попытке открыть раздел Cisco Nexus 1000V в vSphere Web Client, страница намертво зависала, удалить через MOB расширение не получалось. В итоге удалил виртуалку, после перезагрузки сервера с vCenter в MOB расширение благополучно исчезло. Приложуха на редкость бесполезная, так что послал в топку.

Пропала интеграция с Veeam B&R. Переустановили плагин, рестартнули службы – заработало.

Вылезли ошибки с плагинами в толстом клиенте:

plugin errorОшибка с VMware Syslog Colector Configuration была снята добавлением порта в правила файервола.

Ошибка с VMware vCenter Storage Monitoring Service описана в базе знаний The Storage Monitoring Service plug-in fails to install in VMware vCenter Server 6.0 (2115295), теперь его просто нет, как и The Overview sub-tab in the Performance tab view is no longer available in the VMware vSphere Client 6.0.x (2109800).

Ошибку с Auto Deploy я проигнорировал, так как это функционал не используем, а служба остановлена. Подозреваю, что старт службы и настройки файервола снимут симптом.

После этого начал обновлять ESXi – путь снова оказался тернист. После обновление до ESXi отвалились все хранилища. Как оказалось, выстрелил костыль, заложенный при переходе на vSphere 5.5. Но, как обычно, выручил бложик, так как костыль был записан в заметке Отключение VMware ESXi Native Driver. Для исправления подал команду:

Каким-то чудом вылезла еще одна старая ошибка, которая опять же описана в нашем бложике Ошибка обновления ESXi 5.1 до 5.5 — Cannot run upgrade script on host. Но, в этот раз, решил поправить её через esxcli:

Напоследок. Так как архитектура vCenter серьёзно поменялась, то мониторинг списка старых сервисов уже не подходит, а ручной подсчет меня соориентировал, что сейчас сервисов точно не меньше 32(!) штук. Так что для определения сервисов нужных для контроля воспользовался статьей Stopping, starting, or restarting VMware vCenter Server 6.0 services (2109881), с помощью которой выгрузил список запущенных сервисов командой:

Их и засунул в Nagios.

Не удается увеличить размер хранилища VMFS

После того, как переполнилось одно хранилище VMFS, мы пошли стандартным путем: увеличили размер LUN’а и попытались увеличить хранилище.

msa01

Облом-с.

msa02

Нагугленная статья, описывающая поведение после переполнения хранилища, посоветовала произвести операцию расширения с того хоста ESXi, на котором расположена включенная ВМ с этого хранилища.

Я подключился напрямую на хост и… Бинго!

msa04