Author: Mister Nobody

Лицензирование Oracle под VMware vSphere

Доля тяжёлых RISC-системы падает (из RISC-овых архитектур растёт только ARM), а вот x86 занимает всё больше ниш, в том числе с такими ресурсоёмкими приложениями, как Oracle DB.

На данный момент  у меня Oracle DB работает на серверах с архитектурой IBM Power7. Данная платформа имеет отличную фишку по экономии средств на лицензирование СУБД за счет использования hard partitioning в соответствии с Oracle Partitioning Policy. При создании виртуальной машины (LPAR) в IBM PowerVM достаточно указать, что процессоры “выделенные” (Dedicated), не разрешать живую миграцию (Live Partition Mobility) и спокойно можно использовать 10 лицензий на 16 ядерном сервере.

А вот на плаформе x86 с политикой лицензирования Oracle полная каша. Возникает вопрос в определении  – что используется в текущий момент soft или hard partitioning? Ответ не так прост, так как всё зависит от настроек.

Честный hard partioning на платформе x86

Вариантов мне известно два:

  • Использование серверов Fujitsu или Hitachi с функцией logical partitioning.
  • Отключить процессор в BIOS/UEFI.

Hard partioning на платформе x86 для своих

Использование CPU Affinity в Oracle VM. Также рекомендую статью Hard and Soft Partitioning with Oracle VM.

Для Microsoft Azure разрешена license mobility.

Альтернативное лицензирование

Специальная политика лицензирования для облачных провайдеров.

Как превратить soft partitioning в hard при использовании VMware vSphere?

VMware выпускает специальный документ Understanding Oracle Certification, Support and Licensing for VMware Environments, который даёт ответ, что использованиие CPU Affinity по аналогии с Oracle VM позволяет лицензировать под Oracle DB только используемые ядра.
Юридическая сторона вопрос разобрана специалистами компании House of Brick Technologies, занимающейся аудитом использования лицензий, в статье Oracle Licensing: Soft Partitioning on VMware is Your Contractual Right.

Вывод

Для легального использования лицензий Oracle DB по количеству используемых ядер в виртуальной среде VMware vSphere необходимо:

  • отключить применение технологий vMotion, DPM, DRS для виртуальных машин с Oracle DB;
  • назначить посредством CPU Affinity необходимое количество ядер виртуальной машине, при включенном HT – можно добавлять допольнительно нечётные ядра;
  • в случае аудита лицензий, должна быть возможность трекинга перемещений виртуальной машины, что можно выполнить в vSphere без особых проблем.

На первый взгляд, кажется, что после прочтения всей этой кучи документов вопросов не осталось. Как бы не так….

Осталась ещё одна функия – HA, с точки зрения использования Oracle VM нет прямого запрета в документах Oracle использовать данный функционал и он разрешен, а вот VMware считает это перемещением виртуальной машины и советует отключать.

Если же под ногами денег куры не клюют и очень хочется использовать механизмы автоматического размещения и миграции виртуальных машин, то необходимо лицензировать все ядра на всех хостах, где может оказаться  Oracle DB.

Свежее чтиво о VMware vSphere 6.0

За последний месяц вышло несколько документов, рекомендованных к прочтению о VMware vSphere 6.0:

Veeam B&R и VMware vSphere 6.0 tags

Компания обновила API по работе с тэгами, что привело к необходимости перенастраивать все задания резервного копирования, основанные на тэгировании в Veeam B&R.

Цитата из Release Notes for Veeam Backup & Replication 8.0 Update 2b:

vSphere 6 tags integration. vSphere 6 introduces new APIs for programmatic access and management of vSphere tags. With vSphere 6 tag support, you can continue building new advanced backup policies based on tags, even after you upgrade to vSphere 6. Due to new unique tag IDs in vSphere 6, be sure to review your job setup after upgrading to vCenter Server 6.0 and running your jobs at least once to let them match tags automatically based on the tag name.

Hardware Status и vSphere 6.0

Разработчики VMware не только убрали закладку Hardware Status при подключении к vCenter толстым клиентом, но и в vSphere Web Client она не работает.
Для решения проблемы нужно добавить разрешения в соответствии со статьей In the vSphere Web Client in vCenter Server 6.0 the Hardware Status tab reports: No host data available (2112847).

Deprecated VMFS volume и vSphere 6.0

Если вы решите создать и подключить новый том к хосту с ESXi 6.0 и отформатировать его в самую распоследнюю версию VMFS, то получите жёлтый баннер:

Что удивительно, разработчики считают это “не багой, а фичей” в заметке In a VMware vSphere 6 environment, the ESXi hosts display a false positive warning: Deprecated VMFS volume(s) (2109735).

Где брать Adobe Flash

Самыми проблемными ИТ-технологиями остаются: Flash и Java.

А так как эти технологии понатыканы во все инфраструктурные сервисы, то сегодня даю совет откуда скачать человеческий дистрибутив Adobe Flash:

Adobe Flash Player Distribution

Выполнять нельзя копировать

Наши разработчики и пользователи – ребята весёлые, скучать не дают.

Умные программисты регулярно выпускают новые релизы программ, заменяют их на сетевом диске, а потом не понимают почему к производственным системам подключаются старые модули.

А всё потому, что пользователи ещё хитрее – они программы с сетевого диска себе на компьютер копируют, мало ли что, вдруг диск отвалится.

Вот так и живём!

На днях решили пользователям запретить таскать к себе файлы. Задачка оказалась не сложной, но мозговыворачивающей.

Исполняемые файлы кладутся в отдельную папку – на папку группе пользователей назначается разрешение “Чтение и выполнение”, а через настройки дополнительных разрешений запрещается для файлов в этой папке “Чтение”.

Сразу могу сказать, что не для всех типов исполнях файлов работает.

VMware Tools в ESXi 6.0 против Dutch Windows

Уже четвертый акт нашего балета с vSphere 6.0.

В результате третьего акта Обновление хостов ESXi 5.5 до ESXi 6.0 против Veeam NAS мы получили хосты, виртуальные машины на которых потребовали обновления VMware Tools.

После запуска PowerCLI-скрипта с массовым обновлением компонента интеграции

наша система мониторинга начала казать сетевую изоляцию некоторых хостов.

Анализ ситуации показал, что обновление VMware Tools приводит к удалению старой версии вместе в драйверами, в том числе vmxnet.

Установка старой версии VMware Tools проходила успешно.

Копание логов выявило странную закономерность между успешной и не успешной установкой.

Корявая установка пишет в лог (логи смотрим в %temp%\vminst.log и vmmsi.log_date_Failed.log :

А в нормальной встречается подозрительная запись:

После этого надо понять, что у нас стоит не английская версия Windows, а, к примеру, голландская, что поможет резко увеличить шансы поиска решения в базе знаний VMware.

Одно из самых странных обходных решений, виденных мною, описано в статье Installing or Upgrading VMware Tools version 9.10.0 (ESXi 6.0GA) on a Dutch version of Windows Server 2008 R2 fails with the error: VMware Tools Setup Wizard ended prematurely (2114476).

Суть решения:

  • Создать группу everyone.
  • Добавить в неё пользователя, от имени которого запускается установщик.
  • Установить VMware  Tools.
  • Удалить группу.

Вот только Windows у меня русский, версии 2003 R2, а ещё доменный контроллер на 2012R2, где локальную группу просто так не создашь…

А в остальном – метод работает. Не всегда, правда…

That’s a Dutch comfort!

Обновление хостов ESXi 5.5 до ESXi 6.0 против Veeam NAS

Итак, третий акт Марлезонского балета. Предыдущий акт Обновление хостов ESXi 5.5 с коммутатором Cisco Nexus 1000V до ESXi 6.0.

При сканировании хостов ESXi 5.5 VMware Update Manager пишет “Unsupported configuration” без всяких пояснений. Для начала читаем /var/log/vua-*.log и ищем слово error:

Поиск по ошибке выдает статью Upgrading to VMware ESXi 5.x fails with the error: Error in ESX configuration file esx.conf (2011588).

Подтверждаем, что ошибку определили верно:

Открываем файлик /etc/vmware/esx.conf и видим:

При использовании технологии Veeam Instant Recovery создается и монтируется к хостам NAS-хранилище. Если же вы сменили сервер Veeam, а хранилище отмонтировали, то наивно думать, что в конфигурации ESXi произошли все требуемые зачистки.

Удаляем лишние строки и сохраняем файл. Делаем проверку, что проблема ушла:

Запускам сканирование заново.

Описание аналогичной ситуации для любителей английского Unsupported Configuration when using VUM for a Major Upgrade.

Обновление хостов ESXi 5.5 с коммутатором Cisco Nexus 1000V до ESXi 6.0

Не смотря на название, сегодняшняя статья продолжение эпика Собираем грабли при обновлении VMware vSphere 5.5 до vSphere 6.0.

Для затравки, первый баг на сегодня очень радует – желтый баннер с текстом “Quick stats on hostname is not up-to-date”. Судя по vCenter Server 5.5 and 6.0 displays a yellow warning in the Summary tab of hosts and reports the error: Quick stats on hostname is not up-to-date (2061008), разработчики синхронизируют фиксы с серьёзным лагом.

А теперь к основному блюду.

Как неправильно обновлять хост ESXi 6.0 с Cisco Nexus 1000V

После обновления супервизора VSM Cisco Nexus 1000V пришло время обновлять карты расширения VEM.

При попытке обновления Update Manager ругнулся на VIB cisco-vem-v173-esx , который я снёс командой

а сам хост удалил из коммутатора Remove from VDS.

Это было жёсткой ошибкой, так как после обновления возможности добавить хосты c ESXi версии 6.0 на данный момент нет – хосты просто не отображаются в списке выбора.

Я понадеялся на только что вышедшую версию Cisco Virtual Switch Update Manager Release 1.3, но браузер зависает при обращении из vSphere Web Client, так как, похоже, продукт до сих пор не поддеживает vCenter 6.0.

Поэтому пришлось искать в глубь и ширь. Поиск в базе знаний даёт подсказку When attempting to add an ESXi 5.x host to a DVS, the host is missing or the list is empty (2039046), но я мигрировал базу на vPostgres, поэтому необходимо понять как vPostgres готовить.

  • Из файла C:\ProgramData\VMware\vCenterServer\cfg\vmware-vpx\vcdb.properties берем адрес и порт, которые слушает СУБД (localhost:5432),  имя пользователя (vc) и копируем в буфер обмена пароль.
  • Ставим PGAdmin и 32-битные библиотеки C++ Visual Studio 2013 Redistributable.
  • Запускаем PGAdmin, вводим полученные ранее данные.

Раскрываем дерево – VCDB->Схемы->vc->Таблицы->VPX_DVS_COMPATIBLE, добавляем пару строк со значениями:

  • повтор значения id(значение содержится в таблице VPX_DVS), esx, 6.0+;
  • повтор  значения id, embeddedEsx, 6.0+,
  • жмём “Обновить” для автозаполнения последнего поля.

После этого подключаем хост в коммутатор. Если возникает ошибка, описанная в Adding an ESX/ESXi host to Nexus 1000v vDS fails with the error: vDS operation failed on host <hostname>, got (vmodl.fault.SystemError) exception (2007166), то на время подключения останавливаем службу VMware Update Manager (VIB модуль должен быть установлен вручную).

Если все вышесказанное не помогло, то делаем как написано ниже, но если вы не сделаете то, что выше, не факт, что сработает то, что ниже.

Как правильно обновлять хост ESXi 6.0 с Cisco Nexus 1000V

На данный момент официальная единственная возможность – это сразу вшивать VIB Cisco Nexus 1000V VEM в образ ESXi 6.0 и им обновляться.

Все команды выполняются в PowerCLI:

За основу взята статья Upgrading an ESXi/ESX 4.x host with the Cisco Nexus 1000V to ESXi 5.x using Update Manager (2021363).

Вывод

Горе от ума вечно…