Рубрика: IBM

Обновление IBM/LENOVO System X M5 Embedded Hypervisor on SD-card до версии ESXi 7.0

Семейство серверов IBM/LENOVO System X  серии M5 может иметь предустановленный Embedded Hypervisor на SD-карте с совместимой версией ESXi 6.x.

При попытке обновиться до версии ESXi 7.0 выходит ошибка:

The boot disk has a size of 1024MB, the minimum requirement of the upgrade image is 3814MB.

Управление SD-картой осуществляется в интерфейсе IMM2. Анализ адаптера показывает, что в реальности используются 32 ГБ карты, но на заводе создан виртуальный диск на 1 ГБ. Расширение размеров не поддерживается.

Для установки ESXi 7.0 придётся прибегнуть к обходной схеме:

  1. Сделать резервную копию конфигурации ESXi — подробно описано в How to back up ESXi host configuration (2042141).
  2. Переформатировать SD-карту на 30 ГБ (максимально доступный размер).
  3. Установить чистый ESXi 6.x (версии, с которой снята резервная копия).
  4. Настроить сеть.
  5. Восстановить из резервной копии конфигурации по инструкции из пункта 1.
  6. Накатить обновление до ESXi 7.x.

P.S. Возможно, данная проблема встречается и на серверах других производителей с предустановленным гипервизором.

VMware ESXi 7.0 и неподдерживаемое оборудование

Disclamer:  все дальнейшие рассуждения и действия не соответствуют политике технической поддержки VMware. Любое использование оборудования вне VMware HCL может быть использовано только на свой страх и риск. В статье рассматривается только то оборудование, на котором возможен технический запуск ESXi 6.7U3.

В связи с выходом платформы VMware vSphere 7.0 виртуальные системные администраторы стали анализировать возможность обновления либо внедрения данного продукта.

Если проблемы с vCenter 7.0 вполне решаемы и описаны в нашей статье Обновление VMware vCenter с версии 6.7 до 7.0, то с ESXi 7.0 всё не так просто.

Для «упрощения» работы администраторов VMware расширила функциональность Update Manager (VUM) полуавтоматическим анализом оборудования: сверкой моделей серверов с HCL, проверкой версий прошивок и драйверов компонентов. Данная функциональность уже была частично представлена  в VSAN [Skyline] Health Hardware compatibility для дисковой подсистемы. Новая версия VUM стала называться vSphere Lifecycle Manager (vLCM). Для загрузки HCL следует в административном интерфейсе нажать ACTIONS->Sync HCL.

Мои ожидания от vLCM были примерно такие — запускаю на хосте Updates -> Hardware Compatibility и система пишет, что оборудование не в HCL, такие-то компоненты не имеют драйверов и не будут работать. В реальности, если сервер не в HCL, то на этом проверка останавливается:

Host model is not compatible with ESXi 7.0
Skipped checking host devices.

Что как бы нас совершенно не устраивает, так как наша цель — запуститься вне HCL, и хотелось бы понимать какие компоненты не имеют драйверов и поддержки.

Поэтому с компонентами придётся разбираться самостоятельно. Читать далее «VMware ESXi 7.0 и неподдерживаемое оборудование»

Релиз Stor2RRD 2.80

Вышла  версия 2.80 бесплатного мониторинга систем хранения Stor2RRD.

Поддержка новых систем хранения, ПО и функций:

Анонс Stor2RRD версии 2.70

1920 февраля 2020 года ожидается выход новой версии бесплатного мониторинга систем хранения Stor2RRD.

Поддержка новых систем хранения и ПО:

  • Dell EMC² Elastic Cloud Storage (ECS)
  • HPE Primera
  • iXsystems FreeNAS, TrueNAS
  • Hitachi Virtual Storage Platform 5000 Series

Stor2RRD от поддержки корпоративных систем переходит к поддержке популярных SOHO решений, если в версии 2.70 поддержан FreeNAS, то во втором-третьем кварталах 2020 года планируется поддержать и другие очень популярные решения начального уровня:

  • NetApp SolidFire
  • Oracle Database
  • Hitachi Content platform (HCP)
  • QNAP
  • Synology
  • Brocade SANnav
  • RAIDIX
  • Ceph

Самое главное — обещают поддержать отечественную систему хранения RAIDIX!

UPDATE:

Также анонсирована дорожная карта для мониторинга виртуальных сред LPAR2RRD:

Q2 2020

  • Oracle VM
  • Oracle Database

Q3 2020

  • Nutanix
  • AWS

UPDATE 2.0:

В платной версии STOR2RRD v2.80 будет доступная полная топологическая схема SAN через инструмент Mapping.

IBM HS23, vSphere и 10 GbE. Борьба продолжается…

В 2013 году столкнулись с парой проблем с сетевыми картами Emulex 10 GbE — одна проблема описана в статье IBM HS23, vSphere и 10 GbE, вторая была — неожиданная сетевая изоляция хостов.

Спустя 3 года ситуация повторяется — хост внезапно уходит в сетевую изоляцию. Подозрения сразу пали на сетевую карту Emulex.

Подтверждение проблемы обнаружено в логе vmkernel.log:

WARNING: elxnet: elxnet_detectDumpUe:275: [vmnic3] UE Detected!!
elxnet: elxnet_detectDumpUe:287: 0000:16:00.5: Forcing Link Down as Unrecoverable Error detected in chip/fw.

Некие намёки в БЗ VMware:

Заметка в бложике:

ESXi 5.5 and Emulex OneConnect 10Gb NIC

В качестве решения — замена прошивки, обновление драйвера.

Лицензирование Oracle под VMware vSphere

Доля тяжёлых RISC-системы падает (из RISC-овых архитектур растёт только ARM), а вот x86 занимает всё больше ниш, в том числе с такими ресурсоёмкими приложениями, как Oracle DB.

На данный момент  у меня Oracle DB работает на серверах с архитектурой IBM Power7. Данная платформа имеет отличную фишку по экономии средств на лицензирование СУБД за счет использования hard partitioning в соответствии с Oracle Partitioning Policy. При создании виртуальной машины (LPAR) в IBM PowerVM достаточно указать, что процессоры «выделенные» (Dedicated), не разрешать живую миграцию (Live Partition Mobility) и спокойно можно использовать 10 лицензий на 16 ядерном сервере.

А вот на плаформе x86 с политикой лицензирования Oracle полная каша. Возникает вопрос в определении  — что используется в текущий момент soft или hard partitioning? Ответ не так прост, так как всё зависит от настроек.

Честный hard partioning на платформе x86

Вариантов мне известно два:

  • Использование серверов Fujitsu или Hitachi с функцией logical partitioning.
  • Отключить процессор в BIOS/UEFI.

Hard partioning на платформе x86 для своих

Использование CPU Affinity в Oracle VM. Также рекомендую статью Hard and Soft Partitioning with Oracle VM.

Для Microsoft Azure разрешена license mobility.

Альтернативное лицензирование

Специальная политика лицензирования для облачных провайдеров.

Как превратить soft partitioning в hard при использовании VMware vSphere?

VMware выпускает специальный документ Understanding Oracle Certification, Support and Licensing for VMware Environments, который даёт ответ, что использованиие CPU Affinity по аналогии с Oracle VM позволяет лицензировать под Oracle DB только используемые ядра.
Юридическая сторона вопрос разобрана специалистами компании House of Brick Technologies, занимающейся аудитом использования лицензий, в статье Oracle Licensing: Soft Partitioning on VMware is Your Contractual Right.

Вывод

Для легального использования лицензий Oracle DB по количеству используемых ядер в виртуальной среде VMware vSphere необходимо:

  • отключить применение технологий vMotion, DPM, DRS для виртуальных машин с Oracle DB;
  • назначить посредством CPU Affinity необходимое количество ядер виртуальной машине, при включенном HT — можно добавлять допольнительно нечётные ядра;
  • в случае аудита лицензий, должна быть возможность трекинга перемещений виртуальной машины, что можно выполнить в vSphere без особых проблем.

На первый взгляд, кажется, что после прочтения всей этой кучи документов вопросов не осталось. Как бы не так….

Осталась ещё одна функия — HA, с точки зрения использования Oracle VM нет прямого запрета в документах Oracle использовать данный функционал и он разрешен, а вот VMware считает это перемещением виртуальной машины и советует отключать.

Если же под ногами денег куры не клюют и очень хочется использовать механизмы автоматического размещения и миграции виртуальных машин, то необходимо лицензировать все ядра на всех хостах, где может оказаться  Oracle DB.

IBM Storwize/SVC vs EMC VNX 2TB LUN

У компании IBM есть отличная линейка систем хранения Storwize/SVC. Одной из функций которой является виртуализатор разделов чужих систем хранения. К сожалению, владельцы EMC VNX страдали одним досадным нюансом — с данных систем нельзя было подключить раздел размером свыше 2 TB.

Одним коллегам даже пришлось уйти на EMC VPLEX из-за этой несуразности.

Недавно это недоразумение было устранено. С версии 7.3.0.5 виртуализаторы Storwize/SVC стали поддерживать разделы свыше 2 TB для следующих систем хранения:

  • EMC VNX 5100, 5300, 5500, 5700, 7500, 5200, 5400, 5600, 5800, 7600, 8000.
  • EMC VMAX 10k, 20k, 40k.
  • NetApp E5460, E5424, E5412, EF540, E2660, E2624, E2612 (все с версии Storwize/SVC 7.1.0.5), E5560, E5524, E5512, EF550, E2760, E2724, E2712.
  • Xiotech X-IO ISE 200 Series (210, 220, 230, 240).
  • Xiotech X-IO Hyper ISE 7 Series (710, 720, 730, 740).

Вышел Brocade Network Advisor версии 12.3

Вышел Brocade(также известен, как HP, IBM) Network Advisor версии 12.3. Данная утилита предназначена для мониторинга SAN(FC, IP). Позволяет отслеживать нагрузку по портам, определять бутылочные горлышки сети, настраивать зоны, собирать и показывать ошибки.

Чем интересна данная версия?

Во-первых она поддерживает интеграцию в различные платформы виртуализации:

  • VMware vCenter, vCenter Operations Management Suite, and Log Insight;
  • Microsoft System Center Operations Manager and Virtual Machine Manager;
  • OpenStack;
  • EMC ViPR;
  • HP OneView;
  • IBM PowerVC.

Во-вторых, у неё появился веб-интерфейс.bna_web_dashboardВ-третьих, программа стала бесплатной для использования с 2 фабриками до 300 портов на Brocade Fabric OS в редакции SAN Professional, что является типовым для небольших сетей.

ЧаВо.

Качать через сайты «производителей» коммутаторов.

PowerVM Virtualization Performance Advisor

На прошлой неделе мы рассмотрели несколько анализаторов для компонентов инфраструктуры IBM PowerVM.

Сегодня на повестке дня наиболее комплексный и современный — PowerVM Virtualization Performance Advisor.

Данная утилита ставится на один из LPAR, подключается к HMC и анализирует настройки и производительность LPAR либо хоста в целом.

Для работы программы должны быть выполненые следующие требования:

  • должен быть установлен SSH;
  • на каждом LPAR стоит галка «Allow performance information collection»;
  • на каждом LPAR запущена служба xmtopas:
    проверяем запуском

    ps -ef |grep xmtopas

    если среди запущенных нет, то проверяем /etc/inetd.conf — не закомментирована ли служба, убираем комментарий и делаем:

    refresh -s inetd

    либо запускаем службу командой

    xmpeek -l

Для установки и предварительной настройки также надо выполнить ряд действий

Распаковать дистрибутив утилиты локально и в LPAR

 tar -xvf vpa.tar

И произвести обмен SSH-ключами между LPAR и HMC в целях отказа от ввода пароля при подсоединии

./setup.pl -hmc hmc.local.com -user hscroot

В моей инфраструктуре данный настройщик не работает, но можно эту настройку выполнить вручную по этой инструкции. Мне же пришлось многократно повторять пароль к HMC во время работы утилиты.

Утилита работает в двух режимах: анализ системы — хоста, анализ LPAR.

Для запуска в режиме анализа системы понадобится список систем из HMC:

 ssh -l hscroot hmc.local.com lssyscfg -r sys -Fname

Запуск осуществляется командой из распакованного каталога vpa:

./virt_pa.pl -t 60 –hmc hmc.local.com –user hscroot -sys p750-01 -level sys

В результате через 60 минут получим virt_pa_output.xml, который копируем в локальную папку vpa и там открываем браузером:vpa_sysДля запуска в режиме анализа системы понадобится LPAR SYSTEMID:

uname -l

Запуск осуществляется командой из распакованного каталога vpa:

 ./virt_pa.pl -t 30 –hmc hmc.local.com –user hscroot -sys p750-01 -level lpar -sysid 4136078156

В результате через 30 минут получим virt_pa_output.xml, который копируем в локальную папку vpa и там открываем браузером:vpa_lpar

IBM PowerVM Inactive Live Partition Mobility

Как и VMware vSphere IBM PowerVM умеет делать миграцию LPAR(logical partition — виртуальная машина в терминологии PowerVM).

Миграция существует 2 видов: Inactive — перерегистрация неактивного(выключенного или в режиме Suspend) LPAR на другом хосте, Active — перемещение включенного LPAR с хоста на хост.

В этой заметке расскажу только об Inactive. Это простой режим с маленьким списком требований. Миграцию осуществляется в данном примере с помощью IBM HMC. Хосты имеют возможность «Inactive Partition Mobility Capable».

Необходимы VIOS на хосте-источнике и хосте-цели с установленной галкой Mover Service Partition:vios_mspДля тестирования создан LPAR без сетевых и дисковых устройств (виртуальных либо физических), без AIX.

Для миграции советую вместо команды Migrate использовать команду Validate — сэкономите пару десятков и кликов, да и с полминуты времени:menu_mobility_validate
Заполняем поля формы (если бы выбрали Migrate эти же поля заполняли бы в 5-7 формах мастера миграции):lpm_validateЖмём Validate. Если всё ок, то даст нажать Migrate, сам создат профиль на целевом хосте(если не указали) и предоставит возможность выбрать общий процессорный пул.

Жмём Migrate. Смотрим несколько секунд на окно прогресса и, вуаля, LPAR на новом хосте.

Если у вас подключены адаптеры, то следует осторожно относится к данной миграции, особенно, в случае установки галок перекрытия ошибок виртуальных хранилищ и сетей, а также наличия физический адаптеров(либо сругается либо отрубит их от машины). Также внимательно смотрите на привязку ID адаптеров между новым и старым VIOS.

Настоятельно советую ознакомиться с красными книгами «IBM PowerVM Live Partition Mobility«, «IBM PowerVM Enhancements What is New in 2013«.