Записки о виртуализации и жизни
Мы несколько лет используем Zabbix для мониторинга различных операционных систем — Linux, Windows, vSphere.
Иногда приходится добавлять и железо. Пришла задачка замониторить ленточную библиотеку IBM TS3310 Tape Library.
Скачать шаблон IBM TS3310 Tape Library SNMP в формате Zabbix 6.
При настройке указать в Макросах {$SNMP_COMMUNITY}. Триггеров пока нет.
P.S. Обнаружение должно работать и на других ленточных библиотеках IBM, про элементы данных(items) не уверен.
Disclamer: все дальнейшие рассуждения, настройки и выбранные методы тестирования могут быть ошибочны. Никакого отношения к компаниям Lenovo, NetApp, Broadcom мы не имеем.
Осенью 2021 года в наши загребущие ручонки попала система хранения данных (СХД) Lenovo ThinkSystem DE6000F с внутренней поддержкой протокола передачи NVMe и установленными дисками SAS SSD. Система также позволяет использовать протокол NVMe в среде сети хранения данных (SAN, Storage Area Network). Поскольку это вторая система хранения такого типа в наших руках, то решено подключить её к SAN по протоколу NVMe over FC (NVMe/FC) и проверить, реализуются ли на практике теоретические преимущества протокола NVMe. Чтобы переключить СХД на использование нового протокола, на сайте Lenovo FOD получена соответствующая лицензия. СХД не может одновременно использовать несколько протоколов в одной среде передачи, поэтому включение протокола NVMe/FC приводит к отключению возможности работы по протоколу FC. Соответственно, СХД пропадает из зоны доступности серверов, FC-адаптеры которых не могут работать с новым протоколом. Из имеющихся для стендирования серверов поддержку NVMe over FC «из коробки» имеют серверы Lenovo ThinkServer SR650 c 32-гигабитными FC-адаптерами и серверы Lenovo ThinkServer SR630 с 16 -гигабитными FС-адаптерами после обновления прошивок и драйверов FC-адаптеров. Читать далее «Тестирование СХД Lenovo ThinkSystem DE6000F по протоколу передачи NVMe over FC»
Мы несколько лет используем Zabbix для мониторинга различных операционных систем — Linux, Windows, vSphere.
Иногда приходится добавлять и железо. Пришла задачка замониторить лезвийное шасси IBM Bladecenter H.
Поиск выдал старый шаблон Template IBM BC_AMM SNMP Chassis Stats.xml в формате Zabbix 2.0. Мы его посмотрели и наваяли свой под Zabbix 6.0.
Скачать шаблон IBM Bladecenter AMM SNMP в формате Zabbix 6.
P.S. Дополнительно залил пропавший на просторах сети шаблон для Lenovo ThinkSystem XClarity Contoller (заменить USERNAME и PASSWORD в макросах).
Семейство серверов IBM/LENOVO System X серии M5 может иметь предустановленный Embedded Hypervisor на SD-карте с совместимой версией ESXi 6.x.
При попытке обновиться до версии ESXi 7.0 выходит ошибка:
|
1 |
<em>The boot disk has a size of 1024MB, the minimum requirement of the upgrade image is 3814MB.</em> |
Управление SD-картой осуществляется в интерфейсе IMM2. Анализ адаптера показывает, что в реальности используются 32 ГБ карты, но на заводе создан виртуальный диск на 1 ГБ. Расширение размеров не поддерживается.
Для установки ESXi 7.0 придётся прибегнуть к обходной схеме:
P.S. Возможно, данная проблема встречается и на серверах других производителей с предустановленным гипервизором.
Disclamer: все дальнейшие рассуждения и действия не соответствуют политике технической поддержки VMware. Любое использование оборудования вне VMware HCL может быть использовано только на свой страх и риск. В статье рассматривается только то оборудование, на котором возможен технический запуск ESXi 6.7U3.
В связи с выходом платформы VMware vSphere 7.0 виртуальные системные администраторы стали анализировать возможность обновления либо внедрения данного продукта.
Если проблемы с vCenter 7.0 вполне решаемы и описаны в нашей статье Обновление VMware vCenter с версии 6.7 до 7.0, то с ESXi 7.0 всё не так просто.
Для «упрощения» работы администраторов VMware расширила функциональность Update Manager (VUM) полуавтоматическим анализом оборудования: сверкой моделей серверов с HCL, проверкой версий прошивок и драйверов компонентов. Данная функциональность уже была частично представлена в VSAN [Skyline] Health Hardware compatibility для дисковой подсистемы. Новая версия VUM стала называться vSphere Lifecycle Manager (vLCM). Для загрузки HCL следует в административном интерфейсе нажать ACTIONS->Sync HCL.
Мои ожидания от vLCM были примерно такие — запускаю на хосте Updates -> Hardware Compatibility и система пишет, что оборудование не в HCL, такие-то компоненты не имеют драйверов и не будут работать. В реальности, если сервер не в HCL, то на этом проверка останавливается:
Host model is not compatible with ESXi 7.0
Skipped checking host devices.
Что как бы нас совершенно не устраивает, так как наша цель — запуститься вне HCL, и хотелось бы понимать какие компоненты не имеют драйверов и поддержки.
Поэтому с компонентами придётся разбираться самостоятельно. Читать далее «VMware ESXi 7.0 и неподдерживаемое оборудование»
Вышла версия 2.80 бесплатного мониторинга систем хранения Stor2RRD.
Поддержка новых систем хранения, ПО и функций:
1920 февраля 2020 года ожидается выход новой версии бесплатного мониторинга систем хранения Stor2RRD.
Поддержка новых систем хранения и ПО:
Stor2RRD от поддержки корпоративных систем переходит к поддержке популярных SOHO решений, если в версии 2.70 поддержан FreeNAS, то во втором-третьем кварталах 2020 года планируется поддержать и другие очень популярные решения начального уровня:
Самое главное — обещают поддержать отечественную систему хранения RAIDIX!
UPDATE:
Также анонсирована дорожная карта для мониторинга виртуальных сред LPAR2RRD:
Q2 2020
Q3 2020
UPDATE 2.0:
В платной версии STOR2RRD v2.80 будет доступная полная топологическая схема SAN через инструмент Mapping.
В 2013 году столкнулись с парой проблем с сетевыми картами Emulex 10 GbE — одна проблема описана в статье IBM HS23, vSphere и 10 GbE, вторая была — неожиданная сетевая изоляция хостов.
Спустя 3 года ситуация повторяется — хост внезапно уходит в сетевую изоляцию. Подозрения сразу пали на сетевую карту Emulex.
Подтверждение проблемы обнаружено в логе vmkernel.log:
|
1 2 |
WARNING: elxnet: elxnet_detectDumpUe:275: [vmnic3] UE Detected!! elxnet: elxnet_detectDumpUe:287: 0000:16:00.5: Forcing Link Down as Unrecoverable Error detected in chip/fw. |
Некие намёки в БЗ VMware:
Заметка в бложике:
ESXi 5.5 and Emulex OneConnect 10Gb NIC
В качестве решения — замена прошивки, обновление драйвера.
Доля тяжёлых RISC-системы падает (из RISC-овых архитектур растёт только ARM), а вот x86 занимает всё больше ниш, в том числе с такими ресурсоёмкими приложениями, как Oracle DB.
На данный момент у меня Oracle DB работает на серверах с архитектурой IBM Power7. Данная платформа имеет отличную фишку по экономии средств на лицензирование СУБД за счет использования hard partitioning в соответствии с Oracle Partitioning Policy. При создании виртуальной машины (LPAR) в IBM PowerVM достаточно указать, что процессоры «выделенные» (Dedicated), не разрешать живую миграцию (Live Partition Mobility) и спокойно можно использовать 10 лицензий на 16 ядерном сервере.
А вот на плаформе x86 с политикой лицензирования Oracle полная каша. Возникает вопрос в определении — что используется в текущий момент soft или hard partitioning? Ответ не так прост, так как всё зависит от настроек.
Честный hard partioning на платформе x86
Вариантов мне известно два:
Hard partioning на платформе x86 для своих
Использование CPU Affinity в Oracle VM. Также рекомендую статью Hard and Soft Partitioning with Oracle VM.
Для Microsoft Azure разрешена license mobility.
Альтернативное лицензирование
Специальная политика лицензирования для облачных провайдеров.
Как превратить soft partitioning в hard при использовании VMware vSphere?
VMware выпускает специальный документ Understanding Oracle Certification, Support and Licensing for VMware Environments, который даёт ответ, что использованиие CPU Affinity по аналогии с Oracle VM позволяет лицензировать под Oracle DB только используемые ядра.
Юридическая сторона вопрос разобрана специалистами компании House of Brick Technologies, занимающейся аудитом использования лицензий, в статье Oracle Licensing: Soft Partitioning on VMware is Your Contractual Right.
Вывод
Для легального использования лицензий Oracle DB по количеству используемых ядер в виртуальной среде VMware vSphere необходимо:
На первый взгляд, кажется, что после прочтения всей этой кучи документов вопросов не осталось. Как бы не так….
Осталась ещё одна функия — HA, с точки зрения использования Oracle VM нет прямого запрета в документах Oracle использовать данный функционал и он разрешен, а вот VMware считает это перемещением виртуальной машины и советует отключать.
Если же под ногами денег куры не клюют и очень хочется использовать механизмы автоматического размещения и миграции виртуальных машин, то необходимо лицензировать все ядра на всех хостах, где может оказаться Oracle DB.
У компании IBM есть отличная линейка систем хранения Storwize/SVC. Одной из функций которой является виртуализатор разделов чужих систем хранения. К сожалению, владельцы EMC VNX страдали одним досадным нюансом — с данных систем нельзя было подключить раздел размером свыше 2 TB.
Одним коллегам даже пришлось уйти на EMC VPLEX из-за этой несуразности.
Недавно это недоразумение было устранено. С версии 7.3.0.5 виртуализаторы Storwize/SVC стали поддерживать разделы свыше 2 TB для следующих систем хранения: