Записки о виртуализации и о жизни
Вышла версия 2.80 бесплатного мониторинга систем хранения Stor2RRD.
Поддержка новых систем хранения, ПО и функций:
1920 февраля 2020 года ожидается выход новой версии бесплатного мониторинга систем хранения Stor2RRD.
Поддержка новых систем хранения и ПО:
Stor2RRD от поддержки корпоративных систем переходит к поддержке популярных SOHO решений, если в версии 2.70 поддержан FreeNAS, то во втором-третьем кварталах 2020 года планируется поддержать и другие очень популярные решения начального уровня:
Самое главное – обещают поддержать отечественную систему хранения RAIDIX!
UPDATE:
Также анонсирована дорожная карта для мониторинга виртуальных сред LPAR2RRD:
Q2 2020
Q3 2020
UPDATE 2.0:
В платной версии STOR2RRD v2.80 будет доступная полная топологическая схема SAN через инструмент Mapping.
У компании IBM есть отличная линейка систем хранения Storwize/SVC. Одной из функций которой является виртуализатор разделов чужих систем хранения. К сожалению, владельцы EMC VNX страдали одним досадным нюансом – с данных систем нельзя было подключить раздел размером свыше 2 TB.
Одним коллегам даже пришлось уйти на EMC VPLEX из-за этой несуразности.
Недавно это недоразумение было устранено. С версии 7.3.0.5 виртуализаторы Storwize/SVC стали поддерживать разделы свыше 2 TB для следующих систем хранения:
В моей инфраструктуре используются лезвийные серверы и шасси производства IBM, а у Андрея производства HP. Но, у него и у меня стоят FC-коммутаторы Brocade.
При анализе совместимости Brocade Fabric OS невозможно понять подходит она конкретному коммутатору или нет. Причина в том, что Brocade использует в своей документации свои кодировки моделей коммутаторов.
Чтобы быстро определиться какая модель IBM, HP, DELL, NETAPP, ORACLE, HITACHI, EMC, UNISYS, FUJITSU соответствует внутренней маркировке Brocade необходимо перейти на страницу OEM Partners, выбрать производителя и щелкнуть по закладке Products.
Для IBM также советую воспользоваться блогом Anthony Vandewerdt, у него есть таблица с указанием старых коммутаторов со скоростями 1,2,4 гигабит/с, которых нет на официальном сайте – Brocade SAN Switch Models.
Наш блог уделяет внимание не только виртуализации, но и её фундаменту – аппаратной инфраструктуре.
Сегодня мне в руки попала презентация линейки второго поколения систем хранения среднего уровня EMC VNX: VNX5400, VNX5600, VNX5800, VNX7600, VNX8000.
Что нового в EMC VNX второго поколения:
Скачать презентацию, ссылка доступна на момент публикации ;).
Обзорная статья от Jason Nash “Introducing the Next Generation VNX Arrays from EMC“, ссылка доступна на момент публикации 😉 .
Поубавить восторгов. Русская версия статьи в блоге Романа Хмелевского.
P.S. Анонс новой системы в сентябре 2013. Часть программного функционала будет доступна в течении нескольких фаз (этапов), аппаратные возможности также будут некоторое время дополняться. Анонс систем хранения начального уровня EMC VNXe второго поколения будет в первом квартале 2014 года.
Очередной этап тонкой настройки политик выбора пути в vSphere 5.1.
Виталий Волнянский около полутора лет назал писал обзор “Настройка значения IOOperationLimit для RoundRobin на нескольких виртуальных хранилищ одновременно“, но есть небольшие изменения в vSphere 5.1, да и скрипты на PowerShell попривлекательней.
Одним из самых эффективных методов увеличения скорости доступ к системам хранения, поддерживающих для Native Multipathing (NMP) Path Selection Plug-ins (PSP) режим работы Round Robin, и снижения задержек является уменьшение значения по умолчанию параметра I/O operation limit с 1000 операций ввода-вывода до 1-10. Данный параметр регулирует “такт” перехода к следующему активному пути(для ALUA по умолчанию с учетом оптимального пути, регулируется параметром useano), то есть через сколько операций переключиться на следующий путь.
Что даёт и для каких систем рекомендуется/протестировано:
Как включить?
Это самое простое, но грабля есть.
Подаем команду на нужных дисках и готово:
|
1 |
esxcli storage nmp psp roundrobin deviceconfig set -t iops -I 1 -d naa.xxxxxxxxx |
Грабля в vSphere 5.1.
В vSphere 5.1 у команды добавился параметр cfgfile, что повлияло на реализацию функции в PowerShell, сейчас синтаксис такой(2 часа выяснял причину сбоя в работе старых скриптов):
boolean set(long bytes, boolean cfgfile, string device, long iops, string type, boolean useano),
как получить описание функций:
|
1 2 |
$esxcli=Get-EsxCli $esxcli.storage.nmp.psp.roundrobin.deviceconfig|Get-Member|fl |
пример на PowerShell:
|
1 |
$esxcli.storage.nmp.psp.roundrobin.deviceconfig.set($null,$null,'naa.xxx',1,'iops',$false) |
P.S. Если для вашей системы нет рекомендаций от производителя по уменьшению значения параметра, то вся ответственность за последствия изменений лежит на вас.
P.P.S. Продолжаем изучать PowerShell
Скрипт опроса LUN, подключенных с IBM SVC. Для установки параметра код поправите сами. 😉
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 |
#### Variables $VC = "vcenter" $psp = "VMW_PSP_RR" $satp = "VMW_SATP_SVC" #### Connect to Your vCenter Connect-viserver -Server $VC #### Get IBM SVC Round Robin's LUNs status $vchosts = Get-VMHost foreach ($vmhost in $vchosts) { $myesxcli=get-esxcli -VMHost $vmhost write-host $vmhost.name Get-VMHost $vmhost | Get-ScsiLun -CanonicalName "naa.6005*" | Where {$_.MultipathPolicy -eq "RoundRobin"} | %{$myesxcli.storage.nmp.psp.roundrobin.deviceconfig.get($_.CanonicalName)} } #### Disconnect from Your vCenter Disconnect-VIServer $VC -Confirm:$false |
Изрядно нахлебавшись, решил раскрыть тему, ранее отданную читателям блога на самостоятельное изучение, – какие нюансы могут всплыть при настройке виртуальной среды VMware vSphere при использовании кластеризации в Windows Server 2008(R2). Также советую прочитать обзор Андрея “Поддержка кластеризации в виртуальных средах“.
Тема очень обширна, поэтому рассмотрю проблемы и их решения в моей инфраструктуре.
Что имеем:
Проблема первая. Суровая.
Симптомы: после настройки MSCS время загрузки хостов увеличилось примерно на 25 минут; стали проявляться проблемы с запуском/рестартом агентов управления на хостах; возникли длительные задержки при вызове свойств дисковых устройств, подключенных в MCSC-кластер на пассивных нодах.
Причины: выяснение причин оказалось делом несложным, в базе знаний VMware есть статья описывающая данное поведение “ESXi/ESX hosts with visibility to RDM LUNs being used by MSCS nodes with RDMs may take a long time to boot or during LUN rescan“. При включении серверов, несущих пасивные ноды, происходит опрос дисков, в это время диски, подключенные к активным нодам, зарезервированы нодами по SCSI.
Решение: достаточно уведомить все хосты о том, что часть дисков находится в SCSI-reservation, для этого необходимо выставить у данных дисков параметр perennially-reserved равный true.
Так как “лень – матушка, да PowerShell – батюшка”, то накидал примитивный скрипт:
|
1 2 3 4 5 6 7 |
Connect-VIServer -Server vcenter Get-VMHost | foreach { $myesxcli=get-esxcli -VMHost $_ $myesxcli.storage.core.device.setconfig($false,"naa.идентификатор устройства", $true) } Disconnect-VIServer -Server * -Force |
Проверить статус можно следующей командой:
|
1 |
$myesxcli.storage.core.device.list("naa.идентификатор устройства") |
Идентификатор устройства получаем кликом правой кнопки мыши по нужному MSCS-диску в хост-Сonfiguration-Storage-Devices и выбором пункта “Copy identifier to clipboard”.
Проблема вторая. Весёлая.
Откуда ноги растут: при выходе vSphere 5.1 EMC и VMware стали поддерживать режима выбора пути RoundRobin для систем VNX. Как это круто читаем статью “FIXED/Round Robin in 5.1 and A Simple PowerCLI Block Pathing Module“. На грабли я встать не успел, но суть в следующем: при обновлении до версии 5.1 политика выбора пути по умолчанию для VNX поменяется с VMW_PSP_FIXED на VMW_PSP_RR. В итоге для MSCS-дисков вы получите неподдерживаемую конфигурацию, так как смена пути приводит к ошибке в работе механизма SCSI reservation. Соль ситуации – всё это получается автоматом.
Решение: установить на MSCS-дисках режим выбора пути в Fixed. Засада возникает при желании сделать это вручную – симптомы описаны в первой проблеме.
Предлагаю очередной примитивный скриптик:
|
1 2 3 4 5 6 7 |
Connect-VIServer -Server vcenter Get-VMHost | foreach { $myesxcli=get-esxcli -VMHost $_ $myesxcli.storage.nmp.device.set($null,"naa.идентификатор устройства","VMW_PSP_FIXED") } Disconnect-VIServer -Server * -Force |
Проверить статус можно следующей командой:
|
1 |
$myesxcli.storage.nmp.device.list("naa.идентификатор устройства") |
Напоминалка.
При любых внедрениях Windows Server 2008(R2) MSCS(WSFC) обязательно перечитайте документацию по последней версии vSphere, так как выход каждой новой версии вносит новые требования к дополнительной тонкой настройке:
У меня есть Celerra NX4, в рекомендациях к ней указано, что IOOperationLimit (число команд, которое будет отправлено по одному пути, до переключения на следующий) для виртуальных хранилищ при включенном алгоритме multipath RoundRobin стоит выставлять в значение равное 1 (единице).
Все бы ничего, кроме того что у меня этих виртуальных хранилищ больше десятка и 8 хостов. Итого более 80 раз вбивать однотипные команды? Ну уж нет – это не unix way.
Для начала проверим какое значение у этого параметра уже выставлено: Continue reading “Настройка значения IOOperationLimit для RoundRobin на нескольких виртуальных хранилищ одновременно”
Вчера возникла задача по изменению IP адресов на Celerra и интегрированном CLARiiON.
В связи с тем, что Celerra поставлялась без интегрированного свитча, то техники воткнули её в свитч общей сети не особо разбираясь. И вот настал момент, когда нужно было перенести все линки в отдельную сеть управления, изолированную от основной физически.
Поиск в интернете внятных инструкций не дал, а поиск на powerlink.emc.com – это как искать книги Дарьи Донцовой в библиотеке конгресса… В общем на это ушло почти два часа и еще немного времени, чтобы исправить возникшие в процессе ошибки.
Краткий план по смене IP адресов, чтобы случайно не упустить его из виду. Это common sense, но все же лучше перестраховаться, чем потом искать serial кабель для подключения к массиву.
ВНИМАНИЕ: данную операцию следует производить во время минимальной активности, так как Storage Processors будут перезагружены после смены IP. Хоть это и не остановит доступ клиентов к хранилищу, но все же стоит подстраховаться.
Подробнее под катом.
Continue reading “Изменение IP адресов Celerra Control Station и Storage Processors”
У компании EMC есть замечательная штука под названием Solutions Enabler (SE), которая необходима для плагина Virtual Storage Integrator для vCenter и для управления CLARiiON и Symmetrix. Solutions Enabler имеет довольно широкий функционал, который требуется дополнительно лицензировать, но так как я хочу использовать его только для EMC VSI plug-in, то никаких лицензий дополнительно не требуется, потому что базовая лицензия на него идет в комплекте с любым СХД от EMC. Отмечу то, что если Вы являетесь владельцем любой СХД EMC, то у Вас есть все основания использовать их плагины для vCenter, они бесплатны и дают достаточно преимуществ, чтобы их не игнорировать.
Моей целью было подружить SE с vCenter, а так как мне было невероятно лень устанавливать сервер Solutions Enabler, то я использовал vApp с ним, что заметно удобнее. Скачать его можно с powerlink –> support –> software downloads licensing –> Downloads S –> Solutions Enabler.