В связи с выходом VMware vSphere 7.0 стала доступна технология NVMe over Fabric (NVMe-oF) для управления операциями с накопителями и передачи данных по протоколу NVMe вместо SCSI.
Dmitriy Shevchenko прислал инструкцию, которую мы сегодня и публикуем.
Перечень оборудования и ПО
Система хранения: Netapp AFF A320; версия ПО: ONTAP Release 9.7P1.
Коммутаторы сети хранения данных: Brocade 6505 16Gb 24 Port 2 шт. ; FOS FW 8.2.1c.
Сервер: Fujitsu PRIMERGY RX2530 M5 c FC-адаптерами Broadcom (EMULEX) LPe32002, версия FW 12.4.243.17 (рекомендованная в матрице совместимости Netapp).
Гипервизор: ESXi-7.0.0-15843807.
Схема подключения:
Предварительная подготовка:
- Обновляем Netapp AFF A320 до рекомендуемой версии ПО, на момент написания инструкции это версия ONTAP 9.7P1.
- Обновляем FW на коммутаторах Brocade, на момент написания мануала это версия Fabric OS v2.1c.
- Проверяем, что N_Port ID virtualization (NPIV) на порту включен. Для этого заходим на интерфейс управления командной строкой коммутаторов Brocade и запускаем команду, например, для 3 порта:
portcfgshow 3
Если не включен используем команду:
portCfgNPIVPort <PortNumber> <Mode>
Mode Meaning: 0 Disable the NPIV capability on the port, 1 Enable the NPIV capability on the port
Пример: portCfgNPIVPort 3 1 - Подключаем всё оборудование по схеме, указанной выше. Используем, как минимум, 1 коммутатор.
- Устанавливаем VMware ESXi-7.0.0.
- Скачиваем и устанавливаем драйвера на FC HBA.
Файл имеет вид Broadcom-ELX-brcmnvmefc6.228.4-1OEM.700.1.0.15525992_16014670-package.zip (при попытки найти драйвера на сайте https://www.broadcom.com/products/storage/fibre-channel-host-bus-adapters/lpe32002-m2 и скачать вас ждёт сюрприз.
Скачивается txt-файл с содержимым:
This driver is available at the following link:
ESXi 7.0 NVMe — https://my.vmware.com/en/group/vmware/details?downloadGroup=DT-ESXI_70-BROADCOM-BRCMNVMEFC-1262284&productId=974
И второй драйвер (без него не взлетело):
ESXi 7.0 LPFC — https://my.vmware.com/en/group/vmware/details?downloadGroup=DT-ESXI_70-BROADCOM-LPFC-262284&productId=974
Копируем скаченный драйвер на наш сервер через SCP-клиент (например, Winscp) в /tmp, предварительно запустив службы.
После чего подключаемся к хосту по ssh через любой клиент.
Смотрим, что же стоит у нас по умолчанию:
esxcli software vib list | grep lpfc
esxcli software vib list | grep brcmnvmefc
Из коробки драйвер как бы есть, но nvme мы не видим.
- Переходим к обновлению драйверов:
Распакуем архив:
LPFC
unzip Broadcom-ELX-lpfc_12.6.228.4-1OEM.700.1.0.15525992_16014644-package\ \(1\).zip
esxcli software vib update --maintenance-mode -d file:///tmp/lpfc/Broadcom-ELX-lpfc_12.6.228.4-1OEM.700.1.0.15525992_16014644.zip
NVMe
unzip Broadcom-ELX-brcmnvmefc_12.6.228.4-1OEM.700.1.0.15525992_16014670-package.zip
Устанавливаем командой
esxcli software vib update --maintenance-mode -d file:///tmp/Broadcom-ELX-brcmnvmefc_12.6.228.4-1OEM.700.1.0.15525992_16014670.zip
Как видим, всё прошло успешно.
Так же перед перезагрузкой необходимо установить параметр lpfc_enable_fc4_type=3
esxcli system module parameters set -p lpfc_enable_fc4_type=3 -m lpfc
Если необходимо прошить HBA, то следует выполнить следующие шаги.
Скачиваем последнюю firmware для HBA с www.broadcom.com.
И устанавливаем следующей командой:
esxcli elxmgmt hba firmware download -w <wwpn> -f <firmware_filename>
Перезагружаем сервер (reboot).
После перезагрузки мы увидим ещё 2 адаптера
Подключение к СХД и раздача namespace’оф
Подключаемся к нашему хосту по SSH для получения Host NQN:
esxcli nvme info get
Дальнейшие действия необходимо выполнить на стороне СХД.
Необходимо создать SVM:
После данного шага необходимо настроить зоны на коммутаторах Brocade, так как при создании SVM также создаются и виртуальные NWWN, и PWWN.
Создаём наш NVMe Subsystem:
Создаём Namespace:
Примечание: для VMware block—size=512B.
Если всё сделано правильно, то вы должны увидеть namespace:
Пути подключения:
Настройки multipathing:
Создаём Datastore:
Переходим к настройкам виртуальной машины
Добавляем NVMe контроллер:
Добавляем непосредственно сам диск:
Готово!
Дополнительные материалы
Emulex® Drivers for VMware ESXi https://docs.broadcom.com/doc/12398084
Emulex® NVMe over Fibre Channel on VMware ESXi 7.0 https://docs.broadcom.com/doc/12398269
TR-4766: NetApp E-Series and NVMe Over Fabrics Support https://www.netapp.com/us/media/tr-4766.pdf
Implementing and Configuring Modern SANs
with NVMe/FC https://www.netapp.com/us/media/tr-4684.pdf
NetApp, VMware, and Broadcom Verified Architecture
Design Edition: With MS Windows Server 2019 and MS
SQL Server 2017 Workloads https://www.netapp.com/us/media/nva-1145-design.pdf
Вебинары
Pro SDDC. Гости – Broadcom and Mellanox. NVMe over Fabric (NVMeoF). https://prosddc.ru/event/pro-sddc-гости-broadcom-and-mellanox-nvme-over-fabric-nvmeof/
Новости Brocade. NVMe и NVMe-over-Fabrics – текущее состояние и перспективы.
https://gateway.on24.com/wcc/eh/1474757/lp/2214472/fc