Настройка NVMe-oF подключения к VMware vSphere 7.0

В связи с выходом VMware vSphere 7.0 стала доступна технология NVMe over Fabric (NVMe-oF) для управления операциями с накопителями и передачи данных по протоколу NVMe вместо SCSI.

Dmitriy Shevchenko прислал инструкцию, которую мы сегодня и публикуем.

Перечень оборудования и ПО

Система хранения: Netapp AFF A320; версия ПО: ONTAP Release 9.7P1.

Коммутаторы сети хранения данных: Brocade 6505 16Gb 24 Port 2 шт. ; FOS FW 8.2.1c.

Сервер: Fujitsu PRIMERGY RX2530 M5 c FC-адаптерами Broadcom (EMULEX) LPe32002, версия FW 12.4.243.17 (рекомендованная в матрице совместимости Netapp).

Гипервизор: ESXi-7.0.0-15843807.

Схема подключения:

Предварительная подготовка:

1. Обновляем Netapp AFF A320 до рекомендуемой версии ПО, на момент написания инструкции это версия ONTAP 9.7P1.
2. Обновляем FW на коммутаторах Brocade, на момент написания мануала это версия Fabric OS v2.1c.
3. Проверяем, что N_Port ID virtualization (NPIV) на порту включен. Для этого заходим на интерфейс управления командной строкой коммутаторов Brocade и запускаем команду, например, для 3 порта:

   portcfgshow 3

   Если не включен используем команду:
   portCfgNPIVPort <PortNumber> <Mode>
   Mode Meaning: 0 Disable the NPIV capability on the port, 1 Enable the NPIV capability on the port
   Пример: portCfgNPIVPort 3 1

4. Подключаем всё оборудование по схеме, указанной выше. Используем, как минимум, 1 коммутатор.
5. Устанавливаем VMware ESXi-7.0.0.
6. Скачиваем и устанавливаем драйвера на FC HBA.
   Файл имеет вид Broadcom-ELX-brcmnvmefc6.228.4-1OEM.700.1.0.15525992_16014670-package.zip (при попытки найти драйвера на сайте https://www.broadcom.com/products/storage/fibre-channel-host-bus-adapters/lpe32002-m2 и скачать вас ждёт сюрприз.
   Скачивается txt-файл с содержимым:

   This driver is available at the following link:

ESXi 7.0 NVMe — https://my.vmware.com/en/group/vmware/details?downloadGroup=DT-ESXI_70-BROADCOM-BRCMNVMEFC-1262284&productId=974

И второй драйвер (без него не взлетело):

ESXi 7.0 LPFC — https://my.vmware.com/en/group/vmware/details?downloadGroup=DT-ESXI_70-BROADCOM-LPFC-262284&productId=974

Копируем скаченный драйвер на наш сервер через SCP-клиент (например, Winscp) в /tmp, предварительно запустив службы.

После чего подключаемся к хосту по ssh через любой клиент.

Смотрим, что же стоит у нас по умолчанию:

esxcli software vib list | grep lpfc

esxcli software vib list | grep brcmnvmefc

Из коробки драйвер как бы есть, но nvme мы не видим.

6. Переходим к обновлению драйверов:

Распакуем архив:

LPFC

unzip Broadcom-ELX-lpfc_12.6.228.4-1OEM.700.1.0.15525992_16014644-package\ \(1\).zip

esxcli software vib update --maintenance-mode -d file:///tmp/lpfc/Broadcom-ELX-lpfc_12.6.228.4-1OEM.700.1.0.15525992_16014644.zip

NVMe

unzip Broadcom-ELX-brcmnvmefc_12.6.228.4-1OEM.700.1.0.15525992_16014670-package.zip

Устанавливаем командой

esxcli software vib update --maintenance-mode -d file:///tmp/Broadcom-ELX-brcmnvmefc_12.6.228.4-1OEM.700.1.0.15525992_16014670.zip

Как видим, всё прошло успешно.

Так же перед перезагрузкой необходимо установить параметр lpfc_enable_fc4_type=3

esxcli system module parameters set -p lpfc_enable_fc4_type=3 -m lpfc

Если необходимо прошить HBA, то следует выполнить следующие шаги.

Скачиваем последнюю firmware для HBA с www.broadcom.com.

И устанавливаем следующей командой:

esxcli elxmgmt hba firmware download -w <wwpn> -f <firmware_filename>

Перезагружаем сервер (reboot).

После перезагрузки мы увидим ещё 2 адаптера 

 Подключение к СХД и раздача namespace’оф

 Подключаемся к нашему хосту по SSH для получения Host NQN:

esxcli nvme info get

Дальнейшие действия необходимо выполнить на стороне СХД.

Необходимо создать SVM:

После данного шага необходимо настроить зоны на коммутаторах Brocade, так как при создании SVM также создаются и виртуальные NWWN, и PWWN.

Создаём наш NVMe Subsystem:

Создаём Namespace:

Примечание: для VMware block—size=512B.

Если всё сделано правильно, то вы должны увидеть namespace:

Пути подключения:

Настройки multipathing:

Создаём Datastore:

Переходим к настройкам виртуальной машины

Добавляем NVMe контроллер:

Добавляем непосредственно сам диск:

Готово!

Дополнительные материалы

vSphere 7.0 Storage

Emulex® Drivers for VMware ESXi https://docs.broadcom.com/doc/12398084

Emulex® NVMe over Fibre Channel on VMware ESXi 7.0 https://docs.broadcom.com/doc/12398269

TR-4766: NetApp E-Series and NVMe Over Fabrics Support https://www.netapp.com/us/media/tr-4766.pdf

Implementing and Configuring Modern SANs
with NVMe/FC https://www.netapp.com/us/media/tr-4684.pdf

NetApp, VMware, and Broadcom Verified Architecture
Design Edition: With MS Windows Server 2019 and MS
SQL Server 2017 Workloads https://www.netapp.com/us/media/nva-1145-design.pdf

Вебинары

Pro SDDC. Гости – Broadcom and Mellanox. NVMe over Fabric (NVMeoF). https://prosddc.ru/event/pro-sddc-гости-broadcom-and-mellanox-nvme-over-fabric-nvmeof/

Новости Brocade. NVMe и NVMe-over-Fabrics – текущее состояние и перспективы.
https://gateway.on24.com/wcc/eh/1474757/lp/2214472/fc