Настройка NVMe-oF подключения к VMware vSphere 7.0

В связи с выходом VMware vSphere 7.0 стала доступна технология NVMe over Fabric (NVMe-oF) для управления операциями с накопителями и передачи данных по протоколу NVMe вместо SCSI.

Dmitriy Shevchenko прислал инструкцию, которую мы сегодня и публикуем.

Перечень оборудования и ПО

Система хранения: Netapp AFF A320; версия ПО: ONTAP Release 9.7P1.

Коммутаторы сети хранения данных: Brocade 6505 16Gb 24 Port 2 шт. ; FOS FW 8.2.1c.

Сервер: Fujitsu PRIMERGY RX2530 M5 c FC-адаптерами Broadcom (EMULEX) LPe32002, версия FW 12.4.243.17 (рекомендованная в матрице совместимости Netapp).

Гипервизор: ESXi-7.0.0-15843807.

Схема подключения:

Предварительная подготовка:

  1. Обновляем Netapp AFF A320 до рекомендуемой версии ПО, на момент написания инструкции это версия ONTAP 9.7P1.
  2. Обновляем FW на коммутаторах Brocade, на момент написания мануала это версия Fabric OS v2.1c.
  3. Проверяем, что N_Port ID virtualization (NPIV) на порту включен. Для этого заходим на интерфейс управления командной строкой коммутаторов Brocade и запускаем команду, например, для 3 порта:

    Если не включен используем команду:
    portCfgNPIVPort <PortNumber> <Mode>
    Mode Meaning: 0 Disable the NPIV capability on the port, 1 Enable the NPIV capability on the port
    Пример: portCfgNPIVPort 3 1
  4. Подключаем всё оборудование по схеме, указанной выше. Используем, как минимум, 1 коммутатор.
  5. Устанавливаем VMware ESXi-7.0.0.
  6. Скачиваем и устанавливаем драйвера на FC HBA.
    Файл имеет вид Broadcom-ELX-brcmnvmefc6.228.4-1OEM.700.1.0.15525992_16014670-package.zip (при попытки найти драйвера на сайте https://www.broadcom.com/products/storage/fibre-channel-host-bus-adapters/lpe32002-m2 и скачать вас ждёт сюрприз.
    Скачивается txt-файл с содержимым:

ESXi 7.0 NVMehttps://my.vmware.com/en/group/vmware/details?downloadGroup=DT-ESXI_70-BROADCOM-BRCMNVMEFC-1262284&productId=974

И второй драйвер (без него не взлетело):

ESXi 7.0 LPFChttps://my.vmware.com/en/group/vmware/details?downloadGroup=DT-ESXI_70-BROADCOM-LPFC-262284&productId=974

Копируем скаченный драйвер на наш сервер через SCP-клиент (например, Winscp) в /tmp, предварительно запустив службы.

После чего подключаемся к хосту по ssh через любой клиент.

Смотрим, что же стоит у нас по умолчанию:

Из коробки драйвер как бы есть, но nvme мы не видим.

  1. Переходим к обновлению драйверов:

Распакуем архив:

LPFC

NVMe

Устанавливаем командой

Как видим, всё прошло успешно.

Так же перед перезагрузкой необходимо установить параметр lpfc_enable_fc4_type=3

Если необходимо прошить HBA, то следует выполнить следующие шаги.

Скачиваем последнюю firmware для HBA с www.broadcom.com.

И устанавливаем следующей командой:

Перезагружаем сервер (reboot).

После перезагрузки мы увидим ещё 2 адаптера 

 Подключение к СХД и раздача namespace’оф

 Подключаемся к нашему хосту по SSH для получения Host NQN:

Дальнейшие действия необходимо выполнить на стороне СХД.

Необходимо создать SVM:

После данного шага необходимо настроить зоны на коммутаторах Brocade, так как при создании SVM также создаются и виртуальные NWWN, и PWWN.

Создаём наш NVMe Subsystem:

Создаём Namespace:

Примечание: для VMware blocksize=512B.

Если всё сделано правильно, то вы должны увидеть namespace:

Пути подключения:

Настройки multipathing:

Создаём Datastore:

Переходим к настройкам виртуальной машины

Добавляем NVMe контроллер:

Добавляем непосредственно сам диск:

Готово!

Дополнительные материалы

vSphere 7.0 Storage

Emulex® Drivers for VMware ESXi https://docs.broadcom.com/doc/12398084

Emulex® NVMe over Fibre Channel on VMware ESXi 7.0 https://docs.broadcom.com/doc/12398269

TR-4766: NetApp E-Series and NVMe Over Fabrics Support https://www.netapp.com/us/media/tr-4766.pdf

Implementing and Configuring Modern SANs
with NVMe/FC https://www.netapp.com/us/media/tr-4684.pdf

NetApp, VMware, and Broadcom Verified Architecture
Design Edition: With MS Windows Server 2019 and MS
SQL Server 2017 Workloads https://www.netapp.com/us/media/nva-1145-design.pdf

Вебинары

Pro SDDC. Гости – Broadcom and Mellanox. NVMe over Fabric (NVMeoF). https://prosddc.ru/event/pro-sddc-гости-broadcom-and-mellanox-nvme-over-fabric-nvmeof/

Новости Brocade. NVMe и NVMe-over-Fabrics – текущее состояние и перспективы.
https://gateway.on24.com/wcc/eh/1474757/lp/2214472/fc

4 thoughts on “Настройка NVMe-oF подключения к VMware vSphere 7.0”

Leave a Reply

Your email address will not be published. Required fields are marked *