В связи с выходом VMware vSphere 7.0 стала доступна технология NVMe over Fabric (NVMe-oF) для управления операциями с накопителями и передачи данных по протоколу NVMe вместо SCSI.
Dmitriy Shevchenko прислал инструкцию, которую мы сегодня и публикуем.
Перечень оборудования и ПО
Система хранения: Netapp AFF A320; версия ПО: ONTAP Release 9.7P1.
Коммутаторы сети хранения данных: Brocade 6505 16Gb 24 Port 2 шт. ; FOS FW 8.2.1c.
Сервер: Fujitsu PRIMERGY RX2530 M5 c FC-адаптерами Broadcom (EMULEX) LPe32002, версия FW 12.4.243.17 (рекомендованная в матрице совместимости Netapp).
Гипервизор: ESXi-7.0.0-15843807.
Схема подключения:
Предварительная подготовка:
- Обновляем Netapp AFF A320 до рекомендуемой версии ПО, на момент написания инструкции это версия ONTAP 9.7P1.
- Обновляем FW на коммутаторах Brocade, на момент написания мануала это версия Fabric OS v2.1c.
- Проверяем, что N_Port ID virtualization (NPIV) на порту включен. Для этого заходим на интерфейс управления командной строкой коммутаторов Brocade и запускаем команду, например, для 3 порта:
1portcfgshow 3
Если не включен используем команду:
portCfgNPIVPort <PortNumber> <Mode>
Mode Meaning: 0 Disable the NPIV capability on the port, 1 Enable the NPIV capability on the port
Пример: portCfgNPIVPort 3 1 - Подключаем всё оборудование по схеме, указанной выше. Используем, как минимум, 1 коммутатор.
- Устанавливаем VMware ESXi-7.0.0.
- Скачиваем и устанавливаем драйвера на FC HBA.
Файл имеет вид Broadcom-ELX-brcmnvmefc6.228.4-1OEM.700.1.0.15525992_16014670-package.zip (при попытки найти драйвера на сайте https://www.broadcom.com/products/storage/fibre-channel-host-bus-adapters/lpe32002-m2 и скачать вас ждёт сюрприз.
Скачивается txt-файл с содержимым:
1This driver is available at the following link:
ESXi 7.0 NVMe — https://my.vmware.com/en/group/vmware/details?downloadGroup=DT-ESXI_70-BROADCOM-BRCMNVMEFC-1262284&productId=974
И второй драйвер (без него не взлетело):
ESXi 7.0 LPFC — https://my.vmware.com/en/group/vmware/details?downloadGroup=DT-ESXI_70-BROADCOM-LPFC-262284&productId=974
Копируем скаченный драйвер на наш сервер через SCP-клиент (например, Winscp) в /tmp, предварительно запустив службы.
После чего подключаемся к хосту по ssh через любой клиент.
Смотрим, что же стоит у нас по умолчанию:
|
1 |
<em>esxcli software vib list | grep lpfc</em> |
|
1 |
esxcli software vib list | grep brcmnvmefc |
Из коробки драйвер как бы есть, но nvme мы не видим.
- Переходим к обновлению драйверов:
Распакуем архив:
LPFC
|
1 |
unzip Broadcom-ELX-lpfc_12.6.228.4-1OEM.700.1.0.15525992_16014644-package\ \(1\).zip |
|
1 |
esxcli software vib update --maintenance-mode -d file:///tmp/lpfc/Broadcom-ELX-lpfc_12.6.228.4-1OEM.700.1.0.15525992_16014644.zip |
NVMe
|
1 |
<em>unzip Broadcom-ELX-brcmnvmefc_12.6.228.4-1OEM.700.1.0.15525992_16014670-package.zip</em> |
Устанавливаем командой
|
1 |
esxcli software vib update --maintenance-mode -d file:///tmp/Broadcom-ELX-brcmnvmefc_12.6.228.4-1OEM.700.1.0.15525992_16014670.zip |
Как видим, всё прошло успешно.
Так же перед перезагрузкой необходимо установить параметр lpfc_enable_fc4_type=3
|
1 |
<em>esxcli system module parameters set -p lpfc_enable_fc4_type=3 -m lpfc</em> |
Если необходимо прошить HBA, то следует выполнить следующие шаги.
Скачиваем последнюю firmware для HBA с www.broadcom.com.
И устанавливаем следующей командой:
|
1 |
esxcli elxmgmt hba firmware download -w <wwpn> -f <firmware_filename> |
Перезагружаем сервер (reboot).
После перезагрузки мы увидим ещё 2 адаптера 
Подключение к СХД и раздача namespace’оф
Подключаемся к нашему хосту по SSH для получения Host NQN:
|
1 |
esxcli nvme info get |
Дальнейшие действия необходимо выполнить на стороне СХД.
Необходимо создать SVM:
После данного шага необходимо настроить зоны на коммутаторах Brocade, так как при создании SVM также создаются и виртуальные NWWN, и PWWN.
Создаём наш NVMe Subsystem:
Создаём Namespace:
Примечание: для VMware block—size=512B.
Если всё сделано правильно, то вы должны увидеть namespace:
Пути подключения:
Настройки multipathing:
Создаём Datastore:
Переходим к настройкам виртуальной машины
Добавляем NVMe контроллер:
Добавляем непосредственно сам диск:
Готово!
Дополнительные материалы
Emulex® Drivers for VMware ESXi https://docs.broadcom.com/doc/12398084
Emulex® NVMe over Fibre Channel on VMware ESXi 7.0 https://docs.broadcom.com/doc/12398269
TR-4766: NetApp E-Series and NVMe Over Fabrics Support https://www.netapp.com/us/media/tr-4766.pdf
Implementing and Configuring Modern SANs
with NVMe/FC https://www.netapp.com/us/media/tr-4684.pdf
NetApp, VMware, and Broadcom Verified Architecture
Design Edition: With MS Windows Server 2019 and MS
SQL Server 2017 Workloads https://www.netapp.com/us/media/nva-1145-design.pdf
Вебинары
Pro SDDC. Гости – Broadcom and Mellanox. NVMe over Fabric (NVMeoF). https://prosddc.ru/event/pro-sddc-гости-broadcom-and-mellanox-nvme-over-fabric-nvmeof/
Новости Brocade. NVMe и NVMe-over-Fabrics – текущее состояние и перспективы.
https://gateway.on24.com/wcc/eh/1474757/lp/2214472/fc
https://www.marvell.com/content/dam/marvell/en/public-collateral/fibre-channel/marvell-fibre-channel-adapters-qlogic-series-vmware-esxi-6x-7x-user-guide.pdf
To setup the ESX Host for ESXi 7.x:
1. Install the ESX Fibre Channel driver.
2. Setup the ql2xnvmesupport module parameters by issuing the following
command:
$ esxcfg-module -s «ql2xnvmesupport=1» qlnativefc
3. Reboot the system.
https://customerconnect.vmware.com/en/downloads/details?downloadGroup=DT-ESX70-BROADCOM-LPFC-1283291&productId=974
а как в эксплуатации данная связка, не подскажете?
Пока не видел публичных данных об эксплуатации данной технологии в РФ.
Вопрос можете спросить в чате https://t.me/storagediscussions — может, кто найдётся.