Настройка NVMe-oF подключения к RHEL 8.1

Dmitriy Shevchenko прислал продолжение цикла инструкций по настройке NVMe-oF. Сегодня речь пойдёт об операционной системе RHEL.

Перечень оборудования и ПО

Система хранения: Netapp AFF A320, версия ПО ONTAP Release 9.7P1.

Коммутаторы сети хранения данных: Switch Brocade 6505 16Gb 24 Port 2шт. FW 8.2.1c.

Серверы: Fujitsu PRIMERGY RX2530 M5 c FC адаптерами Broadcom (EMULEX) LPe32002 версия FW 12.6.240.22 (рекомендованная в матрице совместимости Netapp).

Операционная система: Red Hat Enterprise Linux release 8.1 (Ootpa) (Примечание: в 8.2 с установкой драйверов, были проблемы, нет ключа -n).

Предварительная подготовка

1. Устанавливаем Red Hat Enterprise Linux release 8.1 (без установки обновлений):

2. Скачиваем необходимые драйвера и ПО с сайта broadcom.com:
   • Firmware LPe31000-Series and LPe32000-Series Firmware and Boot Code Version: 12.6.240.22: lancerg6_A12.6.240.22.grp
   • FC Binary Driver (Signed) for Linux – RHEL 8 This driver includes support for NVMe over FC on RHEL 8.0-8.2. Version: 12.6.240.27-1: elx-lpfc-dd-rhel8-12.6.240.27-ds-1.tar.gz
   • OneCommand Manager Core Application Kit (CLI) for Linux – RHEL 8.0 Version: 12.2.360.0-1: elxocmcore-rhel6-rhel7-rhel8-12.2.360.0-1.tgz

3. Устанавливаем OneCommand Manager:
   • Копируем наш файл elxocmcore-rhel6-rhel7-rhel8-12.2.360.0-1.tgz на сервер.
   • Распаковываем архив:
     
     [root@kzlnetapp02 elxocmcore]# tar xvfz elxocmcore-rhel6-rhel7-rhel8-12.2.360.0-1.tgz

     1	[root@kzlnetapp02 elxocmcore]# tar xvfz elxocmcore-rhel6-rhel7-rhel8-12.2.360.0-1.tgz

     
     
   • Запускаем установку:
     
     # ./install.sh

     1	# ./install.sh

     
     
4. Обновляем Firmware на HBA:
   •  Просматриваем список доступных HBA
     
     # hbacmd listhbas

     1	# hbacmd listhbas

     
     
   • Проверяем текущую версию Firmware
     
     #hbacmd HBAAttrib <Port WWN>

     1	#hbacmd HBAAttrib <Port WWN>

     
     текущая версия 12.4.243.11
   • Обновляем Firmware (прошить нужно каждый порт)
     
     #hbacmd download <Port WWN> /path/<name of the firmware update file>

     1	#hbacmd download <Port WWN> /path/<name of the firmware update file>

     
     
5. Установка драйвера
   • распаковываем файл tar
     
     #xvfz elx-lpfc-dd-rhel8-12.6.240.27-ds-1.tar.gz

     1	#xvfz elx-lpfc-dd-rhel8-12.6.240.27-ds-1.tar.gz

     
     
   • необходимо установить пакеты nvme-cli-1.8.х
     
     # dnf install nvme-cli-1.8.1-3.el8.x86_64

     1	# dnf install nvme-cli-1.8.1-3.el8.x86_64

     
     Примечание: при установке драйвер nvmefc-connect-12.6.61.0-1.noarch.rpm ругается на зависимость пакета nvme-cli.
   • Устанавливаем драйвер (Важно! Драйвер необходимо устанавливать с ключом -n или –nvme и -i)
     
     # ./elx_lpfc_install.sh -n -i

     1	# ./elx_lpfc_install.sh -n -i

     
     
   • Проверяем версию FW и драйвер:
     
     # cat /sys/class/scsi_host/host*/modeldesc Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter # cat /sys/class/scsi_host/host*/fwrev 12.6.240.22, sli-4:2:c 12.6.240.22, sli-4:2:c # cat /sys/module/lpfc/version 0:12.6.240.27

     1 2 3 4 5 6 7 8 9 10

     # cat /sys/class/scsi_host/host*/modeldesc Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter   # cat /sys/class/scsi_host/host*/fwrev 12.6.240.22, sli-4:2:c 12.6.240.22, sli-4:2:c   # cat /sys/module/lpfc/version 0:12.6.240.27

     
     режим работы драйвера должен быть равен 3:
     
     [root@kzlnetapp02 ~]# cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type 3

     1 2	[root@kzlnetapp02 ~]# cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type 3

6. Правим параметры GRUB
   • Редактируем /etc/default/grub добавляем параметр nvme_core.multipath=Y для включения NVMe Native Multipath.  А также параметр IO scheduler elevator=none”
     
     # vim /etc/default/grub

     1	# vim /etc/default/grub

     
     
   • Генерируем конфигурацию
     
     Run the grub2-mkconfig command to regenerate the grub.cfg file: # grub2-mkconfig -o /boot/grub2/grub.cfg Alternatively, on UEFI systems, run the following: # grub2-mkconfig -o /boot/efi/EFI/redhat/grub.cfg

     1 2 3 4

     Run the grub2-mkconfig command to regenerate the grub.cfg file: # grub2-mkconfig -o /boot/grub2/grub.cfg Alternatively, on UEFI systems, run the following: # grub2-mkconfig -o /boot/efi/EFI/redhat/grub.cfg

     
     Или
     
     # grubby --update-kernel=ALL --args="nvme_core.multipath=Y" # grubby --update-kernel=ALL --args="elevator=none"

     1 2	# grubby --update-kernel=ALL --args="nvme_core.multipath=Y" # grubby --update-kernel=ALL --args="elevator=none"

     
     Примечание: Recommended disk schedulers for different use cases
     Depending on the task that your system performs, Red Hat recommends the following disk schedulers:
     
   • Перезагружаем сервер.
   • Проверяем что модуль NVMe загружен и параметры multipath и IO scheduler с нужными значениями.
     
     # cat /sys/block/nvme0n1/queue/scheduler

     1	# cat /sys/block/nvme0n1/queue/scheduler

     
     
     
     [root@kzlnetapp02 ~]# lsmod|grep nvme nvmet_fc               32768  1 lpfc nvmet                  98304  1 nvmet_fc nvme_fc                45056  1 lpfc nvme_fabrics           24576  1 nvme_fc nvme_core              98304  2 nvme_fc,nvme_fabrics

     1 2 3 4 5 6

     [root@kzlnetapp02 ~]# lsmod|grep nvme nvmet_fc               32768  1 lpfc nvmet                  98304  1 nvmet_fc nvme_fc                45056  1 lpfc nvme_fabrics           24576  1 nvme_fc nvme_core              98304  2 nvme_fc,nvme_fabrics

7. Настройка зон на коммутаторах Brocade
   • Смотрим PWWN хоста:
     
     # cat /sys/class/scsi_host/host*/nvme_info

     1	# cat /sys/class/scsi_host/host*/nvme_info

     
     
   • Смотрим PWWN на стороне системы хранения.
     
   • Настраиваем зоны на коммутаторах.
     
8. Настройка системы хранения
   • Создаём SVM
     
   • Регистрируем наш хост.
     Создаём NVMe Subsystem
     
     Необходимо узнать NQN хоста, для этого вводим на сервере команду:
     
     #cat /etc/nvme/hostnqn

     1	#cat /etc/nvme/hostnqn

     
     
   • Создаём NVMe Namespace
     
9. Настройка NVMe Native Multipath

Параметр по умолчанию Numa.

Создаём в ONTAP новое правило udev для обеспечения балансировки нагрузки в round-robin режиме NVMe, применяется ко всем Namespace на ONTAP:

Вставляем:

Можем убедиться, что режим round-robin балансировки установлен, проверив соответствующее значение sysfs, при условии, конечно, что Namespace ONTAP NVMe сопоставлен и обнаружен на хосте.

Например:

Перезагружаем сервер.

Проверка результата предварительных работ

Примечание: если всё сделано правильно, то мы увидим наш LUN (NameSpace). Если multipath не отработал, то мы увидим несколько путей (зависит от количество подключений по FC).

Для команды nvme – существует плагин NetApp для обработки Namespace ONTAP. Теперь он предоставляет 3 различных варианта отображения отчета о специфичных для NVMe подробностях ONTAP – столбец, json и raw (который используется по умолчанию), как показано в следующем примере:

Следующая команда выводит информацию по путям:

Как мы можем здесь видеть, у нас есть 4 пути. Два live optimize – это активные пути (NameSpace может принадлежать только одному агрегату, а агрегат расположен на одном из контроллеров), и live inaccessible, принадлежавшие другому контроллеру, обмен данными по ним не происходит  (для равномерной нагрузки NameSpace создаём на двух агрегатах равномерно).

Тест работы NVMe Native Multipath

Есть также состояния connecting optimize и connecting inaccessible, как на примере ниже.

При отключении одного порта на FC адаптере стали недоступны два пути и механизм multipath пытается их подключить.

Мониторинг SAN фабрики – представлен момент отключения одного из портов:

Нагрузка генерировалась vdbench со следующими параметрами:

Момент отключения порта на хосте:

Восстановление подключения

Как видим есть небольшая просадка в производительности, но потери самого подключения нет.

Используемые материалы

Enable NVMe Native Multipathing https://access.redhat.com/solutions/4685761

Recommended disk schedulers for different use cases https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/8/html/managing_storage_devices/setting-the-disk-scheduler_managing-storage-devices

Introducing End-to-End NVMe for FlexPod White Paper https://www.cisco.com/c/en/us/products/collateral/servers-unified-computing/ucs-b-series-blade-servers/whitepaper-c11-741907.html

Broadcom https://www.broadcom.com/products/storage/fibre-channel-host-bus-adapters/lpe32002-m2

Netapp Implementing and Configuring Modern SANs with NVMe/FC https://www.netapp.com/us/media/TR-4684.PDF