Тестирование СХД Lenovo ThinkSystem DE6000F по протоколу передачи NVMe over FC

Disclamer:  все дальнейшие рассуждения, настройки и выбранные методы тестирования могут быть ошибочны. Никакого отношения к компаниям Lenovo, NetApp, Broadcom мы не имеем.

Вступление

Осенью 2021 года в наши загребущие ручонки попала система хранения данных (СХД) Lenovo ThinkSystem DE6000F с внутренней поддержкой протокола передачи NVMe и установленными дисками SAS SSD. Система также позволяет использовать протокол NVMe в среде сети хранения данных (SAN, Storage Area Network). Поскольку это вторая система хранения такого типа в наших руках, то решено подключить её к SAN по протоколу NVMe over FC (NVMe/FC) и проверить, реализуются ли на практике теоретические преимущества протокола NVMe.  Чтобы переключить СХД на использование нового протокола, на сайте Lenovo FOD получена соответствующая лицензия. СХД не может одновременно использовать несколько протоколов в одной среде передачи, поэтому включение протокола NVMe/FC приводит к отключению возможности работы по протоколу FC. Соответственно, СХД пропадает из зоны доступности серверов, FC-адаптеры которых не могут работать с новым протоколом.  Из имеющихся для стендирования серверов поддержку NVMe over FC «из коробки» имеют серверы Lenovo ThinkServer SR650 c 32-гигабитными FC-адаптерами и серверы Lenovo ThinkServer SR630 с 16 -гигабитными FС-адаптерами после обновления прошивок и драйверов FC-адаптеров.

Подключение и настройка

На серверах обновлены прошивки FC-адаптеров, установлены новые версии драйверов и включена поддержка протокола NVMe over FC. В отличие от СХД сервер может одновременно осуществлять передачу по нескольким протоколам, поэтому на работоспособность имеющейся системы настройки не повлияли.  На системе хранения были проведены подготовительные процедуры – все данные были перенесены на другие СХД, хранилища отмонтированы от серверов. После активации протокола NVMe/FC зоны SAN были исправлены в соответствии с новыми адресами системы хранения. Назначение LUN серверам на системе хранения переписано в соответствии с новыми адресами серверов. Хранилища с первого раза не увиделись серверами, поэтому пришлось их удалить и создать заново.

Конфигурация полигонов

Использовалось два полигона, один из серверов с 16 Гб/с FC –адаптерами, второй из серверов с 32 Гб/с FC – адаптерами.

Первый полигон: среда виртуализации VMware vSphere 7, пять хостов Lenovo ThinkServer SR630 (2x18C Xeon Gold 6154 3,0 ГГц, 768 ГБ ОЗУ, 2-портовый FC-адаптер QLogic QLE 2962, 16Гб/с).

Второй полигон: среда виртуализации VMware vSphere 7, два хоста Lenovo ThinkServer SR650 (2x16C Xeon Gold 6226R 2,9 ГГц, 768 ГБ ОЗУ, 2-портовый FC-адаптер Emulex LPe 35002, 32 Гб/с).

Тестовая машина: виртуальный сервер под управлением ОС Microsoft Windows Server 2022 Std, память 4 ГБ, 2 vCPU, три диска: системный 90 ГБ, два тестовых по 500 ГБ. Системный и один тестовый диски подключены к контроллеру VMware Paravirtual SCSI, второй тестовый диск – к NVMe. Программное обеспечение для проведения тестирования: VDbench v5.04.07.

Общие настройки тестирования: ввод/вывод производился на неформатированные (RAW) диски блоками по 4КБ, 8КБ, 16КБ, 32КБ, 64КБ, 128КБ, 256КБ, 512КБ.  С каждым размером блока выполнялось 12 прогонов теста. В одной серии тестов участвовал только один из 500 ГБ дисков. 50% – операции чтения.

Тестовые СХД:

  1. Lenovo ThinkSystem DE6000F, All Flash Array, подключена через SAN по протоколу NVMe over FC. В тестах обозначена как DE6000F-02.
  2. Lenovo ThinkSystem DE6000F, All Flash Array, подключена через SAN по протоколу FC. В тестах обозначена как DE6000F.
  3. Lenovo ThinkSystem DS6200, все диски имеют тип SAS Подключена через SAN по протоколу FC. Обозначена как DS6200.
  4. IBM Storwize v7000, трёхуровневый массив из дисков SSD+SAS+NL SAS. Подключена через SAN по протоколу FC. Обозначена как v7000.

Две первые, однотипные, используются для определения преимуществ подключения СХД по протоколу NVMe over FC (NVMe/FC) перед обычным FC. Вторая и третья добавлены для сравнения быстродействия СХД разных годов выпуска с разными типами дисков. Их тестирование выполнялось только на первом полигоне, так как контроллеры СХД имеют скорость 8/16 Гб/с.

Для настройки ПО тестирования требуется указать диск, с которым будет производиться работа. Имя диска в Windows можно узнать с помощью команды PowerShell:

Первоначальная установка сервера выполнена на DE6000F-02 (NVMe/FC), диски подключены к контроллерам: системный – VMware Paravirtual SCSI, тестовый 1 – NVMe, тестовый 2 – VMware Paravirtual SCSI.

Проведённые тесты, первый полигон

Замеры производительности работы тестовых дисков 1 и 2 в операциях последовательного (sequental) и произвольного (random) ввода/вывода выполнялись в несколько этапов. На первом этапе выполнены замеры при размещении всех дисков на СХД DE6000F-02.

Затем машина целиком перенесена на СХД v7000.

Произведены замеры производительности работы тестовых дисков 1 и 2 в операциях последовательного (sequental) и произвольного (random) ввода/вывода.

Для следующей серии испытаний тестовые диски 1 и 2 мигрированы на СХД DE6000F.

Проведены замеры производительности работы тестовых дисков 1 и 2 в операциях последовательного (sequental) и произвольного (random) ввода/вывода.

И заключительная серия тестов выполнена на СХД DS6200 и v7000.

Таблица с полученными результатами приводится в Приложении 1.

Тесты поименованы следующим образом, где Х – тип нагрузки (random, sequental):

NVMe_X_v7000 – тест диска, подключенного к контроллеру NVME и размещённому на СХД IBM Storwize v7000.

Scsi_X_v7000 – тест диска, подключенного к контроллеру VMware Paravirtual SCSI и размещённому на СХД IBM Storwize v7000.

NVMe_X_ds6200 – тест диска, подключенного к контроллеру NVMe и размещённому на СХД Lenovo ThinkSystem DS6200.

Scsi_X_ds6200– тест диска, подключенного к контроллеру VMware Paravirtual SCSI и размещённому на СХД Lenovo ThinkSystem DS6200.

NVMe_X_de6000f – тест диска, подключенного к контроллеру NVMe и размещённому на СХД Lenovo ThinkSystem DE6000F.

Scsi_X_de6000f– тест диска, подключенного к контроллеру VMware Paravirtual SCSI и размещённому на СХД Lenovo ThinkSystem DE6000F.

NVMe_X_de6000f-02 – тест диска, подключенного к контроллеру NVME и размещённому на СХД Lenovo ThinkSystem DE6000F #2.

Scsi_X_de6000f-02– тест диска, подключенного к контроллеру VMware Paravirtual SCSI и размещённому на СХД Lenovo ThinkSystem DE6000F #2.

Диаграмма 1. Сравнение показателей IOPS для разных типов контроллеров виртуальной машины в зависимости от блока записи в операциях последовательного и произвольного ввода/вывода.

Здесь и далее:

NVMe – контроллер NVMe;

scsi – контроллер VMware Paravirtual SCSI;

rnd – тест в операциях произвольного (random) ввода/вывода;

seq – тест в операциях последовательного (sequental)  ввода/вывода.

Диаграмма 2. Сравнение показателей МБ/сек для разных типов контроллеров виртуальной машины в зависимости от блока записи в операциях последовательного и произвольного ввода/вывода.

Диаграмма 3. Сравнение задержек времени отклика в мс при записи и чтении для разных систем хранения, отсортированное по блоку записи.

Диаграмма 4. Соотношение производительности NVMe и VMware Paravirtual SCSI контроллеров в МБ/сек при разном блоке записи в операциях последовательного ввода/вывода. DE6000F подключена по FC, DE6000F-02 – по NVMe over FC.

Диаграмма 5. Соотношение производительности NVMe и VMware Paravirtual SCSI контроллеров в IOPS при разном блоке записи в операциях последовательного ввода/вывода.

Диаграмма 6. Соотношение производительности NVMe и VMware Paravirtual SCSI контроллеров в МБ/сек при разном блоке записи в операциях произвольного ввода/вывода.

Диаграмма 7. Соотношение производительности NVMe и VMware Paravirtual SCSI контроллеров в IOPS при разном блоке записи в операциях произвольного ввода/вывода.

Диаграмма 8. Соотношение IOPS и МБ/сек для разного размера блока записи для СХД Lenovo ThinkSystem DE6000F (FC).

Диаграмма 9. Соотношение IOPS и МБ/сек для разного размера блока записи для СХД Lenovo ThinkSystem DE6000F-02 (NVMe over FC).

Диаграмма 10. Соотношение IOPS и МБ/сек для разного размера блока записи для СХД Lenovo ThinkSystem DS6200.

Диаграмма 11. Соотношение IOPS и МБ/сек для разного размера блока записи для СХД IBM Storwize v7000.

Нагрузочный тест систем хранения группой серверов, первый полигон

Для проверки как СХД будут справляться с более реальной нагрузкой, создаваемой несколькими серверами, проведена серия тестов с помощью ПО HCIBench. Имитировалась нагрузка, создаваемая в процессе работы серверов Oracle Database: блок записи – 8КБ, 73% – операции чтения. Нагрузку создавали четыре тестовых машины с параметрами: 4 vCPU, 8 ГБ памяти, 6 неформатированных (RAW) дисков по 80 ГБ. Время тестирования – 300 сек., перед тестированием делается «прогрев» дисков в течении 120 сек. Тесты последовательно прогонялись на СХД DE6000F, DE6000F-02, DS6200 и на SC5020. IBM Storwize v7000 заменён на Dell SC5020 All Flash Array чтобы под СУБД Oracle Database сравнивать только All Flash-массивы.

Таблица 2. Результаты тестирования группой серверов.

СХД IOPS МБ/сек Latency, мс Задержки чтения, мс Задержки записи, мс
de6000f 14 333,10 111,98 3,34 0,28 11,58
de6000f-02 16 857,10 131,68 2,88 0,36 9,66
sc5020 14 609,30 114,14 2,46 0,65 7,34
ds6200 5 035,10 39,33 10,74 0,40 38,49

Диаграмма 12. Усреднённое количество IOPS.

Диаграмма 13. Усреднённое количество МБ/сек.

Диаграмма 14. Усреднённые задержки при выполнении операций, мс.

Проведённые тесты, второй полигон

Конфигурация полигона: среда виртуализации VMware vSphere 7, два хоста Lenovo ThinkServer SR650 (2x16C Xeon Gold 6226R 2,9 ГГц, 768 ГБ ОЗУ, 2-портовый FC-адаптер Emulex LPe 35002, 32 Гб/с).

Тестовая машина: виртуальный сервер NVMTEST под управлением ОС Microsoft Windows Server 2022 Std, память 4 ГБ, 2 vCPU, три диска: системный 90 ГБ, два тестовых по 500 ГБ. Системный и один тестовый диски подключены к контроллеру VMware Paravirtual SCSI, второй тестовый диск – к NVMe. В конфигурацию виртуальной машины на этом полигоне добавлен контроллер LSI Logic SAS и диск размером 500 ГБ, подключенный к этому контроллеру. В описании тестов он указан под номером 3. Программное обеспечение для проведения тестирования: VDbench v5.04.07.

Общие настройки тестирования: ввод/вывод производился на неформатированные (RAW) диски блоками по 4КБ, 8КБ, 16КБ, 32КБ, 64КБ, 128КБ, 256КБ, 512КБ.  С каждым размером блока выполнялось 12 прогонов теста. В одной серии тестов участвовал только один из 500 ГБ дисков. 50% – операции чтения.

Отличия – замеры производительности выполнялись только на двух системах хранения: DE6000F, подключенной по FC, и DE6000F-02, подключенной по NVMe over FC . В набор тестов добавлен тест с контроллером LSI Logic SAS. Данный контроллер устанавливается в виртуальную машину по умолчанию, поддерживается «из коробки» всеми серверными ОС. Оценить его производительность относительно рекомендуемого к установке контроллера VMware Paravirtual SCSI и новейшего NVMe представляло особый интерес. Первая серия тестов проведена на ВМ NVMTEST. Выполнены замеры производительности работы тестовых дисков 1, 2 и 3 в операциях последовательного (sequental) и произвольного (random) ввода/вывода. На первом этапе выполнены замеры при размещении всех тестовых дисков на СХД DE6000F-02.

Затем машина целиком перенесена на СХД DE6000F. Проведены замеры производительности работы тестовых дисков 1, 2 и 3 в операциях последовательного (sequental) и произвольного (random) ввода/вывода.

Полученные результаты собраны в таблицу и представлены в виде графиков. Но анализ результатов проведен в другом разрезе. Сравнены одинаковые параметры производительности для серверов с 16 Гб/с – адаптерами и серверов с 32 Гб/с – адаптерами. Оценена производительность работы дисковых контроллеров виртуальной машины при размещении дисков на СХД, работающих по разным протоколам. Результаты сравнения представлены ниже. Таблица с полученными результатами приводится в Приложении 2.

Тесты поименованы следующим образом, где Х – тип нагрузки (random, sequental):

NVMe_X_de6000f – тест диска, подключенного к контроллеру NVMe и размещённому на СХД Lenovo ThinkSystem DE6000F .

Pvscsi_X_de6000f– тест диска, подключенного к контроллеру VMware Paravirtual SCSI и размещённому на СХД Lenovo ThinkSystem DE6000F.

Lsiscsi_X_de6000f– тест диска, подключенного к контроллеру LSI Logic SAS и размещённому на СХД Lenovo ThinkSystem DE6000F .

NVMe_X_de6000f-02 – тест диска, подключенного к контроллеру NVMe и размещённому на СХД Lenovo ThinkSystem DE6000F-02.

Pvscsi_X_de6000f-02– тест диска, подключенного к контроллеру VMware Paravirtual SCSI и размещённому на СХД Lenovo ThinkSystem DE6000F-02.

Lsiscsi_X_de6000f-02– тест диска, подключенного к контроллеру LSI Logic SAS и размещённому на СХД Lenovo ThinkSystem DE6000F-02.

Здесь и далее:

NVMe – контроллер NVMe;

pvscsi – контроллер VMware Paravirtual SCSI;

lsiscsi — контроллер LSI Logic SAS;

rnd – тест в операциях произвольного (random) ввода/вывода;

seq – тест в операциях последовательного (sequental)  ввода/вывода.

DE6000F подключена по протоколу FC, DE6000F-02 – по протоколу NVMe over FC.

Диаграмма 15. Сравнение производительности в IOPS для разных типов дисковых контроллеров.

Диаграмма 16. Сравнение производительности в МБ/с для разных типов дисковых контроллеров.

Диаграмма 17. Сравнение задержек при выполнении операций чтения и записи, мс, для разных типов дисковых контроллеров. Профиль нагрузки – 50% чтение. СХД – DE6000F-02 (NVMe over FC).

Диаграмма 18. Сравнение загрузки CPU тестовой машины, % для разных типов дисковых контроллеров в операциях произвольного ввода/вывода. Профиль нагрузки – 50% чтение.

Диаграмма 19. Сравнение загрузки CPU тестовой машины, % для разных типов дисковых контроллеров в операциях последовательного ввода/вывода. Профиль нагрузки – 50% чтение.

Несколько диаграмм, показывающих разницу в производительности между адаптерами 16Гб/с и 32Гб/с.

Диаграмма 20. Сравнение производительности в IOPS достигнутой в тестах на серверах с адаптерами 16 Гб/с и 32 Гб/с. Блок записи – 4096 Б. Профиль нагрузки – 50% чтение (Контроллер LSI Logic SAS не участвовал в тестах на серверах с FC HBA на 16 Гб/с).

Диаграмма 21. Сравнение производительности в MB/s достигнутой в тестах на серверах с адаптерами 16 Гб/с и 32 Гб/с. Блок записи – 4096 Б. Профиль нагрузки – 50% чтение.

Диаграмма 22. Сравнение задержек в мс, достигнутых в операциях чтения и записи в тестах на серверах с адаптерами 16 Гб/с и 32 Гб/с. Блок записи – 4096 Б. Профиль нагрузки – 50% чтение.

Диаграмма 23. Отношение производительности в IOPS между серверами c адаптерами 16 Гб/с и 32 Гб/с. Производительность адаптеров 16 Гб/с принята за 100%. Блок записи – 4096 Б. Профиль нагрузки – 50% чтение.

Диаграмма 24. Относительная величина задержек в мс, достигнутых в операциях чтения и записи в тестах на серверах с адаптерами 16 Гб/с и 32 Гб/с. Задержки на адаптерах 16Гб/с приняты за 100%. Блок записи – 4096 Б. Профиль нагрузки – 50% чтение.

Нагрузочный тест систем хранения группой серверов, второй полигон

Для сравнения результатов, выдаваемых разными СХД под нагрузкой, создаваемой несколькими серверами, виртуальная машина HCIBench перенесена на второй полигон. Также имитирована нагрузка, создаваемая в процессе работы серверов СУБД Oracle Database: блок записи – 8КБ, 73% – операции чтения. Созданы четыре тестовых машины с параметрами: 4 vCPU, 8 ГБ ОЗУ, 6 неформатированных (RAW) дисков по 80ГБ. Время тестирования – 300 сек., перед тестированием делался «прогрев» дисков в течении 120 сек. Тесты последовательно прогонялись на СХД DE6000F, и DE6000F-02. Определялось, насколько влияет на производительность систем протокол подключения СХД – FC или NVMe/FC, и тип серверного адаптера — 16 Гб/с или 32 Гб/с.

Таблица 3. Результаты тестирования группой серверов.

СХД FC, Гб/с IOPS МБ/сек Latency, ms Задержки при чтении, мс Задержки при записи, мс
de6000f 16 14 333,10 111,98 3,34 0,28 11,58
de6000f-02 16 16 857,10 131,68 2,88 0,36 9,66
de6000f 32 16 291,30 127,27 3,51 0,26 12,25
de6000f-02 32 22 404,60 175,04 1,43 0,29 4,50

Диаграмма 26 (не ищете 25-ую, её нет). Отношение производительности работы СХД в IOPS в связке с серверами с адаптерами 32 Гб/с по сравнению с серверами с адаптерами 16 Гб/с.

Выводы по результатам тестирования

Тестирование на одиночной машине показало, что:

  • Для одиночной машины подключение системы хранения по протоколу NVMe over FC не даёт преимуществ перед подключением по обычному FC. На производительность СХД значительное влияние оказывает техническое совершенство конструкции и используемых программных и аппаратных компонентов.
  • Использование FC-адаптеров 32Гб/с улучшает производительность работы связки «сервер – СХД» на 14-40%, вне зависимости от протокола подключения СХД.
  • Использование NVMe-контроллера внутри виртуальной машины для подключения дисков позволяет получить выигрыш в производительности перед SCSI, даже на системах хранения, не использующих протокол NVMe и диски SSD.
  • Контроллеры VMware Paravirtual SCSI и LSI Logic SAS виртуальной машины имеют примерно одинаковую производительность, но первый нагружает процессор чуть сильнее (в тестах от VMware наоборот).
  • На всех системах хранения максимальная производительность в IOPS достигается при небольших блоках разбиения – 4-8 КБ, у современных систем она сохраняется до 16-32 КБ, а максимальная производительность в МБ/с – при больших (64 КБ и выше). Системы последнего поколения позволяют использовать блоки разбиения 16-32 КБ без потери производительности в операциях ввода-вывода, более старые ориентированы на 4-8 КБ блок.

Тестирование одновременной работы группы серверов выявило:

  • В конфигурации «серверы с 16Гб/с – адаптерами» имеется небольшое преимущество СХД, подключенной по протоколу NVM over FC перед СХД, подключенной по FC. Преимущество составляет ~18%.
  • В конфигурации «серверы с 32Гб/с – адаптерами» преимущество СХД, подключенной по протоколу NVMe over FC, возрастает до ~38%.

Таким образом, проведённое тестирование показывает, что подключение СХД по протоколу NVMe over FC даёт преимущество в производительности при размещении на СХД данных нескольких серверов. С увеличением количества серверов и интенсивности их работы преимущество возрастает. Использование 32 Гб/с FC-адаптеров также существенно повышает общую производительность системы.

Примечание: DE6000F не обеспечивает end-to-end NVMe, так как используются SAS SSD. Также нет доказательств, что внутрь ВМ vSphere обеспечивает end-to-end NVMe без протоколов-посредников.

Приложение 1. Таблица результатов тестов производительности работы дисков 1 и 2 в операциях последовательного (sequental) и произвольного (random) ввода/вывода на различных СХД

Описание параметров таблицы результатов:

Тест – Имя теста.

io_rate – Наблюдаемое отношение, IOPS.

MB/sec – Megabytes per second (MB=1024*1024 байт).

bytes/io – Размер блока передачи данных, байт в операцию.

read% – Процент запросов на чтение.

resp – Время отклика, мс.

read_resp – Время отклика в операциях чтения, мс.

write_resp – Время отклика в операциях записи, мс.

rnd – тест в операциях произвольного (random) ввода/вывода.

seq – тест в операциях последовательного (sequental)  ввода/вывода.

Таблица 1. Сводные результаты тестов производительности.

Тест io_rate MB/sec bytes/io read% resp read_resp write_resp
NVMe_seq_v7000 12 915,12 50,45 4096 50,04 0,61 0,57 0,66
NVMe_seq_v7000 10 027,52 78,34 8192 50,02 0,79 0,91 0,68
NVMe_seq_v7000 8 202,52 128,16 16384 50,06 0,97 1,29 0,65
NVMe_seq_v7000 7 271,80 227,24 32768 50,05 1,09 1,50 0,67
NVMe_seq_v7000 5 692,66 355,79 65536 49,98 1,39 1,85 0,93
NVMe_seq_v7000 4 006,48 500,81 131072 49,89 1,97 2,50 1,45
NVMe_seq_v7000 2 483,01 620,75 262144 50,02 3,16 3,88 2,45
NVMe_seq_v7000 1 363,59 681,80 524288 50,14 5,76 7,35 4,16
scsi_seq_v7000 11 266,40 44,01 4096 50,02 0,71 0,73 0,68
scsi_seq_v7000 7 360,10 57,50 8192 50,05 1,08 1,46 0,70
scsi_seq_v7000 5 012,62 78,32 16384 50,06 1,59 2,48 0,69
scsi_seq_v7000 3 966,13 123,94 32768 50,01 2,01 3,25 0,76
scsi_seq_v7000 2 275,85 142,24 65536 50,10 3,51 6,18 0,83
scsi_seq_v7000 1 442,07 180,26 131072 50,23 5,52 9,84 1,17
scsi_seq_v7000 917,40 229,35 262144 50,07 8,66 15,59 1,71
scsi_seq_v7000 523,52 261,76 524288 50,05 15,17 27,62 2,70
NVMe_seq_de6000f-02 20 057,05 78,35 4096 50,04 0,40 0,40 0,39
NVMe_seq_de6000f-02 23 966,53 187,24 8192 50,04 0,33 0,35 0,31
NVMe_seq_de6000f-02 24 776,91 387,14 16384 50,02 0,32 0,35 0,28
NVMe_seq_de6000f-02 24 339,54 760,61 32768 50,01 0,32 0,40 0,24
NVMe_seq_de6000f-02 19 049,44 1 190,59 65536 50,00 0,41 0,51 0,31
NVMe_seq_de6000f-02 13 404,41 1 675,55 131072 50,03 0,58 0,71 0,45
NVMe_seq_de6000f-02 8 280,62 2 070,15 262144 49,93 0,92 1,11 0,73
NVMe_seq_de6000f-02 4 889,80 2 444,90 524288 50,10 1,55 1,83 1,28
scsi_seq_de6000f 21 398,01 83,59 4096 50,03 0,37 0,37 0,37
scsi_seq_de6000f 23 934,41 186,99 8192 50,04 0,33 0,34 0,32
scsi_seq_de6000f 24 570,64 383,92 16384 50,01 0,32 0,36 0,28
scsi_seq_de6000f 23 536,20 735,51 32768 50,02 0,33 0,42 0,25
scsi_seq_de6000f 17 849,31 1 115,58 65536 50,00 0,44 0,51 0,37
scsi_seq_de6000f 12 101,51 1 512,69 131072 50,01 0,64 0,62 0,67
scsi_seq_de6000f 7 724,24 1 931,06 262144 49,98 0,99 0,99 0,99
scsi_seq_de6000f 4 771,12 2 385,56 524288 49,99 1,59 1,64 1,53
NVMe_seq_de6000f 23 208,65 90,66 4096 50,04 0,34 0,34 0,34
NVMe_seq_de6000f 25 488,02 199,13 8192 50,00 0,31 0,32 0,30
NVMe_seq_de6000f 25 881,25 404,39 16384 50,03 0,30 0,34 0,27
NVMe_seq_de6000f 24 043,88 751,37 32768 50,00 0,33 0,39 0,26
NVMe_seq_de6000f 19 026,83 1 189,18 65536 50,01 0,41 0,51 0,32
NVMe_seq_de6000f 13 539,69 1 692,46 131072 49,97 0,58 0,70 0,45
NVMe_seq_de6000f 8 397,17 2 099,29 262144 50,07 0,91 1,09 0,73
NVMe_seq_de6000f 4 936,75 2 468,38 524288 50,05 1,54 1,79 1,28
NVMe_seq_de6000f-02 24 757,42 96,71 4096 50,05 0,32 0,32 0,32
NVMe_seq_de6000f-02 25 360,83 198,13 8192 50,01 0,31 0,32 0,30
NVMe_seq_de6000f-02 25 064,24 391,63 16384 50,03 0,31 0,35 0,28
NVMe_seq_de6000f-02 24 824,52 775,77 32768 50,01 0,32 0,39 0,24
NVMe_seq_de6000f-02 19 082,68 1 192,67 65536 50,01 0,41 0,51 0,31
NVMe_seq_de6000f-02 13 418,95 1 677,37 131072 49,94 0,58 0,71 0,45
NVMe_seq_de6000f-02 8 300,65 2 075,16 262144 50,10 0,92 1,11 0,73
NVMe_seq_de6000f-02 4 821,63 2 410,81 524288 50,01 1,58 1,86 1,29
scsi_seq_de6000f-02 23 884,60 93,30 4096 50,04 0,33 0,33 0,33
scsi_seq_de6000f-02 22 870,27 178,67 8192 50,02 0,35 0,36 0,34
scsi_seq_de6000f-02 24 409,79 381,40 16384 50,03 0,32 0,36 0,29
scsi_seq_de6000f-02 23 893,11 746,66 32768 50,02 0,33 0,40 0,25
scsi_seq_de6000f-02 18 539,53 1 158,72 65536 50,00 0,42 0,52 0,32
scsi_seq_de6000f-02 12 916,40 1 614,55 131072 50,01 0,60 0,73 0,48
scsi_seq_de6000f-02 8 084,93 2 021,23 262144 49,94 0,94 1,11 0,77
scsi_seq_de6000f-02 4 794,65 2 397,32 524288 50,12 1,59 1,80 1,38
NVMe_seq_ds6200 24 420,93 95,39 4096 50,04 0,32 0,38 0,27
NVMe_seq_ds6200 21 944,19 171,44 8192 50,03 0,36 0,43 0,29
NVMe_seq_ds6200 19 767,34 308,86 16384 50,05 0,40 0,47 0,33
NVMe_seq_ds6200 14 673,95 458,56 32768 50,01 0,54 0,73 0,35
NVMe_seq_ds6200 9 957,40 622,34 65536 49,98 0,79 1,15 0,43
NVMe_seq_ds6200 6 669,77 833,72 131072 50,05 1,18 1,76 0,60
NVMe_seq_ds6200 4 222,08 1 055,52 262144 50,06 1,84 2,79 0,89
NVMe_seq_ds6200 2 440,37 1 220,19 524288 50,06 3,18 4,88 1,47
scsi_seq_ds6200 17 834,48 69,67 4096 50,03 0,44 0,18 0,71
scsi_seq_ds6200 21 891,85 171,03 8192 50,06 0,36 0,26 0,46
scsi_seq_ds6200 16 792,39 262,38 16384 49,99 0,47 0,37 0,57
scsi_seq_ds6200 12 108,52 378,39 32768 50,03 0,65 0,62 0,68
scsi_seq_ds6200 8 368,12 523,01 65536 50,01 0,94 0,86 1,03
scsi_seq_ds6200 5 606,80 700,85 131072 50,04 1,40 1,45 1,36
scsi_seq_ds6200 3 717,25 929,31 262144 49,98 2,10 2,35 1,85
scsi_seq_ds6200 1 999,55 999,78 524288 49,88 3,89 4,75 3,04
NVMe_rnd_v7000 1 819,44 7,11 4096 49,83 4,33 8,29 0,41
NVMe_rnd_v7000 1 346,67 10,52 8192 50,09 5,93 11,37 0,47
NVMe_rnd_v7000 1 562,75 24,42 16384 50,01 5,11 9,75 0,46
NVMe_rnd_v7000 1 374,69 42,96 32768 50,18 5,81 11,08 0,50
NVMe_rnd_v7000 1 298,52 81,16 65536 49,93 6,14 11,67 0,63
NVMe_rnd_v7000 1 246,51 155,81 131072 50,00 6,39 11,94 0,84
NVMe_rnd_v7000 1 072,35 268,09 262144 50,22 7,40 13,33 1,42
NVMe_rnd_v7000 745,95 372,97 524288 49,90 10,61 18,55 2,70
scsi_rnd_v7000 1 873,52 7,32 4096 49,81 4,26 8,12 0,43
scsi_rnd_v7000 1 721,02 13,45 8192 50,05 4,64 8,82 0,45
scsi_rnd_v7000 1 243,65 19,43 16384 50,03 6,42 12,38 0,46
scsi_rnd_v7000 1 202,38 37,57 32768 50,20 6,64 12,72 0,51
scsi_rnd_v7000 1 302,41 81,40 65536 49,93 6,13 11,65 0,62
scsi_rnd_v7000 1 214,74 151,84 131072 49,96 6,56 12,30 0,83
scsi_rnd_v7000 1 060,23 265,06 262144 50,23 7,49 13,57 1,34
scsi_rnd_v7000 744,27 372,14 524288 49,89 10,63 18,93 2,38
NVMe_rnd_de6000f 34 759,64 135,78 4096 50,05 0,23 0,29 0,16
NVMe_rnd_de6000f 30 665,30 239,57 8192 50,00 0,26 0,33 0,18
NVMe_rnd_de6000f 28 498,15 445,28 16384 50,01 0,28 0,36 0,19
NVMe_rnd_de6000f 23 209,18 725,29 32768 50,01 0,34 0,44 0,23
NVMe_rnd_de6000f 17 889,93 1 118,12 65536 49,97 0,44 0,57 0,30
NVMe_rnd_de6000f 12 692,48 1 586,56 131072 50,06 0,61 0,80 0,43
NVMe_rnd_de6000f 7 913,63 1 978,41 262144 50,12 0,97 1,21 0,73
NVMe_rnd_de6000f 4 539,10 2 269,55 524288 49,93 1,67 1,86 1,48
scsi_rnd_de6000f 32 888,60 128,47 4096 50,05 0,24 0,30 0,18
scsi_rnd_de6000f 30 742,50 240,18 8192 50,00 0,26 0,33 0,19
scsi_rnd_de6000f 27 580,53 430,95 16384 49,99 0,29 0,37 0,20
scsi_rnd_de6000f 22 654,03 707,94 32768 50,01 0,35 0,45 0,25
scsi_rnd_de6000f 17 629,87 1 101,87 65536 49,99 0,44 0,57 0,32
scsi_rnd_de6000f 12 222,65 1 527,83 131072 50,11 0,64 0,81 0,47
scsi_rnd_de6000f 7 738,18 1 934,55 262144 50,03 0,99 1,21 0,77
scsi_rnd_de6000f 4 747,57 2 373,79 524288 50,16 1,60 1,81 1,39
NVMe_rnd_de6000f-02 32 145,87 125,57 4096 50,05 0,25 0,31 0,19
NVMe_rnd_de6000f-02 29 722,68 232,21 8192 50,02 0,27 0,34 0,20
NVMe_rnd_de6000f-02 26 530,92 414,55 16384 49,99 0,30 0,38 0,21
NVMe_rnd_de6000f-02 22 281,13 696,29 32768 50,02 0,35 0,45 0,25
NVMe_rnd_de6000f-02 17 456,74 1 091,05 65536 50,03 0,45 0,58 0,32
NVMe_rnd_de6000f-02 12205 1 525,63 131072 50,01 0,64 0,82 0,46
NVMe_rnd_de6000f-02 7 674,75 1 918,69 262144 49,99 1,00 1,23 0,76
NVMe_rnd_de6000f-02 4 857,15 2 428,57 524288 50,17 1,57 1,79 1,34
scsi_rnd_de6000f-02 24 475,08 95,61 4096 50,04 0,32 0,32 0,32
scsi_rnd_de6000f-02 28 219,87 220,47 8192 50,02 0,28 0,35 0,21
scsi_rnd_de6000f-02 25 248,95 394,51 16384 50,03 0,31 0,40 0,23
scsi_rnd_de6000f-02 21 038,38 657,45 32768 50,01 0,37 0,48 0,27
scsi_rnd_de6000f-02 16 573,15 1 035,82 65536 50,01 0,47 0,61 0,33
scsi_rnd_de6000f-02 11 681,05 1 460,13 131072 50,02 0,67 0,85 0,48
scsi_rnd_de6000f-02 7 424,71 1 856,18 262144 49,92 1,03 1,28 0,79
scsi_rnd_de6000f-02 4 618,47 2 309,24 524288 50,08 1,65 1,90 1,40
NVMe_rnd_ds6200 17 227,96 67,30 4096 50,04 0,46 0,50 0,42
NVMe_rnd_ds6200 14 729,04 115,07 8192 50,01 0,54 0,59 0,48
NVMe_rnd_ds6200 13 209,99 206,41 16384 50,00 0,60 0,76 0,44
NVMe_rnd_ds6200 10 736,36 335,51 32768 50,04 0,74 0,96 0,52
NVMe_rnd_ds6200 6 670,22 416,89 65536 49,95 1,19 1,29 1,08
NVMe_rnd_ds6200 2 050,80 256,35 131072 50,09 3,88 2,78 4,98
NVMe_rnd_ds6200 646,19 161,55 262144 50,03 12,32 6,33 18,31
NVMe_rnd_ds6200 539,93 269,96 524288 50,36 14,70 16,49 12,89
scsi_rnd_ds6200 5 737,03 22,41 4096 49,99 1,39 1,36 1,41
scsi_rnd_ds6200 8 051,69 62,90 8192 50,02 0,99 0,91 1,06
scsi_rnd_ds6200 13 748,45 214,82 16384 50,05 0,58 0,71 0,45
scsi_rnd_ds6200 10 531,15 329,10 32768 50,08 0,75 0,94 0,56
scsi_rnd_ds6200 7 810,76 488,17 65536 49,96 1,01 1,24 0,78
scsi_rnd_ds6200 3 498,57 437,32 131072 49,91 2,26 1,87 2,66
scsi_rnd_ds6200 1 776,73 444,18 262144 50,02 4,44 2,82 6,07
scsi_rnd_ds6200 928,96 464,48 524288 49,94 8,50 13,46 3,55

Приложение 2. Таблица результатов тестов производительности работы дисков 1, 2 и 3 в операциях последовательного (sequental) и произвольного (random) ввода/вывода на различных СХД

Таблица 2. Сводные результаты тестов производительности

Тест io_rate MB/sec bytes/io read% resp read_resp write_resp cpu_used
NVMe_rnd_de6000f 44 470,27 173,71 4096 50,04 0,18 0,23 0,12 35,56
NVMe_rnd_de6000f 13 265,62 103,64 8192 50,04 0,60 0,33 0,86 20,70
NVMe_rnd_de6000f 32 224,51 503,51 16384 50,00 0,25 0,30 0,20 27,10
NVMe_rnd_de6000f 31 061,19 970,66 32768 50,01 0,25 0,35 0,16 26,26
NVMe_rnd_de6000f 24 850,26 1 553,14 65536 50,02 0,32 0,44 0,19 24,06
NVMe_rnd_de6000f 17 333,33 2 166,67 131072 50,05 0,45 0,63 0,27 25,17
NVMe_rnd_de6000f 10 178,83 2 544,71 262144 49,99 0,75 0,85 0,65 31,12
NVMe_rnd_de6000f 8 041,45 4 020,73 524288 50,02 0,93 1,22 0,65 36,84
NVMe_seq_de6000f 23 783,05 92,90 4096 50,04 0,33 0,34 0,33 28,06
NVMe_seq_de6000f 34 155,25 266,84 8192 50,02 0,23 0,24 0,22 31,81
NVMe_seq_de6000f 34 794,34 543,66 16384 50,01 0,23 0,26 0,20 32,54
NVMe_seq_de6000f 31 749,81 992,18 32768 50,01 0,25 0,31 0,19 32,99
NVMe_seq_de6000f 25 738,02 1 608,63 65536 50,02 0,31 0,41 0,20 29,44
NVMe_seq_de6000f 19 015,65 2 376,96 131072 50,02 0,41 0,56 0,26 30,53
NVMe_seq_de6000f 12 911,47 3 227,87 262144 49,99 0,59 0,80 0,38 35,35
NVMe_seq_de6000f 8 010,84 4 005,42 524288 49,98 0,94 1,26 0,61 38,84
pvscsi_rnd_de6000f 42 133,48 164,58 4096 50,04 0,19 0,24 0,13 36,52
pvscsi_rnd_de6000f 40 439,16 315,93 8192 50,01 0,20 0,26 0,13 35,40
pvscsi_rnd_de6000f 36 721,21 573,77 16384 50,02 0,21 0,28 0,15 34,70
pvscsi_rnd_de6000f 30 007,95 937,75 32768 50,02 0,26 0,35 0,18 32,35
pvscsi_rnd_de6000f 24 090,05 1 505,63 65536 50,01 0,33 0,44 0,21 31,51
pvscsi_rnd_de6000f 17 090,01 2 136,25 131072 49,99 0,46 0,63 0,29 30,15
pvscsi_rnd_de6000f 10 373,74 2 593,43 262144 49,98 0,73 0,89 0,58 36,42
pvscsi_rnd_de6000f 7 556,05 3 778,02 524288 49,92 0,99 1,23 0,76 39,08
pvscsi_seq_de6000f 20 050,52 78,32 4096 50,04 0,39 0,40 0,39 28,25
pvscsi_seq_de6000f 22 075,13 172,46 8192 50,05 0,36 0,39 0,33 28,69
pvscsi_seq_de6000f 23 442,13 366,28 16384 50,02 0,34 0,40 0,27 28,15
pvscsi_seq_de6000f 24 822,56 775,71 32768 50,00 0,32 0,46 0,18 28,35
pvscsi_seq_de6000f 19 695,04 1 230,94 65536 50,03 0,40 0,57 0,23 28,37
pvscsi_seq_de6000f 15 391,15 1 923,89 131072 50,02 0,51 0,72 0,29 29,01
pvscsi_seq_de6000f 10 426,48 2 606,62 262144 49,94 0,73 1,04 0,42 33,48
pvscsi_seq_de6000f 6 557,25 3 278,62 524288 50,11 1,15 1,62 0,68 37,02
lsiscsi_rnd_de6000f 43 608,72 170,35 4096 50,04 0,18 0,24 0,13 29,00
lsiscsi_rnd_de6000f 40 756,99 318,41 8192 50,02 0,19 0,26 0,13 28,99
lsiscsi_rnd_de6000f 36 837,61 575,59 16384 50,02 0,21 0,29 0,14 28,47
lsiscsi_rnd_de6000f 30 977,99 968,06 32768 50,04 0,25 0,34 0,17 25,78
lsiscsi_rnd_de6000f 24 008,41 1 500,53 65536 50,00 0,33 0,45 0,21 28,41
lsiscsi_rnd_de6000f 16 578,99 2 072,37 131072 50,00 0,47 0,65 0,29 29,96
lsiscsi_rnd_de6000f 10 545,75 2 636,44 262144 50,01 0,72 0,92 0,53 37,17
lsiscsi_rnd_de6000f 7 757,39 3 878,70 524288 49,99 0,96 1,25 0,68 39,62
lsiscsi_seq_de6000f 31 362,01 122,51 4096 50,05 0,25 0,25 0,25 27,39
lsiscsi_seq_de6000f 33 613,42 262,60 8192 50,01 0,24 0,25 0,22 27,07
lsiscsi_seq_de6000f 33 573,98 524,59 16384 50,00 0,24 0,27 0,20 28,64
lsiscsi_seq_de6000f 32 726,07 1 022,69 32768 50,00 0,24 0,31 0,17 28,81
lsiscsi_seq_de6000f 25 369,92 1 585,62 65536 50,08 0,31 0,41 0,20 28,69
lsiscsi_seq_de6000f 18 665,54 2 333,19 131072 49,99 0,42 0,56 0,27 28,76
lsiscsi_seq_de6000f 12 375,09 3 093,77 262144 50,00 0,61 0,81 0,41 34,85
lsiscsi_seq_de6000f 8 057,86 4 028,93 524288 50,02 0,93 1,23 0,63 36,94
NVMe_rnd_de6000f-02 43 722,42 170,79 4096 50,04 0,18 0,23 0,13 39,48
NVMe_rnd_de6000f-02 41 853,95 326,98 8192 50,02 0,19 0,25 0,13 37,59
NVMe_rnd_de6000f-02 37 715,68 589,31 16384 50,03 0,21 0,27 0,15 36,31
NVMe_rnd_de6000f-02 31 799,19 993,72 32768 50,03 0,25 0,32 0,18 34,47
NVMe_rnd_de6000f-02 25 678,53 1 604,91 65536 49,98 0,31 0,40 0,21 32,59
NVMe_rnd_de6000f-02 18 256,23 2 282,03 131072 49,99 0,43 0,58 0,28 29,67
NVMe_rnd_de6000f-02 10 375,93 2 593,98 262144 49,98 0,74 0,78 0,69 32,94
NVMe_rnd_de6000f-02 8 481,55 4 240,78 524288 50,02 0,88 1,11 0,65 40,37
NVMe_seq_de6000f-02 30 939,20 120,86 4096 50,04 0,26 0,26 0,25 33,70
NVMe_seq_de6000f-02 32 613,11 254,79 8192 50,01 0,24 0,25 0,23 35,68
NVMe_seq_de6000f-02 33 023,17 515,99 16384 50,01 0,24 0,27 0,21 34,47
NVMe_seq_de6000f-02 32 401,64 1 012,55 32768 50,01 0,24 0,31 0,17 36,32
NVMe_seq_de6000f-02 24 926,15 1 557,88 65536 50,06 0,31 0,42 0,21 33,25
NVMe_seq_de6000f-02 18 217,16 2 277,15 131072 49,99 0,43 0,59 0,27 29,97
NVMe_seq_de6000f-02 12 048,32 3 012,08 262144 50,02 0,63 0,87 0,39 35,23
NVMe_seq_de6000f-02 8 149,96 4 074,98 524288 50,02 0,92 1,25 0,60 37,88
pvscsi_rnd_de6000f-02 39 897,09 155,85 4096 50,05 0,20 0,26 0,14 35,29
pvscsi_rnd_de6000f-02 38 052,04 297,28 8192 50,01 0,21 0,27 0,14 35,01
pvscsi_rnd_de6000f-02 33 940,25 530,32 16384 50,00 0,23 0,31 0,16 35,29
pvscsi_rnd_de6000f-02 28 367,89 886,50 32768 50,01 0,28 0,37 0,18 34,17
pvscsi_rnd_de6000f-02 22 733,25 1 420,83 65536 50,05 0,35 0,48 0,22 29,18
pvscsi_rnd_de6000f-02 15 899,48 1 987,44 131072 50,02 0,49 0,69 0,29 27,88
pvscsi_rnd_de6000f-02 10 386,14 2 596,53 262144 49,98 0,74 1,02 0,45 33,74
pvscsi_rnd_de6000f-02 7 348,98 3 674,49 524288 50,02 1,02 1,35 0,70 37,17
pvscsi_seq_de6000f-02 26 144,70 102,13 4096 50,05 0,30 0,31 0,30 28,98
pvscsi_seq_de6000f-02 29 373,72 229,48 8192 50,01 0,27 0,28 0,25 30,67
pvscsi_seq_de6000f-02 29 958,31 468,10 16384 50,01 0,26 0,30 0,23 31,48
pvscsi_seq_de6000f-02 29 299,86 915,62 32768 50,03 0,27 0,36 0,18 31,84
pvscsi_seq_de6000f-02 22 716,35 1 419,77 65536 49,99 0,35 0,47 0,22 31,68
pvscsi_seq_de6000f-02 16 349,84 2 043,73 131072 50,08 0,48 0,67 0,29 29,53
pvscsi_seq_de6000f-02 10 811,34 2 702,83 262144 49,99 0,71 1,01 0,40 33,59
pvscsi_seq_de6000f-02 6 749,35 3 374,68 524288 49,97 1,12 1,59 0,65 36,75
lsiscsi_rnd_de6000f-02 43 032,61 168,10 4096 50,04 0,18 0,23 0,13 33,21
lsiscsi_rnd_de6000f-02 41 200,01 321,88 8192 50,01 0,19 0,25 0,14 32,80
lsiscsi_rnd_de6000f-02 36 889,38 576,40 16384 50,02 0,21 0,28 0,15 32,35
lsiscsi_rnd_de6000f-02 31 002,44 968,83 32768 50,03 0,25 0,33 0,18 31,28
lsiscsi_rnd_de6000f-02 24 891,97 1 555,75 65536 49,99 0,31 0,41 0,22 31,63
lsiscsi_rnd_de6000f-02 17 632,14 2 204,02 131072 49,98 0,44 0,59 0,30 29,80
lsiscsi_rnd_de6000f-02 10 523,98 2 631,00 262144 49,96 0,72 0,81 0,63 35,31
lsiscsi_rnd_de6000f-02 8 205,13 4 102,56 524288 50,05 0,91 1,14 0,68 40,38
lsiscsi_seq_de6000f-02 25 146,95 98,23 4096 50,05 0,31 0,32 0,31 26,65
lsiscsi_seq_de6000f-02 28 841,68 225,33 8192 50,01 0,27 0,29 0,26 28,93
lsiscsi_seq_de6000f-02 29 606,03 462,59 16384 50,01 0,27 0,30 0,23 27,46
lsiscsi_seq_de6000f-02 29 406,10 918,94 32768 50,01 0,27 0,35 0,18 35,56
lsiscsi_seq_de6000f-02 23 327,58 1 457,97 65536 49,99 0,34 0,46 0,21 27,93
lsiscsi_seq_de6000f-02 17 042,95 2 130,37 131072 50,08 0,46 0,63 0,29 28,98
lsiscsi_seq_de6000f-02 11 109,65 2 777,41 262144 49,99 0,69 0,97 0,40 31,02
lsiscsi_seq_de6000f-02 7 607,21 3 803,60 524288 49,99 0,99 1,36 0,63 34,94

Тестирование СХД Lenovo ThinkSystem DE6000F по протоколу передачи NVMe over FC: 2 комментария

  1. «Также нет доказательств, что внутрь ВМ vSphere обеспечивает end-to-end NVMe без протоколов-посредников.» — в 7-ке нет end-to-end NVMe. Даже при использовании vNVMe+NVMeOF по середине есть конвертация в scsi и обратно (это не так страшно, как можно себе представить, но все-таки есть):
    1.) «ESXi internally emulates NVMe-oF targets as SCSI targets and presents them as active/active SCSI targets or implicit ALUA SCSI targets.» — https://docs.vmware.com/en/VMware-vSphere/7.0/com.vmware.vsphere.storage.doc/GUID-059DDF49-2A0C-49F5-BB3B-907A21EC94D6.html
    2.) Об этом рассказывали ан VMworld на сессии OCTO1128 (https://my.vmworld.com/widget/vmware/vmworld2020/catalog/session/1585251078176001idCu ) Как обстоят дела в 7 — https://ibb.co/mHFbPXN, Планы — https://ibb.co/ftk8kLH

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *