Тестирование СХД Lenovo ThinkSystem DE6000F по протоколу передачи NVMe over FC

Disclaimer:  все дальнейшие рассуждения, настройки и выбранные методы тестирования могут быть ошибочны. Никакого отношения к компаниям Lenovo, NetApp, Broadcom мы не имеем.

Вступление

Осенью 2021 года в наши загребущие ручонки попала система хранения данных (СХД) Lenovo ThinkSystem DE6000F с внутренней поддержкой протокола передачи NVMe и установленными дисками SAS SSD. Система также позволяет использовать протокол NVMe в среде сети хранения данных (SAN, Storage Area Network). Поскольку это вторая система хранения такого типа в наших руках, то решено подключить её к SAN по протоколу NVMe over FC (NVMe/FC) и проверить, реализуются ли на практике теоретические преимущества протокола NVMe.  Чтобы переключить СХД на использование нового протокола, на сайте Lenovo FOD получена соответствующая лицензия. СХД не может одновременно использовать несколько протоколов в одной среде передачи, поэтому включение протокола NVMe/FC приводит к отключению возможности работы по протоколу FC. Соответственно, СХД пропадает из зоны доступности серверов, FC-адаптеры которых не могут работать с новым протоколом.  Из имеющихся для стендирования серверов поддержку NVMe over FC «из коробки» имеют серверы Lenovo ThinkServer SR650 c 32-гигабитными FC-адаптерами и серверы Lenovo ThinkServer SR630 с 16 -гигабитными FС-адаптерами после обновления прошивок и драйверов FC-адаптеров.

Подключение и настройка

На серверах обновлены прошивки FC-адаптеров, установлены новые версии драйверов и включена поддержка протокола NVMe over FC. В отличие от СХД сервер может одновременно осуществлять передачу по нескольким протоколам, поэтому на работоспособность имеющейся системы настройки не повлияли.  На системе хранения были проведены подготовительные процедуры – все данные были перенесены на другие СХД, хранилища отмонтированы от серверов. После активации протокола NVMe/FC зоны SAN были исправлены в соответствии с новыми адресами системы хранения. Назначение LUN серверам на системе хранения переписано в соответствии с новыми адресами серверов. Хранилища с первого раза не увиделись серверами, поэтому пришлось их удалить и создать заново.

Конфигурация полигонов

Использовалось два полигона, один из серверов с 16 Гб/с FC –адаптерами, второй из серверов с 32 Гб/с FC – адаптерами.

Первый полигон: среда виртуализации VMware vSphere 7, пять хостов Lenovo ThinkServer SR630 (2x18C Xeon Gold 6154 3,0 ГГц, 768 ГБ ОЗУ, 2-портовый FC-адаптер QLogic QLE 2962, 16Гб/с).

Второй полигон: среда виртуализации VMware vSphere 7, два хоста Lenovo ThinkServer SR650 (2x16C Xeon Gold 6226R 2,9 ГГц, 768 ГБ ОЗУ, 2-портовый FC-адаптер Emulex LPe 35002, 32 Гб/с).

Тестовая машина: виртуальный сервер под управлением ОС Microsoft Windows Server 2022 Std, память 4 ГБ, 2 vCPU, три диска: системный 90 ГБ, два тестовых по 500 ГБ. Системный и один тестовый диски подключены к контроллеру VMware Paravirtual SCSI, второй тестовый диск – к NVMe. Программное обеспечение для проведения тестирования: VDbench v5.04.07.

Общие настройки тестирования: ввод/вывод производился на неформатированные (RAW) диски блоками по 4КБ, 8КБ, 16КБ, 32КБ, 64КБ, 128КБ, 256КБ, 512КБ.  С каждым размером блока выполнялось 12 прогонов теста. В одной серии тестов участвовал только один из 500 ГБ дисков. 50% – операции чтения.

Тестовые СХД:

1. Lenovo ThinkSystem DE6000F, All Flash Array, подключена через SAN по протоколу NVMe over FC. В тестах обозначена как DE6000F-02.
2. Lenovo ThinkSystem DE6000F, All Flash Array, подключена через SAN по протоколу FC. В тестах обозначена как DE6000F.
3. Lenovo ThinkSystem DS6200, все диски имеют тип SAS Подключена через SAN по протоколу FC. Обозначена как DS6200.
4. IBM Storwize v7000, трёхуровневый массив из дисков SSD+SAS+NL SAS. Подключена через SAN по протоколу FC. Обозначена как v7000.

Две первые, однотипные, используются для определения преимуществ подключения СХД по протоколу NVMe over FC (NVMe/FC) перед обычным FC. Вторая и третья добавлены для сравнения быстродействия СХД разных годов выпуска с разными типами дисков. Их тестирование выполнялось только на первом полигоне, так как контроллеры СХД имеют скорость 8/16 Гб/с.

Для настройки ПО тестирования требуется указать диск, с которым будет производиться работа. Имя диска в Windows можно узнать с помощью команды PowerShell:

Первоначальная установка сервера выполнена на DE6000F-02 (NVMe/FC), диски подключены к контроллерам: системный – VMware Paravirtual SCSI, тестовый 1 – NVMe, тестовый 2 – VMware Paravirtual SCSI.

Проведённые тесты, первый полигон

Замеры производительности работы тестовых дисков 1 и 2 в операциях последовательного (sequental) и произвольного (random) ввода/вывода выполнялись в несколько этапов. На первом этапе выполнены замеры при размещении всех дисков на СХД DE6000F-02.

Затем машина целиком перенесена на СХД v7000.

Произведены замеры производительности работы тестовых дисков 1 и 2 в операциях последовательного (sequental) и произвольного (random) ввода/вывода.

Для следующей серии испытаний тестовые диски 1 и 2 мигрированы на СХД DE6000F.

Проведены замеры производительности работы тестовых дисков 1 и 2 в операциях последовательного (sequental) и произвольного (random) ввода/вывода.

И заключительная серия тестов выполнена на СХД DS6200 и v7000.

Таблица с полученными результатами приводится в Приложении 1.

Тесты поименованы следующим образом, где Х – тип нагрузки (random, sequental):

NVMe_X_v7000 – тест диска, подключенного к контроллеру NVME и размещённому на СХД IBM Storwize v7000.

Scsi_X_v7000 – тест диска, подключенного к контроллеру VMware Paravirtual SCSI и размещённому на СХД IBM Storwize v7000.

NVMe_X_ds6200 – тест диска, подключенного к контроллеру NVMe и размещённому на СХД Lenovo ThinkSystem DS6200.

Scsi_X_ds6200– тест диска, подключенного к контроллеру VMware Paravirtual SCSI и размещённому на СХД Lenovo ThinkSystem DS6200.

NVMe_X_de6000f – тест диска, подключенного к контроллеру NVMe и размещённому на СХД Lenovo ThinkSystem DE6000F.

Scsi_X_de6000f– тест диска, подключенного к контроллеру VMware Paravirtual SCSI и размещённому на СХД Lenovo ThinkSystem DE6000F.

NVMe_X_de6000f-02 – тест диска, подключенного к контроллеру NVME и размещённому на СХД Lenovo ThinkSystem DE6000F #2.

Scsi_X_de6000f-02– тест диска, подключенного к контроллеру VMware Paravirtual SCSI и размещённому на СХД Lenovo ThinkSystem DE6000F #2.

Диаграмма 1. Сравнение показателей IOPS для разных типов контроллеров виртуальной машины в зависимости от блока записи в операциях последовательного и произвольного ввода/вывода.

Здесь и далее:

NVMe – контроллер NVMe;

scsi – контроллер VMware Paravirtual SCSI;

rnd – тест в операциях произвольного (random) ввода/вывода;

seq – тест в операциях последовательного (sequental)  ввода/вывода.

Диаграмма 2. Сравнение показателей МБ/сек для разных типов контроллеров виртуальной машины в зависимости от блока записи в операциях последовательного и произвольного ввода/вывода.

Диаграмма 3. Сравнение задержек времени отклика в мс при записи и чтении для разных систем хранения, отсортированное по блоку записи.

Диаграмма 4. Соотношение производительности NVMe и VMware Paravirtual SCSI контроллеров в МБ/сек при разном блоке записи в операциях последовательного ввода/вывода. DE6000F подключена по FC, DE6000F-02 – по NVMe over FC.

Диаграмма 5. Соотношение производительности NVMe и VMware Paravirtual SCSI контроллеров в IOPS при разном блоке записи в операциях последовательного ввода/вывода.

Диаграмма 6. Соотношение производительности NVMe и VMware Paravirtual SCSI контроллеров в МБ/сек при разном блоке записи в операциях произвольного ввода/вывода.

Диаграмма 7. Соотношение производительности NVMe и VMware Paravirtual SCSI контроллеров в IOPS при разном блоке записи в операциях произвольного ввода/вывода.

Диаграмма 8. Соотношение IOPS и МБ/сек для разного размера блока записи для СХД Lenovo ThinkSystem DE6000F (FC).

Диаграмма 9. Соотношение IOPS и МБ/сек для разного размера блока записи для СХД Lenovo ThinkSystem DE6000F-02 (NVMe over FC).

Диаграмма 10. Соотношение IOPS и МБ/сек для разного размера блока записи для СХД Lenovo ThinkSystem DS6200.

Диаграмма 11. Соотношение IOPS и МБ/сек для разного размера блока записи для СХД IBM Storwize v7000.

Нагрузочный тест систем хранения группой серверов, первый полигон

Для проверки как СХД будут справляться с более реальной нагрузкой, создаваемой несколькими серверами, проведена серия тестов с помощью ПО HCIBench. Имитировалась нагрузка, создаваемая в процессе работы серверов Oracle Database: блок записи – 8КБ, 73% – операции чтения. Нагрузку создавали четыре тестовых машины с параметрами: 4 vCPU, 8 ГБ памяти, 6 неформатированных (RAW) дисков по 80 ГБ. Время тестирования – 300 сек., перед тестированием делается «прогрев» дисков в течении 120 сек. Тесты последовательно прогонялись на СХД DE6000F, DE6000F-02, DS6200 и на SC5020. IBM Storwize v7000 заменён на Dell SC5020 All Flash Array чтобы под СУБД Oracle Database сравнивать только All Flash-массивы.

Таблица 2. Результаты тестирования группой серверов.

СХД	IOPS	МБ/сек	Latency, мс	Задержки чтения, мс	Задержки записи, мс
de6000f	14 333,10	111,98	3,34	0,28	11,58
de6000f-02	16 857,10	131,68	2,88	0,36	9,66
sc5020	14 609,30	114,14	2,46	0,65	7,34
ds6200	5 035,10	39,33	10,74	0,40	38,49

Диаграмма 12. Усреднённое количество IOPS.

Диаграмма 13. Усреднённое количество МБ/сек.

Диаграмма 14. Усреднённые задержки при выполнении операций, мс.

Проведённые тесты, второй полигон

Конфигурация полигона: среда виртуализации VMware vSphere 7, два хоста Lenovo ThinkServer SR650 (2x16C Xeon Gold 6226R 2,9 ГГц, 768 ГБ ОЗУ, 2-портовый FC-адаптер Emulex LPe 35002, 32 Гб/с).

Тестовая машина: виртуальный сервер NVMTEST под управлением ОС Microsoft Windows Server 2022 Std, память 4 ГБ, 2 vCPU, три диска: системный 90 ГБ, два тестовых по 500 ГБ. Системный и один тестовый диски подключены к контроллеру VMware Paravirtual SCSI, второй тестовый диск – к NVMe. В конфигурацию виртуальной машины на этом полигоне добавлен контроллер LSI Logic SAS и диск размером 500 ГБ, подключенный к этому контроллеру. В описании тестов он указан под номером 3. Программное обеспечение для проведения тестирования: VDbench v5.04.07.

Общие настройки тестирования: ввод/вывод производился на неформатированные (RAW) диски блоками по 4КБ, 8КБ, 16КБ, 32КБ, 64КБ, 128КБ, 256КБ, 512КБ.  С каждым размером блока выполнялось 12 прогонов теста. В одной серии тестов участвовал только один из 500 ГБ дисков. 50% – операции чтения.

Отличия – замеры производительности выполнялись только на двух системах хранения: DE6000F, подключенной по FC, и DE6000F-02, подключенной по NVMe over FC . В набор тестов добавлен тест с контроллером LSI Logic SAS. Данный контроллер устанавливается в виртуальную машину по умолчанию, поддерживается «из коробки» всеми серверными ОС. Оценить его производительность относительно рекомендуемого к установке контроллера VMware Paravirtual SCSI и новейшего NVMe представляло особый интерес. Первая серия тестов проведена на ВМ NVMTEST. Выполнены замеры производительности работы тестовых дисков 1, 2 и 3 в операциях последовательного (sequental) и произвольного (random) ввода/вывода. На первом этапе выполнены замеры при размещении всех тестовых дисков на СХД DE6000F-02.

Затем машина целиком перенесена на СХД DE6000F. Проведены замеры производительности работы тестовых дисков 1, 2 и 3 в операциях последовательного (sequental) и произвольного (random) ввода/вывода.

Полученные результаты собраны в таблицу и представлены в виде графиков. Но анализ результатов проведен в другом разрезе. Сравнены одинаковые параметры производительности для серверов с 16 Гб/с – адаптерами и серверов с 32 Гб/с – адаптерами. Оценена производительность работы дисковых контроллеров виртуальной машины при размещении дисков на СХД, работающих по разным протоколам. Результаты сравнения представлены ниже. Таблица с полученными результатами приводится в Приложении 2.

Тесты поименованы следующим образом, где Х – тип нагрузки (random, sequental):

NVMe_X_de6000f – тест диска, подключенного к контроллеру NVMe и размещённому на СХД Lenovo ThinkSystem DE6000F .

Pvscsi_X_de6000f– тест диска, подключенного к контроллеру VMware Paravirtual SCSI и размещённому на СХД Lenovo ThinkSystem DE6000F.

Lsiscsi_X_de6000f– тест диска, подключенного к контроллеру LSI Logic SAS и размещённому на СХД Lenovo ThinkSystem DE6000F .

NVMe_X_de6000f-02 – тест диска, подключенного к контроллеру NVMe и размещённому на СХД Lenovo ThinkSystem DE6000F-02.

Pvscsi_X_de6000f-02– тест диска, подключенного к контроллеру VMware Paravirtual SCSI и размещённому на СХД Lenovo ThinkSystem DE6000F-02.

Lsiscsi_X_de6000f-02– тест диска, подключенного к контроллеру LSI Logic SAS и размещённому на СХД Lenovo ThinkSystem DE6000F-02.

Здесь и далее:

NVMe – контроллер NVMe;

pvscsi – контроллер VMware Paravirtual SCSI;

lsiscsi – контроллер LSI Logic SAS;

rnd – тест в операциях произвольного (random) ввода/вывода;

seq – тест в операциях последовательного (sequental)  ввода/вывода.

DE6000F подключена по протоколу FC, DE6000F-02 – по протоколу NVMe over FC.

Диаграмма 15. Сравнение производительности в IOPS для разных типов дисковых контроллеров.

Диаграмма 16. Сравнение производительности в МБ/с для разных типов дисковых контроллеров.

Диаграмма 17. Сравнение задержек при выполнении операций чтения и записи, мс, для разных типов дисковых контроллеров. Профиль нагрузки – 50% чтение. СХД – DE6000F-02 (NVMe over FC).

Диаграмма 18. Сравнение загрузки CPU тестовой машины, % для разных типов дисковых контроллеров в операциях произвольного ввода/вывода. Профиль нагрузки – 50% чтение.

Диаграмма 19. Сравнение загрузки CPU тестовой машины, % для разных типов дисковых контроллеров в операциях последовательного ввода/вывода. Профиль нагрузки – 50% чтение.

Несколько диаграмм, показывающих разницу в производительности между адаптерами 16Гб/с и 32Гб/с.

Диаграмма 20. Сравнение производительности в IOPS достигнутой в тестах на серверах с адаптерами 16 Гб/с и 32 Гб/с. Блок записи – 4096 Б. Профиль нагрузки – 50% чтение (Контроллер LSI Logic SAS не участвовал в тестах на серверах с FC HBA на 16 Гб/с).

Диаграмма 21. Сравнение производительности в MB/s достигнутой в тестах на серверах с адаптерами 16 Гб/с и 32 Гб/с. Блок записи – 4096 Б. Профиль нагрузки – 50% чтение.

Диаграмма 22. Сравнение задержек в мс, достигнутых в операциях чтения и записи в тестах на серверах с адаптерами 16 Гб/с и 32 Гб/с. Блок записи – 4096 Б. Профиль нагрузки – 50% чтение.

Диаграмма 23. Отношение производительности в IOPS между серверами c адаптерами 16 Гб/с и 32 Гб/с. Производительность адаптеров 16 Гб/с принята за 100%. Блок записи – 4096 Б. Профиль нагрузки – 50% чтение.

Диаграмма 24. Относительная величина задержек в мс, достигнутых в операциях чтения и записи в тестах на серверах с адаптерами 16 Гб/с и 32 Гб/с. Задержки на адаптерах 16Гб/с приняты за 100%. Блок записи – 4096 Б. Профиль нагрузки – 50% чтение.

Нагрузочный тест систем хранения группой серверов, второй полигон

Для сравнения результатов, выдаваемых разными СХД под нагрузкой, создаваемой несколькими серверами, виртуальная машина HCIBench перенесена на второй полигон. Также имитирована нагрузка, создаваемая в процессе работы серверов СУБД Oracle Database: блок записи – 8КБ, 73% – операции чтения. Созданы четыре тестовых машины с параметрами: 4 vCPU, 8 ГБ ОЗУ, 6 неформатированных (RAW) дисков по 80ГБ. Время тестирования – 300 сек., перед тестированием делался «прогрев» дисков в течении 120 сек. Тесты последовательно прогонялись на СХД DE6000F, и DE6000F-02. Определялось, насколько влияет на производительность систем протокол подключения СХД – FC или NVMe/FC, и тип серверного адаптера – 16 Гб/с или 32 Гб/с.

Таблица 3. Результаты тестирования группой серверов.

СХД	FC, Гб/с	IOPS	МБ/сек	Latency, ms	Задержки при чтении, мс	Задержки при записи, мс
de6000f	16	14 333,10	111,98	3,34	0,28	11,58
de6000f-02	16	16 857,10	131,68	2,88	0,36	9,66
de6000f	32	16 291,30	127,27	3,51	0,26	12,25
de6000f-02	32	22 404,60	175,04	1,43	0,29	4,50

Диаграмма 26 (не ищете 25-ую, её нет). Отношение производительности работы СХД в IOPS в связке с серверами с адаптерами 32 Гб/с по сравнению с серверами с адаптерами 16 Гб/с.

Выводы по результатам тестирования

Тестирование на одиночной машине показало, что:

• Для одиночной машины подключение системы хранения по протоколу NVMe over FC не даёт преимуществ перед подключением по обычному FC. На производительность СХД значительное влияние оказывает техническое совершенство конструкции и используемых программных и аппаратных компонентов.
• Использование FC-адаптеров 32Гб/с улучшает производительность работы связки «сервер – СХД» на 14-40%, вне зависимости от протокола подключения СХД.
• Использование NVMe-контроллера внутри виртуальной машины для подключения дисков позволяет получить выигрыш в производительности перед SCSI, даже на системах хранения, не использующих протокол NVMe и диски SSD.
• Контроллеры VMware Paravirtual SCSI и LSI Logic SAS виртуальной машины имеют примерно одинаковую производительность, но первый нагружает процессор чуть сильнее (в тестах от VMware наоборот).
• На всех системах хранения максимальная производительность в IOPS достигается при небольших блоках разбиения – 4-8 КБ, у современных систем она сохраняется до 16-32 КБ, а максимальная производительность в МБ/с – при больших (64 КБ и выше). Системы последнего поколения позволяют использовать блоки разбиения 16-32 КБ без потери производительности в операциях ввода-вывода, более старые ориентированы на 4-8 КБ блок.

Тестирование одновременной работы группы серверов выявило:

• В конфигурации «серверы с 16Гб/с – адаптерами» имеется небольшое преимущество СХД, подключенной по протоколу NVM over FC перед СХД, подключенной по FC. Преимущество составляет ~18%.
• В конфигурации «серверы с 32Гб/с – адаптерами» преимущество СХД, подключенной по протоколу NVMe over FC, возрастает до ~38%.

Таким образом, проведённое тестирование показывает, что подключение СХД по протоколу NVMe over FC даёт преимущество в производительности при размещении на СХД данных нескольких серверов. С увеличением количества серверов и интенсивности их работы преимущество возрастает. Использование 32 Гб/с FC-адаптеров также существенно повышает общую производительность системы.

Примечание: DE6000F не обеспечивает end-to-end NVMe, так как используются SAS SSD. Также нет доказательств, что внутрь ВМ vSphere обеспечивает end-to-end NVMe без протоколов-посредников.

Приложение 1. Таблица результатов тестов производительности работы дисков 1 и 2 в операциях последовательного (sequental) и произвольного (random) ввода/вывода на различных СХД

Описание параметров таблицы результатов:

Тест – Имя теста.

io_rate – Наблюдаемое отношение, IOPS.

MB/sec – Megabytes per second (MB=1024*1024 байт).

bytes/io – Размер блока передачи данных, байт в операцию.

read% – Процент запросов на чтение.

resp – Время отклика, мс.

read_resp – Время отклика в операциях чтения, мс.

write_resp – Время отклика в операциях записи, мс.

rnd – тест в операциях произвольного (random) ввода/вывода.

seq – тест в операциях последовательного (sequental)  ввода/вывода.

Таблица 1. Сводные результаты тестов производительности.

Тест	io_rate	MB/sec	bytes/io	read%	resp	read_resp	write_resp
NVMe_seq_v7000	12 915,12	50,45	4096	50,04	0,61	0,57	0,66
NVMe_seq_v7000	10 027,52	78,34	8192	50,02	0,79	0,91	0,68
NVMe_seq_v7000	8 202,52	128,16	16384	50,06	0,97	1,29	0,65
NVMe_seq_v7000	7 271,80	227,24	32768	50,05	1,09	1,50	0,67
NVMe_seq_v7000	5 692,66	355,79	65536	49,98	1,39	1,85	0,93
NVMe_seq_v7000	4 006,48	500,81	131072	49,89	1,97	2,50	1,45
NVMe_seq_v7000	2 483,01	620,75	262144	50,02	3,16	3,88	2,45
NVMe_seq_v7000	1 363,59	681,80	524288	50,14	5,76	7,35	4,16
scsi_seq_v7000	11 266,40	44,01	4096	50,02	0,71	0,73	0,68
scsi_seq_v7000	7 360,10	57,50	8192	50,05	1,08	1,46	0,70
scsi_seq_v7000	5 012,62	78,32	16384	50,06	1,59	2,48	0,69
scsi_seq_v7000	3 966,13	123,94	32768	50,01	2,01	3,25	0,76
scsi_seq_v7000	2 275,85	142,24	65536	50,10	3,51	6,18	0,83
scsi_seq_v7000	1 442,07	180,26	131072	50,23	5,52	9,84	1,17
scsi_seq_v7000	917,40	229,35	262144	50,07	8,66	15,59	1,71
scsi_seq_v7000	523,52	261,76	524288	50,05	15,17	27,62	2,70
NVMe_seq_de6000f-02	20 057,05	78,35	4096	50,04	0,40	0,40	0,39
NVMe_seq_de6000f-02	23 966,53	187,24	8192	50,04	0,33	0,35	0,31
NVMe_seq_de6000f-02	24 776,91	387,14	16384	50,02	0,32	0,35	0,28
NVMe_seq_de6000f-02	24 339,54	760,61	32768	50,01	0,32	0,40	0,24
NVMe_seq_de6000f-02	19 049,44	1 190,59	65536	50,00	0,41	0,51	0,31
NVMe_seq_de6000f-02	13 404,41	1 675,55	131072	50,03	0,58	0,71	0,45
NVMe_seq_de6000f-02	8 280,62	2 070,15	262144	49,93	0,92	1,11	0,73
NVMe_seq_de6000f-02	4 889,80	2 444,90	524288	50,10	1,55	1,83	1,28
scsi_seq_de6000f	21 398,01	83,59	4096	50,03	0,37	0,37	0,37
scsi_seq_de6000f	23 934,41	186,99	8192	50,04	0,33	0,34	0,32
scsi_seq_de6000f	24 570,64	383,92	16384	50,01	0,32	0,36	0,28
scsi_seq_de6000f	23 536,20	735,51	32768	50,02	0,33	0,42	0,25
scsi_seq_de6000f	17 849,31	1 115,58	65536	50,00	0,44	0,51	0,37
scsi_seq_de6000f	12 101,51	1 512,69	131072	50,01	0,64	0,62	0,67
scsi_seq_de6000f	7 724,24	1 931,06	262144	49,98	0,99	0,99	0,99
scsi_seq_de6000f	4 771,12	2 385,56	524288	49,99	1,59	1,64	1,53
NVMe_seq_de6000f	23 208,65	90,66	4096	50,04	0,34	0,34	0,34
NVMe_seq_de6000f	25 488,02	199,13	8192	50,00	0,31	0,32	0,30
NVMe_seq_de6000f	25 881,25	404,39	16384	50,03	0,30	0,34	0,27
NVMe_seq_de6000f	24 043,88	751,37	32768	50,00	0,33	0,39	0,26
NVMe_seq_de6000f	19 026,83	1 189,18	65536	50,01	0,41	0,51	0,32
NVMe_seq_de6000f	13 539,69	1 692,46	131072	49,97	0,58	0,70	0,45
NVMe_seq_de6000f	8 397,17	2 099,29	262144	50,07	0,91	1,09	0,73
NVMe_seq_de6000f	4 936,75	2 468,38	524288	50,05	1,54	1,79	1,28
NVMe_seq_de6000f-02	24 757,42	96,71	4096	50,05	0,32	0,32	0,32
NVMe_seq_de6000f-02	25 360,83	198,13	8192	50,01	0,31	0,32	0,30
NVMe_seq_de6000f-02	25 064,24	391,63	16384	50,03	0,31	0,35	0,28
NVMe_seq_de6000f-02	24 824,52	775,77	32768	50,01	0,32	0,39	0,24
NVMe_seq_de6000f-02	19 082,68	1 192,67	65536	50,01	0,41	0,51	0,31
NVMe_seq_de6000f-02	13 418,95	1 677,37	131072	49,94	0,58	0,71	0,45
NVMe_seq_de6000f-02	8 300,65	2 075,16	262144	50,10	0,92	1,11	0,73
NVMe_seq_de6000f-02	4 821,63	2 410,81	524288	50,01	1,58	1,86	1,29
scsi_seq_de6000f-02	23 884,60	93,30	4096	50,04	0,33	0,33	0,33
scsi_seq_de6000f-02	22 870,27	178,67	8192	50,02	0,35	0,36	0,34
scsi_seq_de6000f-02	24 409,79	381,40	16384	50,03	0,32	0,36	0,29
scsi_seq_de6000f-02	23 893,11	746,66	32768	50,02	0,33	0,40	0,25
scsi_seq_de6000f-02	18 539,53	1 158,72	65536	50,00	0,42	0,52	0,32
scsi_seq_de6000f-02	12 916,40	1 614,55	131072	50,01	0,60	0,73	0,48
scsi_seq_de6000f-02	8 084,93	2 021,23	262144	49,94	0,94	1,11	0,77
scsi_seq_de6000f-02	4 794,65	2 397,32	524288	50,12	1,59	1,80	1,38
NVMe_seq_ds6200	24 420,93	95,39	4096	50,04	0,32	0,38	0,27
NVMe_seq_ds6200	21 944,19	171,44	8192	50,03	0,36	0,43	0,29
NVMe_seq_ds6200	19 767,34	308,86	16384	50,05	0,40	0,47	0,33
NVMe_seq_ds6200	14 673,95	458,56	32768	50,01	0,54	0,73	0,35
NVMe_seq_ds6200	9 957,40	622,34	65536	49,98	0,79	1,15	0,43
NVMe_seq_ds6200	6 669,77	833,72	131072	50,05	1,18	1,76	0,60
NVMe_seq_ds6200	4 222,08	1 055,52	262144	50,06	1,84	2,79	0,89
NVMe_seq_ds6200	2 440,37	1 220,19	524288	50,06	3,18	4,88	1,47
scsi_seq_ds6200	17 834,48	69,67	4096	50,03	0,44	0,18	0,71
scsi_seq_ds6200	21 891,85	171,03	8192	50,06	0,36	0,26	0,46
scsi_seq_ds6200	16 792,39	262,38	16384	49,99	0,47	0,37	0,57
scsi_seq_ds6200	12 108,52	378,39	32768	50,03	0,65	0,62	0,68
scsi_seq_ds6200	8 368,12	523,01	65536	50,01	0,94	0,86	1,03
scsi_seq_ds6200	5 606,80	700,85	131072	50,04	1,40	1,45	1,36
scsi_seq_ds6200	3 717,25	929,31	262144	49,98	2,10	2,35	1,85
scsi_seq_ds6200	1 999,55	999,78	524288	49,88	3,89	4,75	3,04
NVMe_rnd_v7000	1 819,44	7,11	4096	49,83	4,33	8,29	0,41
NVMe_rnd_v7000	1 346,67	10,52	8192	50,09	5,93	11,37	0,47
NVMe_rnd_v7000	1 562,75	24,42	16384	50,01	5,11	9,75	0,46
NVMe_rnd_v7000	1 374,69	42,96	32768	50,18	5,81	11,08	0,50
NVMe_rnd_v7000	1 298,52	81,16	65536	49,93	6,14	11,67	0,63
NVMe_rnd_v7000	1 246,51	155,81	131072	50,00	6,39	11,94	0,84
NVMe_rnd_v7000	1 072,35	268,09	262144	50,22	7,40	13,33	1,42
NVMe_rnd_v7000	745,95	372,97	524288	49,90	10,61	18,55	2,70
scsi_rnd_v7000	1 873,52	7,32	4096	49,81	4,26	8,12	0,43
scsi_rnd_v7000	1 721,02	13,45	8192	50,05	4,64	8,82	0,45
scsi_rnd_v7000	1 243,65	19,43	16384	50,03	6,42	12,38	0,46
scsi_rnd_v7000	1 202,38	37,57	32768	50,20	6,64	12,72	0,51
scsi_rnd_v7000	1 302,41	81,40	65536	49,93	6,13	11,65	0,62
scsi_rnd_v7000	1 214,74	151,84	131072	49,96	6,56	12,30	0,83
scsi_rnd_v7000	1 060,23	265,06	262144	50,23	7,49	13,57	1,34
scsi_rnd_v7000	744,27	372,14	524288	49,89	10,63	18,93	2,38
NVMe_rnd_de6000f	34 759,64	135,78	4096	50,05	0,23	0,29	0,16
NVMe_rnd_de6000f	30 665,30	239,57	8192	50,00	0,26	0,33	0,18
NVMe_rnd_de6000f	28 498,15	445,28	16384	50,01	0,28	0,36	0,19
NVMe_rnd_de6000f	23 209,18	725,29	32768	50,01	0,34	0,44	0,23
NVMe_rnd_de6000f	17 889,93	1 118,12	65536	49,97	0,44	0,57	0,30
NVMe_rnd_de6000f	12 692,48	1 586,56	131072	50,06	0,61	0,80	0,43
NVMe_rnd_de6000f	7 913,63	1 978,41	262144	50,12	0,97	1,21	0,73
NVMe_rnd_de6000f	4 539,10	2 269,55	524288	49,93	1,67	1,86	1,48
scsi_rnd_de6000f	32 888,60	128,47	4096	50,05	0,24	0,30	0,18
scsi_rnd_de6000f	30 742,50	240,18	8192	50,00	0,26	0,33	0,19
scsi_rnd_de6000f	27 580,53	430,95	16384	49,99	0,29	0,37	0,20
scsi_rnd_de6000f	22 654,03	707,94	32768	50,01	0,35	0,45	0,25
scsi_rnd_de6000f	17 629,87	1 101,87	65536	49,99	0,44	0,57	0,32
scsi_rnd_de6000f	12 222,65	1 527,83	131072	50,11	0,64	0,81	0,47
scsi_rnd_de6000f	7 738,18	1 934,55	262144	50,03	0,99	1,21	0,77
scsi_rnd_de6000f	4 747,57	2 373,79	524288	50,16	1,60	1,81	1,39
NVMe_rnd_de6000f-02	32 145,87	125,57	4096	50,05	0,25	0,31	0,19
NVMe_rnd_de6000f-02	29 722,68	232,21	8192	50,02	0,27	0,34	0,20
NVMe_rnd_de6000f-02	26 530,92	414,55	16384	49,99	0,30	0,38	0,21
NVMe_rnd_de6000f-02	22 281,13	696,29	32768	50,02	0,35	0,45	0,25
NVMe_rnd_de6000f-02	17 456,74	1 091,05	65536	50,03	0,45	0,58	0,32
NVMe_rnd_de6000f-02	12205	1 525,63	131072	50,01	0,64	0,82	0,46
NVMe_rnd_de6000f-02	7 674,75	1 918,69	262144	49,99	1,00	1,23	0,76
NVMe_rnd_de6000f-02	4 857,15	2 428,57	524288	50,17	1,57	1,79	1,34
scsi_rnd_de6000f-02	24 475,08	95,61	4096	50,04	0,32	0,32	0,32
scsi_rnd_de6000f-02	28 219,87	220,47	8192	50,02	0,28	0,35	0,21
scsi_rnd_de6000f-02	25 248,95	394,51	16384	50,03	0,31	0,40	0,23
scsi_rnd_de6000f-02	21 038,38	657,45	32768	50,01	0,37	0,48	0,27
scsi_rnd_de6000f-02	16 573,15	1 035,82	65536	50,01	0,47	0,61	0,33
scsi_rnd_de6000f-02	11 681,05	1 460,13	131072	50,02	0,67	0,85	0,48
scsi_rnd_de6000f-02	7 424,71	1 856,18	262144	49,92	1,03	1,28	0,79
scsi_rnd_de6000f-02	4 618,47	2 309,24	524288	50,08	1,65	1,90	1,40
NVMe_rnd_ds6200	17 227,96	67,30	4096	50,04	0,46	0,50	0,42
NVMe_rnd_ds6200	14 729,04	115,07	8192	50,01	0,54	0,59	0,48
NVMe_rnd_ds6200	13 209,99	206,41	16384	50,00	0,60	0,76	0,44
NVMe_rnd_ds6200	10 736,36	335,51	32768	50,04	0,74	0,96	0,52
NVMe_rnd_ds6200	6 670,22	416,89	65536	49,95	1,19	1,29	1,08
NVMe_rnd_ds6200	2 050,80	256,35	131072	50,09	3,88	2,78	4,98
NVMe_rnd_ds6200	646,19	161,55	262144	50,03	12,32	6,33	18,31
NVMe_rnd_ds6200	539,93	269,96	524288	50,36	14,70	16,49	12,89
scsi_rnd_ds6200	5 737,03	22,41	4096	49,99	1,39	1,36	1,41
scsi_rnd_ds6200	8 051,69	62,90	8192	50,02	0,99	0,91	1,06
scsi_rnd_ds6200	13 748,45	214,82	16384	50,05	0,58	0,71	0,45
scsi_rnd_ds6200	10 531,15	329,10	32768	50,08	0,75	0,94	0,56
scsi_rnd_ds6200	7 810,76	488,17	65536	49,96	1,01	1,24	0,78
scsi_rnd_ds6200	3 498,57	437,32	131072	49,91	2,26	1,87	2,66
scsi_rnd_ds6200	1 776,73	444,18	262144	50,02	4,44	2,82	6,07
scsi_rnd_ds6200	928,96	464,48	524288	49,94	8,50	13,46	3,55

Приложение 2. Таблица результатов тестов производительности работы дисков 1, 2 и 3 в операциях последовательного (sequental) и произвольного (random) ввода/вывода на различных СХД

Таблица 2. Сводные результаты тестов производительности

Тест	io_rate	MB/sec	bytes/io	read%	resp	read_resp	write_resp	cpu_used
NVMe_rnd_de6000f	44 470,27	173,71	4096	50,04	0,18	0,23	0,12	35,56
NVMe_rnd_de6000f	13 265,62	103,64	8192	50,04	0,60	0,33	0,86	20,70
NVMe_rnd_de6000f	32 224,51	503,51	16384	50,00	0,25	0,30	0,20	27,10
NVMe_rnd_de6000f	31 061,19	970,66	32768	50,01	0,25	0,35	0,16	26,26
NVMe_rnd_de6000f	24 850,26	1 553,14	65536	50,02	0,32	0,44	0,19	24,06
NVMe_rnd_de6000f	17 333,33	2 166,67	131072	50,05	0,45	0,63	0,27	25,17
NVMe_rnd_de6000f	10 178,83	2 544,71	262144	49,99	0,75	0,85	0,65	31,12
NVMe_rnd_de6000f	8 041,45	4 020,73	524288	50,02	0,93	1,22	0,65	36,84
NVMe_seq_de6000f	23 783,05	92,90	4096	50,04	0,33	0,34	0,33	28,06
NVMe_seq_de6000f	34 155,25	266,84	8192	50,02	0,23	0,24	0,22	31,81
NVMe_seq_de6000f	34 794,34	543,66	16384	50,01	0,23	0,26	0,20	32,54
NVMe_seq_de6000f	31 749,81	992,18	32768	50,01	0,25	0,31	0,19	32,99
NVMe_seq_de6000f	25 738,02	1 608,63	65536	50,02	0,31	0,41	0,20	29,44
NVMe_seq_de6000f	19 015,65	2 376,96	131072	50,02	0,41	0,56	0,26	30,53
NVMe_seq_de6000f	12 911,47	3 227,87	262144	49,99	0,59	0,80	0,38	35,35
NVMe_seq_de6000f	8 010,84	4 005,42	524288	49,98	0,94	1,26	0,61	38,84
pvscsi_rnd_de6000f	42 133,48	164,58	4096	50,04	0,19	0,24	0,13	36,52
pvscsi_rnd_de6000f	40 439,16	315,93	8192	50,01	0,20	0,26	0,13	35,40
pvscsi_rnd_de6000f	36 721,21	573,77	16384	50,02	0,21	0,28	0,15	34,70
pvscsi_rnd_de6000f	30 007,95	937,75	32768	50,02	0,26	0,35	0,18	32,35
pvscsi_rnd_de6000f	24 090,05	1 505,63	65536	50,01	0,33	0,44	0,21	31,51
pvscsi_rnd_de6000f	17 090,01	2 136,25	131072	49,99	0,46	0,63	0,29	30,15
pvscsi_rnd_de6000f	10 373,74	2 593,43	262144	49,98	0,73	0,89	0,58	36,42
pvscsi_rnd_de6000f	7 556,05	3 778,02	524288	49,92	0,99	1,23	0,76	39,08
pvscsi_seq_de6000f	20 050,52	78,32	4096	50,04	0,39	0,40	0,39	28,25
pvscsi_seq_de6000f	22 075,13	172,46	8192	50,05	0,36	0,39	0,33	28,69
pvscsi_seq_de6000f	23 442,13	366,28	16384	50,02	0,34	0,40	0,27	28,15
pvscsi_seq_de6000f	24 822,56	775,71	32768	50,00	0,32	0,46	0,18	28,35
pvscsi_seq_de6000f	19 695,04	1 230,94	65536	50,03	0,40	0,57	0,23	28,37
pvscsi_seq_de6000f	15 391,15	1 923,89	131072	50,02	0,51	0,72	0,29	29,01
pvscsi_seq_de6000f	10 426,48	2 606,62	262144	49,94	0,73	1,04	0,42	33,48
pvscsi_seq_de6000f	6 557,25	3 278,62	524288	50,11	1,15	1,62	0,68	37,02
lsiscsi_rnd_de6000f	43 608,72	170,35	4096	50,04	0,18	0,24	0,13	29,00
lsiscsi_rnd_de6000f	40 756,99	318,41	8192	50,02	0,19	0,26	0,13	28,99
lsiscsi_rnd_de6000f	36 837,61	575,59	16384	50,02	0,21	0,29	0,14	28,47
lsiscsi_rnd_de6000f	30 977,99	968,06	32768	50,04	0,25	0,34	0,17	25,78
lsiscsi_rnd_de6000f	24 008,41	1 500,53	65536	50,00	0,33	0,45	0,21	28,41
lsiscsi_rnd_de6000f	16 578,99	2 072,37	131072	50,00	0,47	0,65	0,29	29,96
lsiscsi_rnd_de6000f	10 545,75	2 636,44	262144	50,01	0,72	0,92	0,53	37,17
lsiscsi_rnd_de6000f	7 757,39	3 878,70	524288	49,99	0,96	1,25	0,68	39,62
lsiscsi_seq_de6000f	31 362,01	122,51	4096	50,05	0,25	0,25	0,25	27,39
lsiscsi_seq_de6000f	33 613,42	262,60	8192	50,01	0,24	0,25	0,22	27,07
lsiscsi_seq_de6000f	33 573,98	524,59	16384	50,00	0,24	0,27	0,20	28,64
lsiscsi_seq_de6000f	32 726,07	1 022,69	32768	50,00	0,24	0,31	0,17	28,81
lsiscsi_seq_de6000f	25 369,92	1 585,62	65536	50,08	0,31	0,41	0,20	28,69
lsiscsi_seq_de6000f	18 665,54	2 333,19	131072	49,99	0,42	0,56	0,27	28,76
lsiscsi_seq_de6000f	12 375,09	3 093,77	262144	50,00	0,61	0,81	0,41	34,85
lsiscsi_seq_de6000f	8 057,86	4 028,93	524288	50,02	0,93	1,23	0,63	36,94
NVMe_rnd_de6000f-02	43 722,42	170,79	4096	50,04	0,18	0,23	0,13	39,48
NVMe_rnd_de6000f-02	41 853,95	326,98	8192	50,02	0,19	0,25	0,13	37,59
NVMe_rnd_de6000f-02	37 715,68	589,31	16384	50,03	0,21	0,27	0,15	36,31
NVMe_rnd_de6000f-02	31 799,19	993,72	32768	50,03	0,25	0,32	0,18	34,47
NVMe_rnd_de6000f-02	25 678,53	1 604,91	65536	49,98	0,31	0,40	0,21	32,59
NVMe_rnd_de6000f-02	18 256,23	2 282,03	131072	49,99	0,43	0,58	0,28	29,67
NVMe_rnd_de6000f-02	10 375,93	2 593,98	262144	49,98	0,74	0,78	0,69	32,94
NVMe_rnd_de6000f-02	8 481,55	4 240,78	524288	50,02	0,88	1,11	0,65	40,37
NVMe_seq_de6000f-02	30 939,20	120,86	4096	50,04	0,26	0,26	0,25	33,70
NVMe_seq_de6000f-02	32 613,11	254,79	8192	50,01	0,24	0,25	0,23	35,68
NVMe_seq_de6000f-02	33 023,17	515,99	16384	50,01	0,24	0,27	0,21	34,47
NVMe_seq_de6000f-02	32 401,64	1 012,55	32768	50,01	0,24	0,31	0,17	36,32
NVMe_seq_de6000f-02	24 926,15	1 557,88	65536	50,06	0,31	0,42	0,21	33,25
NVMe_seq_de6000f-02	18 217,16	2 277,15	131072	49,99	0,43	0,59	0,27	29,97
NVMe_seq_de6000f-02	12 048,32	3 012,08	262144	50,02	0,63	0,87	0,39	35,23
NVMe_seq_de6000f-02	8 149,96	4 074,98	524288	50,02	0,92	1,25	0,60	37,88
pvscsi_rnd_de6000f-02	39 897,09	155,85	4096	50,05	0,20	0,26	0,14	35,29
pvscsi_rnd_de6000f-02	38 052,04	297,28	8192	50,01	0,21	0,27	0,14	35,01
pvscsi_rnd_de6000f-02	33 940,25	530,32	16384	50,00	0,23	0,31	0,16	35,29
pvscsi_rnd_de6000f-02	28 367,89	886,50	32768	50,01	0,28	0,37	0,18	34,17
pvscsi_rnd_de6000f-02	22 733,25	1 420,83	65536	50,05	0,35	0,48	0,22	29,18
pvscsi_rnd_de6000f-02	15 899,48	1 987,44	131072	50,02	0,49	0,69	0,29	27,88
pvscsi_rnd_de6000f-02	10 386,14	2 596,53	262144	49,98	0,74	1,02	0,45	33,74
pvscsi_rnd_de6000f-02	7 348,98	3 674,49	524288	50,02	1,02	1,35	0,70	37,17
pvscsi_seq_de6000f-02	26 144,70	102,13	4096	50,05	0,30	0,31	0,30	28,98
pvscsi_seq_de6000f-02	29 373,72	229,48	8192	50,01	0,27	0,28	0,25	30,67
pvscsi_seq_de6000f-02	29 958,31	468,10	16384	50,01	0,26	0,30	0,23	31,48
pvscsi_seq_de6000f-02	29 299,86	915,62	32768	50,03	0,27	0,36	0,18	31,84
pvscsi_seq_de6000f-02	22 716,35	1 419,77	65536	49,99	0,35	0,47	0,22	31,68
pvscsi_seq_de6000f-02	16 349,84	2 043,73	131072	50,08	0,48	0,67	0,29	29,53
pvscsi_seq_de6000f-02	10 811,34	2 702,83	262144	49,99	0,71	1,01	0,40	33,59
pvscsi_seq_de6000f-02	6 749,35	3 374,68	524288	49,97	1,12	1,59	0,65	36,75
lsiscsi_rnd_de6000f-02	43 032,61	168,10	4096	50,04	0,18	0,23	0,13	33,21
lsiscsi_rnd_de6000f-02	41 200,01	321,88	8192	50,01	0,19	0,25	0,14	32,80
lsiscsi_rnd_de6000f-02	36 889,38	576,40	16384	50,02	0,21	0,28	0,15	32,35
lsiscsi_rnd_de6000f-02	31 002,44	968,83	32768	50,03	0,25	0,33	0,18	31,28
lsiscsi_rnd_de6000f-02	24 891,97	1 555,75	65536	49,99	0,31	0,41	0,22	31,63
lsiscsi_rnd_de6000f-02	17 632,14	2 204,02	131072	49,98	0,44	0,59	0,30	29,80
lsiscsi_rnd_de6000f-02	10 523,98	2 631,00	262144	49,96	0,72	0,81	0,63	35,31
lsiscsi_rnd_de6000f-02	8 205,13	4 102,56	524288	50,05	0,91	1,14	0,68	40,38
lsiscsi_seq_de6000f-02	25 146,95	98,23	4096	50,05	0,31	0,32	0,31	26,65
lsiscsi_seq_de6000f-02	28 841,68	225,33	8192	50,01	0,27	0,29	0,26	28,93
lsiscsi_seq_de6000f-02	29 606,03	462,59	16384	50,01	0,27	0,30	0,23	27,46
lsiscsi_seq_de6000f-02	29 406,10	918,94	32768	50,01	0,27	0,35	0,18	35,56
lsiscsi_seq_de6000f-02	23 327,58	1 457,97	65536	49,99	0,34	0,46	0,21	27,93
lsiscsi_seq_de6000f-02	17 042,95	2 130,37	131072	50,08	0,46	0,63	0,29	28,98
lsiscsi_seq_de6000f-02	11 109,65	2 777,41	262144	49,99	0,69	0,97	0,40	31,02
lsiscsi_seq_de6000f-02	7 607,21	3 803,60	524288	49,99	0,99	1,36	0,63	34,94