Требования к загрузочному накопителю в VMware ESXi 7 и нюансы использования

Перевод статьи ESXi 7 Boot Media Consideration and VMware Technical Guidance.

Исторически сложилось так, что для освобождения отсеков для устройств и снижения стоимости установки узлов ESXi выбирались SD-карты или USB-устройства. Однако такие устройства имеют низкий ресурс и со временем проявляют проблемы с надежностью. SD-карты и USB-накопители также могут иметь проблемы с производительностью и не выдерживать высокочастотных операций чтения-записи. В настоящее время мы все чаще наблюдаем проблемы, связанные с загрузкой в ESXi 7.x, с узлами, использующими SD-карты или USB-накопители в качестве загрузочных накопителей. В этой статье мы подробно расскажем о том, что мы видели, и предоставим техническое руководство по устранению таких проблем.

Прежде чем перейти к деталям, важно понять новую схему системы. До появления vSphere 7 управление разделами было ограничено: размеры разделов были фиксированными, а номера разделов – статичными. Существовали ограничения на использование нескольких решений с размерами разделов vSphere 6.x, например, если вы начинали комбинировать NSX-T, vSAN, Tanzu, vGPU и т.д. Это ограничивало поддержку установки больших модулей, отладочных функций и возможных сторонних компонентов.

В перспективе потребность в поддержке хостами ESXi других решений VMware или сторонних производителей постоянно возрастает. Поэтому потребность в более надежном, гибком и высокопроизводительном устройстве хранения данных для системного хранилища является необходимостью.

В новой схеме разделов vSphere 7.x только загрузочный раздел системы имеет фиксированный размер 100 МБ. Остальные разделы являются динамическими, то есть размер раздела будет определяться в зависимости от размера загрузочного накопителя.

Еще одно значительное изменение в контексте SD-карт и USB-устройств – раздел ESX-OSData. Все незагрузочные разделы, такие как дамп ядра, locker и scratch-разделы, теперь объединены в новый раздел под названием ESX-OSData (VMFS-L).

Раздел ESX-OSData должен быть создан на постоянном запоминающем устройстве с высокой выносливостью, поскольку увеличивается количество запросов ввода-вывода, отправляемых в раздел ESX-OSData. Увеличение запросов ввода-вывода является результатом множества факторов, которые были введены в ESXi 7.x, таких как:

Увеличение количества запросов на проверку состояния устройств, чтобы убедиться, что они продолжают обслуживать запросы ввода-вывода.
Запланированные сценарии для резервного копирования состояния системы, временные метки немного способствуют увеличению запросов ввода-вывода.
Кроме того, больше функций и решений хранят состояние конфигурации на ESX-OSData, что требует его установки на высоконадежном, локально подключенном постоянном устройстве хранения.

Потенциальные проблемы с ESXi 7 и SD-картами и USB-накопителями

Потенциальное повреждение locker-раздела VMFS-L

Устройства с низким ресурсом, такие как SD-карты или USB-накопители, быстро изнашиваются из-за частых операций чтения. Наиболее распространенной причиной частых операций чтения являются файлы VMTools, к которым обращаются виртуальные машины. Одним из способов борьбы с этим является выгрузка операций ввода-вывода при чтении VMTools на RAM Disk, что значительно сокращает количество операций ввода-вывода, передаваемых на SD-карты или USB-накопители.

Текущим обходным решением является перемещение VMTools на RAMDisk путем включения опции ToolsRAMDisk Option вручную. Проблема решена в vSphere 7 Update 2c. Дополнительные сведения см. в статье KB Article 83376.

Отсутствует ‘/bootbank’

SD-карты или USB-устройства обычно имеют небольшую глубину очереди, что приводит к невыполненным запросам ввода-вывода в стеке хранилища и, в конечном счете, к тайм-ауту. Проблема решена в vSphere 7 Update 2c. Более подробную информацию см. в статье KB Article 83963.

План устранения проблемы при использовании SD-карт или USB-устройств в качестве загрузочного накопителя

Использование SD-карт или USB-устройств связано с некоторыми ограничениями:

Использование автономных SD-карт или USB-накопителей (без дополнительного устройства для раздела ESX-OSData) в качестве загрузочного накопителя для хранения раздела ESX-OSData устарело в vSphere 7 Update 3 и не будет поддерживаться в будущих основных выпусках.
В ближайшем будущем единственной поддерживаемой конфигурацией, предполагающей использование SD-карты или USB-накопителя в качестве загрузочного накопителя, будет, как минимум, 8 ГБ SD-карта или USB-накопитель + локально подключенное постоянное устройство хранения для раздела ESX-OSData. Рекомендуемый список локально подключаемых устройств хранения данных приведен ниже.
В любом случае, если в качестве загрузочного накопителя используется SD- или USB-устройство (только SD/USB или SD/USB + локальный HDD/SSD-диск), следуйте приведенным ниже инструкциям, чтобы уменьшить объем ввода-вывода, отправляемого на загрузочный SD- или USB-накопитель:
- Включите параметр ToolsRamDisk, чтобы разгрузить запросы ввода-вывода при установке/обновлении VMTools на RAM-диск.
- Убедитесь, что раздел /scratch настроен на постоянное хранилище, например локальный HDD/SSD, или загрузитесь с устройства SAN. Программа установки ESXi 7.0 не создает /scratch-раздел на SD-карте или USB-накопителе. Она пытается найти постоянное хранилище и пытается создать /scratch на постоянном устройстве хранения. Раздел /tmp размером 250 МБ создается на RAM-диске, если постоянное хранилище недоступно. Обратите внимание, что производительность хостов ESXi снижается, если в разделе /tmp заканчивается место.
  VMware не поддерживает раздел /scratch на загрузочном накопителе SD или USB. Всегда настраивайте /scratch на локально подключенном диске (HDD или SSD). Если локальный диск недоступен, настройте его на SAN. Следуйте шагам, указанным в статье KB 1033696. Примечание: Пожалуйста, имейте в виду, что RAMDisk нестабилен и подвержен потере данных, поэтому хранение части загрузочных разделов на RAM Disk приводит к ухудшению режима работы.
- Хорошей практикой всегда является настройка ESXi Dump Collector на разгрузку дампов ядра.
Для решения проблемы отсутствия /bootbank убедитесь, что клиенты также обновились до vSphere 7 Update 2c или выше.
Двойная SD-карта: Это не то решение, на которое следует полагаться. Нарушения чтения/проблемы производительности могут быть вызваны и при использовании двух SD-карт. Также важно отметить, что даже ухудшение работы одной SD-карты в зеркальной установке может привести к ухудшению работы других SD-карт.
Если ваш хост ESXi уже обновлен до версии 7.x, вы можете добавить локально подключенное устройство хранения и установить autoPartition=True. При следующей перезагрузке будет создан раздел первого локально подключенного хранилища, который будет использоваться для раздела ESX-OSData. См. статью VMware KB Article 77009.

Соображения по загрузке ESXi

На сегодняшний день наилучшей практикой является наличие, а в будущем и обязательное наличие локально подключенного постоянного устройства хранения данных. Для получения дополнительной информации ознакомьтесь с приведенными ниже сведениями.

Configuration	Status	Notes	Device Considerations
High Quality Boot Device	Supported, Preferred Long Term Support	Consolidation of System boot, bootbank, and ESX-OSData Partition on the same device	Device Endurance: 100TBW Locally attached devices such as: NVMe (128 GB minimum) SSD(128 GB minimum) M.2 Industrial Grade (128 GB minimum) HDD (32 GB Minimum) *Managed FCoE/iSCSI LUN (32 GB Minimum)
Low Quality Boot Device + High Quality Device	Supported, Legacy Configuration	Bootbank and ESX-OSData partition remain separate. SD card or USB device should only be considered to storage system boot partition	Low-Quality Device: SD card or USB drive Minimum 8 GB Device Endurance: Minimum 1 TBW High-Quality Device: Device Endurance: 100TBW *Locally attached devices such as: -NVMe (128 GB minimum) -SSD(128 GB minimum) -M.2 Industrial Grade (128 GB minimum) -HDD (32 GB Minimum) -Managed FCoE/iSCSI LUN (32 GB Minimum)
Low Quality Boot Device (Only SD card or USB device as the boot media), No High Quality Device	* It is being deprecated in vSphere 7 Update 3 * Still runs but with warnings. Please refer VMware KB Article 85615, linked at the end of this post	All the partitions, including the ESX-OSData partition, are installed on the same low-quality boot media. This is a degraded mode configuration.

Загрузка хоста ESXi с локально подключенного хранилища в среде vSAN

Загружать хост ESXi с тех же контроллеров хранения, которые используются совместно с дисками vSAN, не рекомендуется. Клиенты могут рассмотреть возможность приобретения дополнительного контроллера для поддержки загрузочного устройства или использовать флэш-память M.2, PCIe NVMe или твердотельный накопитель SATA.

Заключение

VMware отказывается от поддержки SD-карт и USB-накопителей в качестве загрузочных накопителей. Конфигурация загрузки ESXi с использованием только SD-карты или USB-накопителя, без какого-либо постоянного устройства, устарела в vSphere 7 Update 3. В будущих выпусках vSphere эта конфигурация будет неподдерживаемой. Клиентам рекомендуется полностью отказаться от SD-карт или USB-накопителей. Если в настоящее время это невозможно, убедитесь в наличии SD-карт или USB-накопителей объемом не менее 8 ГБ и дополнительного локально подключенного устройства повышенной емкости объемом не менее 32 ГБ для раздела ESX-OSData Partition. Как объяснялось ранее, клиентам следует предпринять все действия, уменьшающие количество запросов ввода-вывода, отправляемых на SD-карту или USB-устройство, например, настроить раздел /scratch на постоянном устройстве, настроить дамп ядра сети и включить опцию toolsRamDisk. Кроме того, клиентам следует перейти на версию vSphere 7 Update 2c или более позднюю, которая содержит исправления проблем с USB и стеком хранения данных.

Важные ссылки

P.S. Перевод выполнен комбинацией машинного обучения и человеческого интеллекта в пропорции 99/1. Если есть пожелание поправить чего, то пишите в комментарии.

P.P.S. Качество картинок везде исправлено до приемлемого (в отличии от оригинальной статьи). Таблица сделана текстом, опечатки оригинальной исправлены.