VMware vSAN 8 – vMind.ru

Компания VMware анонсировала на мероприятии VMware Explorer новое программно-определяемое хранилище VSAN 8 с новой архитектурой.

Disclaimer: статья основана на следующих источниках:

Архитектура vSAN Express Storage Architecture (ESA)

Это опциональная альтернативная архитектура, которая фактически доступна параллельно с традиционной архитектурой хранения vSAN 8, которую мы все знали по предыдущим версиям vSAN. Она раскрывает возможности современного оборудования. Используя современное оборудование и аппаратные архитектуры, основанные на готовых конфигурациях узлов vSAN, vSAN 8 ESA обеспечивает превосходный уровень производительности, масштабируемости, отказоустойчивости и возможностей сервисов данных. При выполнении всех этих задач производительность не снижается ни на йоту.Новая архитектура хранения vSAN 8 Express

Сравнение архитектуры vSAN Express Storage Architecture (ESA) в vSAN 8 с традиционной архитектурой vSAN

Давайте сравним традиционную архитектуру vSAN с новой vSAN Express Storage Architecture.

Обратите внимание на следующие характеристики:

Архитектура традиционного хранилища vSAN

Выделенные устройства кэша и емкости
Поддерживает широкий спектр устройств хранения данных, включая давно присутствующие на рынке
Использует концепцию дисковых групп для обеспечения производительности с помощью кэширования и емкостных дисков

Расширенная vSAN ESA

Гибкая архитектура с использованием одного уровня в vSAN 8.
Это оптимизированное решение для высокопроизводительных флэш-устройств на базе NVMe с флэш-памятью TLC
Отсутствие дисковых групп – в новой архитектуре vSAN все устройства вносят вклад в кэширование и емкость хранилища

Как организациям использовать новую экспресс-архитектуру?

Использовать готовые узлы с поддерживаемым оборудованием (vSAN ESA Ready)
Иметь лицензии vSAN Advanced или Enterprise
Мигрировать виртуальные машины в новый кластер, поддерживающий vSAN ESA.

VMware рекомендует организациям переходить на vSAN 8 независимо от того, переходят ли они на vSAN ESA с самого начала. Несмотря на то, что vSAN ESA представляет максимальную производительность, которая может быть достигнута с помощью решения vSAN HCI и современного оборудования, клиенты, переходящие на vSAN 8, даже с традиционной архитектурой хранения vSAN, получат множество преимуществ для своей среды vSAN HCI.

Что собой представляет vSAN ESA?

Новая архитектура vSAN Express – это современный способ обработки и хранения данных, обеспечивающий новый быстрый и эффективный путь передачи данных в сочетании с эффективной структурой данных. Обратите внимание на следующие преимущества и особенности:

она хорошо адаптируется к современному оборудованию
она эффективно хранит данные и отвечает необходимым требованиям к производительности
она обеспечивает большую отказоустойчивость
он обеспечивает новые масштабируемые, высокопроизводительные моментальные снимки с помощью нового механизма
упрощается администрирование и обслуживание.

Полностью ли VMware переписала vSAN для создания новой архитектуры vSAN ESA? Нет, она была построена на той же платформе vSAN, которую мы знаем традиционно. Однако использование надежной архитектуры, которой уже является vSAN, позволило внести эти значительные усовершенствования.

Новая журналируемая файловая система vSAN LFS

Компания VMware представила запатентованную файловую систему, которую она называет Log-structured file system (vSAN LFS). Это новая файловая система, специально разработанная для очень быстрого и эффективного ввода записей для использования на флэш-устройствах. Она позволяет сократить вычислительные и сетевые ресурсы, необходимые для реализации решения vSAN 8. Обратите внимание на особенности:

уменьшает эффект усиления ввода-вывода (I/O amplification)
обеспечивает низкие накладные расходы
совместима с будущими типами устройств

Оптимизированная структура данных

Следующая часть архитектуры – оптимизированная структура данных и механизм ввода-вывода. Он позволяет хранить данные быстро и эффективно. В сочетании с новой журналируемой файловой системой LFS это позволяет vSAN хранить данные надежно и эффективно.

Опять же, это не переписывание vSAN, а скорее запатентованные усовершенствования, которые предлагают новые возможности, включая встроенные моментальные снимки.

vSAN LFS

LFS – это новый уровень, который быстро и эффективно принимает новые данные. Она подготавливает данные для сохранения оптимизированным, эффективным с точки зрения пространства способом, что приводит к снижению эффекта усиления ввода-вывода, минимизации износа устройств, сразу хранит сжатыми данные и т.д.

Она позволяет записывать множество небольших записей, объединять их и эффективно записывать большой блок. Он сжимается, комбинируется, упаковывается с метаданными, записывается в постоянный журнал и записывается в так называемую ногу производительности (performance leg, может, это “плечо” или “колено”?), немедленно возвращая подтверждение записи в виртуальную машину. Это позволяет поддерживать низкую задержку.

По мере накопления данных в постоянном журнале полезная нагрузка из предыдущих записей журнала записывается на ногу производительности с использованием избыточного кодирования RAID 6. Метаданные отправляются в журнал метаданных, сохраняя его доступным. Когда он заполняется, он сохраняется в структуре B-дерева на ноге емкости. Новая LFS позволяет обеспечить эффективность RAID6 при производительности RAID1.

Новый менеджер объектов журнала в vSAN ESA (LSOM)

Как вы можете себе представить, обеспечение высочайшего уровня производительности с помощью устройства NVMe потребовало нескольких усовершенствований. Они должны произойти на самом нижнем уровне стека – в Log Structured Object Manager (менеджер/диспетчер объектов журнала).

Он построен на базе высокопроизводительного блочного механизма и хранилища ключевых значений. Он обеспечивает большую полезную нагрузку при записи, минимизируя накладные расходы на запись метаданных. Это очень важно для того, чтобы позволить верхним уровням vSAN отправлять данные на устройства без конфликтов (contention).

Также убирается концепция дисковых групп. Это устраняет домен отказа и делает добавление, удаление и обслуживание хранилища после отказа намного проще и эффективнее.

Новый формат объектов для компонентов производительности и емкости

vSAN ESA хранит и распределяет данные несколько иначе, чем при использовании традиционной архитектуры vSAN. Она использует две “ноги” для хранения данных. Они содержатся в одном объекте и используют один и тот же базовый менеджер распределенных объектов.

Две ноги vSAN ESA

Нога производительности
- Быстро загружает записи
- Подготавливает данные для эффективной записи полного страйпа (stripe)
- Всегда является зеркальным RAID-1
- FTT зеркала равен предписанной политике хранения
- Находится на тех же хостах, что и компоненты ноги емкости
Нога емкости
- Объединенные данные записываются как эффективная запись полного страйпа
- Отражает предписанную политику хранения (RAID-5, RAID-6 и т.д.)

Снова используется один и тот же уровень хранения без дисковых групп.

Новый формат объектов для компонентов емкости производительности в vSAN 8

Архитектура и возможности vSAN ESA с использованием современного оборудования

Архитектура vSAN ESA – это не просто набор усовершенствований, представленных в vSAN 8. Компания VMware сделала шаг назад и рассмотрела возможности более эффективной обработки данных в стеке в целом.

Службы данных были перенесены на самый верх стека vSAN, чтобы устранить часть переключения контекста и ресурсов, необходимых в предыдущих версиях vSAN. Теперь данные сжимаются и шифруются на самом верхнем уровне, чтобы минимизировать амплификацию процессов. Система использует преимущества новой журналируемой файловой системы, принимая небольшие операции ввода-вывода и записывая их как один большой ввод-вывод. Эта комбинация делает архитектуру хранения vSAN ESA действительно превосходной.

Одноуровневое хранилище вместо двух ранее существовавших уровней

Новая архитектура vSAN ESA оптимизирована для современного оборудования. Она была перепроектирована для современных устройств хранения данных, и это означает, что все используемые устройства будут вносить вклад как в емкость, так и в производительность (кэширование) кластера vSAN.

Новая одноуровневая система хранения вместо двухуровневой архитектуры в vSAN 8

Администратор просто заявляет устройства и создает единый пул хранения для каждого узла, выделяя его ресурсы на ресурсы хранения кластера. Это упрощает администрирование кластера vSAN и приводит к улучшению обслуживания, простоте работы пользователей и доступности устройств хранения.

Эффективное кодирование RAID-5/6 при производительности RAID-1

Администраторы теперь могут использовать RAID 6 для повышения уровня отказоустойчивости. Новая архитектура ESA обеспечивает наилучшую емкость и производительность. Администраторы могут использовать RAID-6 для повышения отказоустойчивости и экономии места и при этом достигать производительности RAID-1.

Адаптивный RAID-5 для обеспечения условий кластера

VMware представила новый адаптивный RAID-5 с избыточным кодированием, который обеспечивает гораздо большую интеллектуальность и эффективность по сравнению с предыдущими версиями vSAN.

При выборе избыточного кодирования RAID-5 ESA смотрит на количество хостов. Она решает, какую из двух политик избыточного кодирования использовать для размещения данных в кластере vSAN 8. Новая схема размещения RAID-5 4+1 распределяет данные и четность по 5 хостам. Она используется в кластерах с 6 и более хостами.

Новое интеллектуальное избыточное кодирование RAID 5 в vSAN 8

Новая схема размещения данных 2+1 RAID-5 распределяет данные с четностью по 3 хостам. Если количество хостов в кластере на некоторое время уменьшится до 6, то ESA автоматически перестроится на новую схему 2+1, чтобы сохранить отказоустойчивость с одним запасным хостом в соответствии с количеством оставшихся хостов для защиты от последующих сбоев.

Поскольку эта схема обеспечивает такую же производительность при использовании избыточного кодирования, как и политика зеркалирования RAID-1, то клиенты могут по умолчанию выбрать эту настройку для более эффективного уровня с повышенной отказоустойчивостью, которая адаптируется к кластеру.

Улучшенная эффективность использования пространства в небольших кластерах:

схема 4+1 использует 1,25-кратную емкость для отказоустойчивого хранения данных
Схема 2+1 использует 1,5-кратную емкость для хранения отказоустойчивых данных.

Автоматически настраивает схему RAID-5 в соответствии с размером кластера:

Схема 4+1 – используется с 6 и более хостами
Схема 2+1 – используется с 3-5 хостами

Новые усовершенствования в сжатии данных на основе политик хранения

В vSAN 8 компания VMware изменила принцип работы сжатия vSAN в Express Storage Architecture. Применены новые технологии, позволяющие улучшить сокращение данных при использовании функции сжатия до коэффициента сжатия 8 к 1. Это происходит для каждого записанного блока размером 4K, что является улучшением в 4 раза.

Это происходит на верхних уровнях стека vSAN 8, когда он получает входящие записи, что снижает утилизацию ЦПУ на сжатие и уменьшает сетевой трафик. Трафик реплики всегда сжимается и это поведение включено по умолчанию. Однако его можно отключить для каждой ВМ или каждого VMDK с помощью политик хранения.

Улучшения в сжатии данных в vSAN 8

Шифрование на основе кластера с помощью vSAN ESA

В vSAN ESA используется новый подход к шифрованию. Оно по-прежнему является функцией для каждого кластера. Теперь оно происходит на верхних уровнях стека хранения в архитектуре vSAN 8, как и новая функция сжатия. Шифрование происходит после сжатия.

Усовершенствования шифрования в vSAN 8

Это означает, что весь трафик vSAN между хостами также будет шифроваться, что обеспечивает лучшую безопасность и меньшее влияние на производительность.

Улучшение доступности и обслуживаемости

Развертывание и эксплуатация vSAN 8 станет проще и гибче. Новые политики хранения станут более отказоустойчивыми, размещение данных будет более эффективном будет использовать место без ущерба для производительности. В ESA исключены дисковые группы, уменьшены домены отказов, что приводит к меньшим последствиям при возникновении сбоев. Это способствует повышению работоспособности решения.

Повышение доступности и удобства обслуживания в vSAN 8

Дополнительные проверки обеспечивают работу на сертифицированном оборудовании, что упрощает процесс администрирования vSAN 8.

Адаптивное формирование сетевого трафика для ресинхронизации

Благодаря эффективности использования ёмкости ESA, хранилище может обрабатываться с более высокой скоростью. Это может привести к тому, что сеть станет узким местом при выполнении высокопроизводительных рабочих нагрузок.

Адаптивное формирование сетевого трафика в vSAN 8

Архитектура Express Storage Architecture в vSAN 8 включает функцию адаптивного формирования трафика, помогающую гарантировать, что при возникновении сетевой нагрузки vSAN 8 будет отдавать приоритет трафику виртуальных машин, а не активности ресинхронизации, чтобы предотвратить насыщение сетевого канала.

Новые нативные снимки vSAN!

Уже довольно долгое время мы ждем более эффективных механизмов моментальных снимков для vSAN. Теперь это стало возможным – VMware vSAN 8 может управлять базовыми данными новыми, более эффективными способами.

Новый встроенный механизм моментальных снимков отличается высокой масштабируемостью и эффективностью. Администраторы виртуальных машин теперь могут создавать состояния данных “точка-во-времени” (point-in-time) с минимальным снижением производительности виртуальной машины, независимо от того, сколько снимков существует на виртуальной машине.

Высокопроизводительные собственные моментальные снимки в vSAN 8

Продолжается поддержка традиционной функциональности резервного копирования VADP, которая позволит широкому сообществу партнеров по резервному копированию использовать новую функциональность резервного копирования vSAN 8 как часть резервного копирования.

Это основополагающая часть новой vSAN 8, которая позволит более оперативно работать с данными и, несомненно, представит новые сценарии использования.

vSAN Proactive Insights

Одной из сильных сторон решения VMware vSAN является проактивная информация о состоянии здоровья, которую оно предоставляет администраторам. Это позволяет vSAN стать бесшовным, проактивным и простым в использовании решением HCI, обеспечивающим множество преимуществ.

vSan Procative Insights

В прошлых версиях vSAN в рамках программы улучшения клиентского опыта проводились проверки здоровья с подключением к облаку. Не все среды могут участвовать в CEIP. Благодаря возможностям vSAN Proactive Insights клиенты, у которых vCenter Server подключен к Интернету, но которые не зарегистрированы в CEIP, получают самые последние проверки здоровья с подключением к облаку.

Увеличение максимальной емкости устройств в уровне кэша/буфера для оригинальной архитектуры

До сих пор мы концентрировались на новой архитектуре Express Storage Architecture. Однако в оригинальной архитектуре имеются значительные улучшения, включая увеличение максимальной емкости устройств в ярусе кэш-памяти/буфера.

Улучшения оригинальной архитектуры в vSAN 8

Обратите внимание на следующее:

Ограничение емкости логического буфера увеличено с 600 ГБ до 1,6 ТБ на дисковую группу.
Увеличение объема операций записи при серийном выполнении.
Улучшает согласованность производительности для сред с большими рабочими наборами.
Снижает нагрузку ввода-вывода на уровень емкости.
Применимо к конфигурациям на только флеш-накопителях vSAN OSA (Original Storage Architecture) .

Подведение итогов

Новый выпуск VMware vSAN 8 представляет собой новый мощный релиз VMware vSAN, который превосходит даже ту высокую производительность, которую мы наблюдали в предыдущих выпусках vSAN, включая vSAN 7.0 Update 3. Новая современная архитектура Express Storage Architecture, отходящая от устаревшей технологии дисковых групп, станет отличной новой архитектурой, позволяющей предприятиям использовать преимущества современного оборудования и возможностей хранения данных. Она поможет упростить конфигурацию хранилища и предложит множество новых функций, о которых говорилось выше в vSAN 8. Однако VMware не обошла стороной и оригинальную архитектуру в плане улучшений. Даже для клиентов, которые будут придерживаться оригинальной архитектуры, будет улучшена производительность, емкость и эффективность использования пространства. Новая архитектура Express Storage Architecture – это, безусловно, путь вперед для систем хранения vSAN.