Создание двухузлового кластера vSAN (vSAN Stretched Cluster)

Как мы ранее говорили — одно из нововведений vSAN в vSphere 6 update 1 — возможность создания кластера на два узла.

Основной смысл такого кластера — организовать его между двумя хостами, расположенными на разных площадках. Оригинальное название — vSAN Streched Cluster.

Ниже я привожу руководство по созданию такого кластера.

Фактически, это будет все тот же кластер на три узла, просто один из узлов будет свидетелем — специализированным аплайнсом от VMware.

  1. Скачиваете аплайнс отсюда. Внутри аплайнса — виртуальная машина с ESXi и лицензией на vSAN.
  2. Разворачиваете аплайнс через веб-клиент, подключенный к vCenter. Первую сетевую карту ВМ подключаете в порт-группу для управления хостами. Вторую — в порт-группу для трафика vSAN.
  3. После развертывания добавляете хост в vCenter и оставляете на нем «прошитую» лицензию «VMware vSphere 6 for Virtual SAN Witness for Embedded OEMs (CPUs)».
  4. На двух хостах и свидетеле потребуются vmkernel-интерфейсы с включенным параметром vSAN. На хостах можно использовать существующий, правильнее — создать выделенный vmkernel-адаптер. vsan01
  5. В хосте-свидетеле уже есть виртуальный коммутатор witnessSwitch, на котором имеется vmkernel-интерфейс witnessPG. Укажите корректный ip-адрес и включите vSAN.
    vsan02
  6. В отличие от предыдущих версий vSAN, для создания кластера в 6U1 вам достаточно двух дисковых устройств. Одно обязательно должно быть флешем (для кэша), второе — как флеш, так и обычный диск. При необходимости укажите, что дисковое устройство — флешка (изменится тип диска с HDD на Flash).
    vsan03
  7. Создайте кластер vSAN и поместите в него два наших хоста. Обратите внимание, что в веб-клиенте иконка у хоста-свидетеля голубенькая, его в кластер помещать не требуется!
    vsan04
  8. Создайте два Fault-домена и разместите по ним хосты. Единый Fault-домен объединяет в себе хосты с одной точной отказа, например, площадка или блейд-шасси.
    vsan05vsan06
  9. Настройте Fault Domain и укажите свидетеля. Также укажите диски свидетеля для кэша и хранения (использоваться они не будут).
    vsan07 vsan08
  10. Создайте хранилище vSAN. Для этого переключитесь на вкладку Disk Management и запустите мастер настройки
    vsan09
  11. Укажите диски под кэш и под хранение данных.
    vsan10
  12. После сохранения настроек у вас появится хранилище vsanDatastore. Поздравляю.
  13. На быстродействие дисков в vSAN накладываются большие ограничения, чтобы вовремя забраковать сбойный носитель (в первую очередь SSD). Если у вас тестовая инфраструктура, то мониторинг лучше отключить:
    esxcli system settings advanced set -o /LSOM/VSANDeviceMonitoring -i 0

За помощь в подготовке статьи огромная благодарность Cormac Hogan и William Lam.

Запись опубликована в рубрике 6.0, VMware, vSphere с метками . Добавьте в закладки постоянную ссылку.

4 комментария: Создание двухузлового кластера vSAN (vSAN Stretched Cluster)

  1. Willy говорит:

    Судя по скриншотам — по-прежнему нужен «растянутый» L2 и единая ip-подсеть, никаких поблажек?

  2. A.Vakhitov говорит:

    Скриншоты я делал для своей лабы. Мне заморочки с «растянутым» кластером пока ни к чему.
    Cormac Hogan говорит, что для VSAN поддерживается L2 и L3.
    http://cormachogan.com/2015/09/10/supported-network-topologies-for-vsan-stretched-cluster/
    Насколько я понял, рекомендуемая настройка — L2 между «Дата»-сайтами и L3 до свидетеля.
    Однако поддерживается и L3 между всеми тремя сайтами.

  3. philzy говорит:

    Отличная статья!

    Я бы добавил еще несколько важных моментов:
    1. Про лицензии, что есть специальные ROBO
    2. Что у такого кластера появляется data locality по операциям чтения, т.е. сеть VSAN разгружается от запросов чтения и вполне хватит 1Gb-сетки
    3. Что Witness host в дефолте тоже размещается на esxi-host, но при желании его можно развернуть и под любым другим гипервизором (http://www.virtuallyghetto.com/2015/09/how-to-deploy-and-run-the-vsan-6-1-witness-virtual-appliance-on-vmware-fusion-workstation.html) или даже на железе (V2P-миграция).
    4. Если есть желание поиграться с этой технологией, то можно быстро развернуть все через скрипт — http://www.virtuallyghetto.com/2015/10/automating-full-configuration-of-a-vsan-stretched-cluster-using-rvc.html
    5. Отключение мониторинга VSAN имеет смысл потому как, если он срабатывает то дисковая группа, которая на его взгляд тормозит, отмонтируется автоматом и начинается ресинхронизация компонентов с полным ахтунгом, особенно если у вас 1Gb-сетка и большие VM
    Вот тут можно почитать детальнее — http://cormachogan.com/2015/09/22/vsan-6-1-new-feature-problematic-disk-handling/
    6. Важный момент еще в том, что SMP-FT поддерживается и вы можете использовать обновленную технологию FT.
    7. Если вы планируете именно Streched Cluster то вот базовые показатели для проектирования — http://www.yellow-bricks.com/2015/09/23/designing-a-virtual-san-stretched-cluster/
    5ms — рекомендуемая RTT задержка между сайтами хранения
    200ms — рекомендуемая RTT задержка между сайтами хранения и witness site
    Важно что и L3 и L2 поддерживаются одинаково и работают нормально между сайтами. 10Gbps рекомендуемая скорость между сайтами
    L3 нужен для связи сайтов хранения с witness sites с рекомендуемой скоростью не менее 100Mbps
    8. Fault Domain, который используется не имеет встроенных средств восстановления
    9. А вот важная статья Дункана на тему сколько железа надо для 2-х Node Cluster — http://www.yellow-bricks.com/2015/10/01/2-is-the-minimum-number-of-hosts-for-vsan-if-you-ask-me/
    Важный момент в том, что Witness host нельзя размещать внутри кластера, потому как если он навернется, то типа будет беда. Не совсем так, будет много ругани в логах и ожидание восстановления. А работать все будет.

    Еще много чего могу про VSAN рассказать.
    Он пока набирает обороты. Nutanix уже нервничает 🙂
    В следующем релизе будет дедупликация, сжатие и erasue coding (RAID-5 и RAID-6 типа).
    http://www.yellow-bricks.com/2015/09/01/virtual-san-beta-coming-up-with-dedupe-and-erasure-coding/
    http://www.yellow-bricks.com/2015/10/16/dedupe-and-checksumming-in-vsan-beta-what-about-compression-yup/

  4. A.Vakhitov говорит:

    Спасибо, Фил.
    Отличный комментарий. Вполне тянет на новую статью 🙂

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *