Создание двухузлового кластера vSAN (vSAN Stretched Cluster)

Как мы ранее говорили – одно из нововведений vSAN в vSphere 6 update 1 – возможность создания кластера на два узла.

Основной смысл такого кластера – организовать его между двумя хостами, расположенными на разных площадках. Оригинальное название – vSAN Streched Cluster.

Ниже я привожу руководство по созданию такого кластера.

Фактически, это будет все тот же кластер на три узла, просто один из узлов будет свидетелем – специализированным аплайнсом от VMware.

  1. Скачиваете аплайнс отсюда. Внутри аплайнса – виртуальная машина с ESXi и лицензией на vSAN.
  2. Разворачиваете аплайнс через веб-клиент, подключенный к vCenter. Первую сетевую карту ВМ подключаете в порт-группу для управления хостами. Вторую – в порт-группу для трафика vSAN.
  3. После развертывания добавляете хост в vCenter и оставляете на нем “прошитую” лицензию “VMware vSphere 6 for Virtual SAN Witness for Embedded OEMs (CPUs)”.
  4. На двух хостах и свидетеле потребуются vmkernel-интерфейсы с включенным параметром vSAN. На хостах можно использовать существующий, правильнее – создать выделенный vmkernel-адаптер. vsan01
  5. В хосте-свидетеле уже есть виртуальный коммутатор witnessSwitch, на котором имеется vmkernel-интерфейс witnessPG. Укажите корректный ip-адрес и включите vSAN.
    vsan02
  6. В отличие от предыдущих версий vSAN, для создания кластера в 6U1 вам достаточно двух дисковых устройств. Одно обязательно должно быть флешем (для кэша), второе – как флеш, так и обычный диск. При необходимости укажите, что дисковое устройство – флешка (изменится тип диска с HDD на Flash).
    vsan03
  7. Создайте кластер vSAN и поместите в него два наших хоста. Обратите внимание, что в веб-клиенте иконка у хоста-свидетеля голубенькая, его в кластер помещать не требуется!
    vsan04
  8. Создайте два Fault-домена и разместите по ним хосты. Единый Fault-домен объединяет в себе хосты с одной точной отказа, например, площадка или блейд-шасси.
    vsan05vsan06
  9. Настройте Fault Domain и укажите свидетеля. Также укажите диски свидетеля для кэша и хранения (использоваться они не будут).
    vsan07 vsan08
  10. Создайте хранилище vSAN. Для этого переключитесь на вкладку Disk Management и запустите мастер настройки
    vsan09
  11. Укажите диски под кэш и под хранение данных.
    vsan10
  12. После сохранения настроек у вас появится хранилище vsanDatastore. Поздравляю.
  13. На быстродействие дисков в vSAN накладываются большие ограничения, чтобы вовремя забраковать сбойный носитель (в первую очередь SSD). Если у вас тестовая инфраструктура, то мониторинг лучше отключить:
    esxcli system settings advanced set -o /LSOM/VSANDeviceMonitoring -i 0

За помощь в подготовке статьи огромная благодарность Cormac Hogan и William Lam.

12 thoughts on “Создание двухузлового кластера vSAN (vSAN Stretched Cluster)”

  1. Судя по скриншотам – по-прежнему нужен “растянутый” L2 и единая ip-подсеть, никаких поблажек?

  2. Скриншоты я делал для своей лабы. Мне заморочки с “растянутым” кластером пока ни к чему.
    Cormac Hogan говорит, что для VSAN поддерживается L2 и L3.
    http://cormachogan.com/2015/09/10/supported-network-topologies-for-vsan-stretched-cluster/
    Насколько я понял, рекомендуемая настройка – L2 между “Дата”-сайтами и L3 до свидетеля.
    Однако поддерживается и L3 между всеми тремя сайтами.

  3. Отличная статья!

    Я бы добавил еще несколько важных моментов:
    1. Про лицензии, что есть специальные ROBO
    2. Что у такого кластера появляется data locality по операциям чтения, т.е. сеть VSAN разгружается от запросов чтения и вполне хватит 1Gb-сетки
    3. Что Witness host в дефолте тоже размещается на esxi-host, но при желании его можно развернуть и под любым другим гипервизором (http://www.virtuallyghetto.com/2015/09/how-to-deploy-and-run-the-vsan-6-1-witness-virtual-appliance-on-vmware-fusion-workstation.html) или даже на железе (V2P-миграция).
    4. Если есть желание поиграться с этой технологией, то можно быстро развернуть все через скрипт – http://www.virtuallyghetto.com/2015/10/automating-full-configuration-of-a-vsan-stretched-cluster-using-rvc.html
    5. Отключение мониторинга VSAN имеет смысл потому как, если он срабатывает то дисковая группа, которая на его взгляд тормозит, отмонтируется автоматом и начинается ресинхронизация компонентов с полным ахтунгом, особенно если у вас 1Gb-сетка и большие VM
    Вот тут можно почитать детальнее – http://cormachogan.com/2015/09/22/vsan-6-1-new-feature-problematic-disk-handling/
    6. Важный момент еще в том, что SMP-FT поддерживается и вы можете использовать обновленную технологию FT.
    7. Если вы планируете именно Streched Cluster то вот базовые показатели для проектирования – http://www.yellow-bricks.com/2015/09/23/designing-a-virtual-san-stretched-cluster/
    5ms – рекомендуемая RTT задержка между сайтами хранения
    200ms – рекомендуемая RTT задержка между сайтами хранения и witness site
    Важно что и L3 и L2 поддерживаются одинаково и работают нормально между сайтами. 10Gbps рекомендуемая скорость между сайтами
    L3 нужен для связи сайтов хранения с witness sites с рекомендуемой скоростью не менее 100Mbps
    8. Fault Domain, который используется не имеет встроенных средств восстановления
    9. А вот важная статья Дункана на тему сколько железа надо для 2-х Node Cluster – http://www.yellow-bricks.com/2015/10/01/2-is-the-minimum-number-of-hosts-for-vsan-if-you-ask-me/
    Важный момент в том, что Witness host нельзя размещать внутри кластера, потому как если он навернется, то типа будет беда. Не совсем так, будет много ругани в логах и ожидание восстановления. А работать все будет.

    Еще много чего могу про VSAN рассказать.
    Он пока набирает обороты. Nutanix уже нервничает 🙂
    В следующем релизе будет дедупликация, сжатие и erasue coding (RAID-5 и RAID-6 типа).
    http://www.yellow-bricks.com/2015/09/01/virtual-san-beta-coming-up-with-dedupe-and-erasure-coding/
    http://www.yellow-bricks.com/2015/10/16/dedupe-and-checksumming-in-vsan-beta-what-about-compression-yup/

  4. Спасибо, Фил.
    Отличный комментарий. Вполне тянет на новую статью 🙂

  5. Добрый день!
    Сделал все как тут написано, внешне все получилось, но при создании виртуальной машины на этом хранилище пишет что нужно 3 домена, а у вас только 2 и отказывается создаваться, у меня update3.

    Не подскажите что не так мог сделать?

  6. Добрый день!
    У вас получился не stretched cluster, а обычный.
    Такое возможно, если на этих хостах уже игрались с VSAN или Fault domain
    Давайте попробуем диагностировать проблему:
    1. Запустите в командной строке esxi, и в Witness host тоже.
    esxcli vsan cluster get
    и напишите вывод
    2. vsish -e get /vmkModules/vsanutil/stretchedClusterMode
    аналогично (если 1 то включен stretched cluster, 0 обычный режим)
    3. проверьте, что у вас по VSAN интерфейсу пинги ходят между всеми хостами и witness (на всякий случай)
    4. дайте скриншоты по настройкам VSAN и VSAN Health
    Если случай будет экстратяжелый, то готов помогать более активно.

  7. И непонятно почему он делает датастор двойного размера, когда должен их зеркалить, к тому же HA не видит эти разделы для хеартбитинга и соответственно когда один хост падает не восстанавливает соединение с виртуальной машинойю

  8. philzy, спасибо за ответ, я к сожалению уже написал второе сообщение и потом увидел ваше.
    Я тогда в понедельник смогу всем этим заняться и отпишусь.
    Еще раз спасибо большое!

  9. К сожалению не могу поправить предыдущее сообщение.
    Не сомтря на то что он предупреждает о том что домена всего 2, а нужно 3, он все таки дал создать виртуальную машину, но не работает HA, когда я отключаю сеть от одного хоста то виртуальная машина гаситься и не восстанавливается, наверно это от того что HA не видит почему-то vSAN массив как heartbeat, а вот как его заставить это делать, не можете подсказать?

  10. Антон, HA не работает, потому как у вас не собрался stretched кластер, скорее всего.
    Проверьте еще VSAN политики – какая применяется на VM?
    В любом случае, нужно разобраться что с кластером и после можно прочитать вот эту очень подробную статью https://ha.yellow-bricks.com/ и настроить HA

Leave a Reply

Your email address will not be published. Required fields are marked *