Как мы ранее говорили – одно из нововведений vSAN в vSphere 6 update 1 – возможность создания кластера на два узла.
Основной смысл такого кластера – организовать его между двумя хостами, расположенными на разных площадках. Оригинальное название – vSAN Streched Cluster.
Ниже я привожу руководство по созданию такого кластера.
Фактически, это будет все тот же кластер на три узла, просто один из узлов будет свидетелем – специализированным аплайнсом от VMware.
- Скачиваете аплайнс отсюда. Внутри аплайнса – виртуальная машина с ESXi и лицензией на vSAN.
- Разворачиваете аплайнс через веб-клиент, подключенный к vCenter. Первую сетевую карту ВМ подключаете в порт-группу для управления хостами. Вторую – в порт-группу для трафика vSAN.
- После развертывания добавляете хост в vCenter и оставляете на нем “прошитую” лицензию “VMware vSphere 6 for Virtual SAN Witness for Embedded OEMs (CPUs)”.
- На двух хостах и свидетеле потребуются vmkernel-интерфейсы с включенным параметром vSAN. На хостах можно использовать существующий, правильнее – создать выделенный vmkernel-адаптер.
- В хосте-свидетеле уже есть виртуальный коммутатор witnessSwitch, на котором имеется vmkernel-интерфейс witnessPG. Укажите корректный ip-адрес и включите vSAN.
- В отличие от предыдущих версий vSAN, для создания кластера в 6U1 вам достаточно двух дисковых устройств. Одно обязательно должно быть флешем (для кэша), второе – как флеш, так и обычный диск. При необходимости укажите, что дисковое устройство – флешка (изменится тип диска с HDD на Flash).
- Создайте кластер vSAN и поместите в него два наших хоста. Обратите внимание, что в веб-клиенте иконка у хоста-свидетеля голубенькая, его в кластер помещать не требуется!
- Создайте два Fault-домена и разместите по ним хосты. Единый Fault-домен объединяет в себе хосты с одной точной отказа, например, площадка или блейд-шасси.
- Настройте Fault Domain и укажите свидетеля. Также укажите диски свидетеля для кэша и хранения (использоваться они не будут).
- Создайте хранилище vSAN. Для этого переключитесь на вкладку Disk Management и запустите мастер настройки
- Укажите диски под кэш и под хранение данных.
- После сохранения настроек у вас появится хранилище vsanDatastore. Поздравляю.
- На быстродействие дисков в vSAN накладываются большие ограничения, чтобы вовремя забраковать сбойный носитель (в первую очередь SSD). Если у вас тестовая инфраструктура, то мониторинг лучше отключить:
esxcli system settings advanced set -o /LSOM/VSANDeviceMonitoring -i 0
За помощь в подготовке статьи огромная благодарность Cormac Hogan и William Lam.
Судя по скриншотам – по-прежнему нужен “растянутый” L2 и единая ip-подсеть, никаких поблажек?
Скриншоты я делал для своей лабы. Мне заморочки с “растянутым” кластером пока ни к чему.
Cormac Hogan говорит, что для VSAN поддерживается L2 и L3.
http://cormachogan.com/2015/09/10/supported-network-topologies-for-vsan-stretched-cluster/
Насколько я понял, рекомендуемая настройка – L2 между “Дата”-сайтами и L3 до свидетеля.
Однако поддерживается и L3 между всеми тремя сайтами.
Отличная статья!
Я бы добавил еще несколько важных моментов:
1. Про лицензии, что есть специальные ROBO
2. Что у такого кластера появляется data locality по операциям чтения, т.е. сеть VSAN разгружается от запросов чтения и вполне хватит 1Gb-сетки
3. Что Witness host в дефолте тоже размещается на esxi-host, но при желании его можно развернуть и под любым другим гипервизором (http://www.virtuallyghetto.com/2015/09/how-to-deploy-and-run-the-vsan-6-1-witness-virtual-appliance-on-vmware-fusion-workstation.html) или даже на железе (V2P-миграция).
4. Если есть желание поиграться с этой технологией, то можно быстро развернуть все через скрипт – http://www.virtuallyghetto.com/2015/10/automating-full-configuration-of-a-vsan-stretched-cluster-using-rvc.html
5. Отключение мониторинга VSAN имеет смысл потому как, если он срабатывает то дисковая группа, которая на его взгляд тормозит, отмонтируется автоматом и начинается ресинхронизация компонентов с полным ахтунгом, особенно если у вас 1Gb-сетка и большие VM
Вот тут можно почитать детальнее – http://cormachogan.com/2015/09/22/vsan-6-1-new-feature-problematic-disk-handling/
6. Важный момент еще в том, что SMP-FT поддерживается и вы можете использовать обновленную технологию FT.
7. Если вы планируете именно Streched Cluster то вот базовые показатели для проектирования – http://www.yellow-bricks.com/2015/09/23/designing-a-virtual-san-stretched-cluster/
5ms – рекомендуемая RTT задержка между сайтами хранения
200ms – рекомендуемая RTT задержка между сайтами хранения и witness site
Важно что и L3 и L2 поддерживаются одинаково и работают нормально между сайтами. 10Gbps рекомендуемая скорость между сайтами
L3 нужен для связи сайтов хранения с witness sites с рекомендуемой скоростью не менее 100Mbps
8. Fault Domain, который используется не имеет встроенных средств восстановления
9. А вот важная статья Дункана на тему сколько железа надо для 2-х Node Cluster – http://www.yellow-bricks.com/2015/10/01/2-is-the-minimum-number-of-hosts-for-vsan-if-you-ask-me/
Важный момент в том, что Witness host нельзя размещать внутри кластера, потому как если он навернется, то типа будет беда. Не совсем так, будет много ругани в логах и ожидание восстановления. А работать все будет.
Еще много чего могу про VSAN рассказать.
Он пока набирает обороты. Nutanix уже нервничает 🙂
В следующем релизе будет дедупликация, сжатие и erasue coding (RAID-5 и RAID-6 типа).
http://www.yellow-bricks.com/2015/09/01/virtual-san-beta-coming-up-with-dedupe-and-erasure-coding/
http://www.yellow-bricks.com/2015/10/16/dedupe-and-checksumming-in-vsan-beta-what-about-compression-yup/
Спасибо, Фил.
Отличный комментарий. Вполне тянет на новую статью 🙂
Добрый день!
Сделал все как тут написано, внешне все получилось, но при создании виртуальной машины на этом хранилище пишет что нужно 3 домена, а у вас только 2 и отказывается создаваться, у меня update3.
Не подскажите что не так мог сделать?
Антон, можете выложить куда-нибудь картинку и кинуть ссылку сюда?
Пока с трудом представляю – в чем может быть проблема.
Добрый день!
У вас получился не stretched cluster, а обычный.
Такое возможно, если на этих хостах уже игрались с VSAN или Fault domain
Давайте попробуем диагностировать проблему:
1. Запустите в командной строке esxi, и в Witness host тоже.
esxcli vsan cluster get
и напишите вывод
2. vsish -e get /vmkModules/vsanutil/stretchedClusterMode
аналогично (если 1 то включен stretched cluster, 0 обычный режим)
3. проверьте, что у вас по VSAN интерфейсу пинги ходят между всеми хостами и witness (на всякий случай)
4. дайте скриншоты по настройкам VSAN и VSAN Health
Если случай будет экстратяжелый, то готов помогать более активно.
И непонятно почему он делает датастор двойного размера, когда должен их зеркалить, к тому же HA не видит эти разделы для хеартбитинга и соответственно когда один хост падает не восстанавливает соединение с виртуальной машинойю
philzy, спасибо за ответ, я к сожалению уже написал второе сообщение и потом увидел ваше.
Я тогда в понедельник смогу всем этим заняться и отпишусь.
Еще раз спасибо большое!
К сожалению не могу поправить предыдущее сообщение.
Не сомтря на то что он предупреждает о том что домена всего 2, а нужно 3, он все таки дал создать виртуальную машину, но не работает HA, когда я отключаю сеть от одного хоста то виртуальная машина гаситься и не восстанавливается, наверно это от того что HA не видит почему-то vSAN массив как heartbeat, а вот как его заставить это делать, не можете подсказать?
Антон, HA не работает, потому как у вас не собрался stretched кластер, скорее всего.
Проверьте еще VSAN политики – какая применяется на VM?
В любом случае, нужно разобраться что с кластером и после можно прочитать вот эту очень подробную статью https://ha.yellow-bricks.com/ и настроить HA
Спасибо, почитаю, попробую! Отпишусь что получится.