Всем привет. С 23 по 27 учусь в Москве на курсе по EVA.
Если у вас есть вопрос по данному продукту, который бы вы хотели задать тренеру, пишите его в комментариях.
Постараюсь ответить.
Записки о виртуализации и жизни
Всем привет. С 23 по 27 учусь в Москве на курсе по EVA.
Если у вас есть вопрос по данному продукту, который бы вы хотели задать тренеру, пишите его в комментариях.
Постараюсь ответить.
Закупили две Евы, не скажу что в особом восторге, но факт есть факт.
Вопрос — если использовать Еву для вСферы то для каких именно целей она подойдет?
Бэкапы, может диски для бэкапов и пр.
Забыл добавить. Ева вот с такой http://h10010.www1.hp.com/wwpc/ru/ru/sm/WF06b/12169-304616-304648-304648-304648-3664763-3936192.html в максимальной комплектацией.
Приветствую, Сергей.
Попробую ответить за препода 🙂
Почему две EVA4400 не могут использоваться в качестве основного/резервного СХД под виртуальные машины? Либо (с покупкой софта для репликации и VMware SRM) для организации Disaster Recovery.
Возможно, это мещанство, но использовать FC/FATA-диски под бэкапы — дороговато. Есть же MSA2000 fc.
Например, под свои виртуалки я «покупаю» как раз EVA4400 с двумя контроллами и 33 FC 15K. Виртуалок всего ничего — штук 30.
Вот такой документ читали (http://h20195.www2.hp.com/v2/GetPDF.aspx/4AA1-2185ENW.pdf)?
Хотя, если у вас несколько стораджей класса EVA&XP, с точки зрения управления и запчастей MSA — зло. 🙂
О, я как раз в октябре-ноябре собирался послушать. Обязательно расскажите про впечатления от курса.
Спасибо за ссылки, обязательно ознакомлюсь.
EVA для бэкапов? FC винты для бэкапов? Да это просто закапывание денег.
Я, впрочем, считаю, что подход HP, из-за невозможности EVA оценить необходимую скорость доступа для разных данных для дальнейшего перераспределения, является очень и необоснованно затратным. За те же деньги можно получить бОльшие объемы с такой производительностью.
«Например, под свои виртуалки я “покупаю” как раз EVA4400 с двумя контроллами и 33 FC 15K. Виртуалок всего ничего — штук 30.
Вот такой документ читали (http://h20195.www2.hp.com/v2/GetPDF.aspx/4AA1-2185ENW.pdf)?»
А вот точно надо именно FC? Ведь читал тут многое, из чего следовало, что часто и iSCSI достаточно.
PS. Плохо, что нет методик для оценки требуемой производительности инфраструктуры под смешанные задачи. Выбираем оборудование(сетевое, вычислительное, хранения данных) по большей части по методу пальцем в небо. И как правило получаем огромный запас и несбалансированную производительность эелементов инфраструктуры.
2ZW: поясните, пожалуйста, что вы имели в виду, говоря
«Я, впрочем, считаю, что подход HP, из-за невозможности EVA оценить необходимую скорость доступа для разных данных для дальнейшего перераспределения, является очень и необоснованно затратным. За те же деньги можно получить бОльшие объемы с такой производительностью.»
по поводу FC и iSCSI отпишусь позже — началась учеба.
Как правило, большая часть данных, задействованных сервисом для своей работы не требует производительности FC винтов. Да, для части данных это необходимо, но многим данным, нужным сервису для работы, часто за глаза хватит производительности SATA винтов. В крайних случаях доходит до хранения бэкапов на FC 15000ах, а подобное я могу расценить только как закапывание денег. Винт не отрабатывает в таком случае вложенных в него денег.
Насчет производительности FC/SAS и их оправданности в принципе согласен. Впрочем, тут стоит делать сайзинг по IOPS’ам. Например, для Exchange’а или SQL вполне можно что-нибудь нарыть.
А уже от IOPS’ов танцуем к типам рейдов и типам дисков.
С другой стороны, у САТА кроме производительности есть еще один косяк. Повсеместно они считаются менее надежными, чем FC/SAS.
В результате, шансов «потерять» R5 из четырех SATA_1TB гораздо больше, чем R5 из четырех SAS_300GB, например.
Во-первых, из-за большей надежности, а во вторых, из-за гораздо большего времени, требуемого на перестроение рейд-массива.
Я прекрасно помню, с какой скоростью форматировался R5 на 4 SAS15k 146GB на Dell Perc 5i, и с какой скоростью — R1 на 2 SATA 500GB (поверх контроллера Promise). При сопоставимых объемах первый форматировался за 5 минут, второй — за полтора часа.
Андрей, да SATA винты менее надежны, но на них и падает меньшая нагрузка. На смешанном хранилище на них вешается нагрузка намного меньшая, чем ложится на FC и SAS винты. Считать конечно надо, экспериментировать, но в результате ИМХО количество отказов не будет сильно превышать кол-во отказов более надежных винтов.
А на сэкономленный деньги можно еще и spare побольше заказать.
При этом, в случае зарезервированного массива мы ни чем ни рискуем.
А поводу форматирования… Операции с винтами на серваках и на массивах ИМХО довольно сильно отличаются по результату. Так что идеально было бы сравнить два винта SAS и два винта SATA в R1 в одном массиве(да еще и в одной полке:)).
PS. Мне нравится подход мнгоуровневых хранилищ, пул с винтfvb разного типа: http://www.youtube.com/watch?v=qcXhln1RLnw
Многоуровневые хранилища — вещь, хотя в обслуживании, имхо, они посложнее.
Косяк с надежностью SATA, на мой взгляд, как раз и заключается в том, что массив (за счет большей емкости диска и меньшей скорости) может не успеть перестроиться. И количество запасных (hotspare) дисков тут не важно — если в R5 умрет «подряд» два диска — хоть сколько «запасок» ситуацию не спасут.
Экспериментальным путем проверять это задолбаешься 🙂
Хорошо Romx выразился тут (http://blog.aboutnetapp.ru/archives/388) по поводу дешевизны SATA — при отталкивании от IOPS легко «упереться» в тормознутость SATA.
Цитируя его перевод с другого поста (http://blog.aboutnetapp.ru/archives/373):
«Диски типа SATA оптимизируются по соотношению GB/$ и GB/Watt, в то время, как диски с интерфейсом FC и SAS по параметрам IOPS/$ и IOPS/Watt»
Кстати, сравнил тут цены на жесткие диски к Еве *400 (последние Евы) по версии Price.ru.
FC 300GB 15k — от 50т.р.
FATA 1TB 7k — от 53 т.р.
Терабайтный винт примерно втрое более емкий. Это его единственный плюс 😉
Вполне логичный вывод — а нужны ли на подобных (midrange, highend) стораджах САТА диски?
Соответственно, при использовании подобных СХД тогда уж имеет смысл заводить под САТА (и «медленные» данные) отдельные стораджи, например, MSA2000 G2 / P2000 G3.
Там цена (опять же по Price.ru) на терабайт начинается от 23т.р. (не говоря уже о том, что контроллеры и полки также на MSA’шку подешевле)!
Некоторые мысли — остальное будет отдельным постом.
— EVA4400 не является неубиваемым массивом. Есть набор операций по замене оборудования, который выполняется только с отключенным массивом.
— При выходе из строя полки с дисками (до 12 дисков) есть нехилые шансы развалить как дисковую группу, так и всю конфигурацию ЕВЫ. С ростом количества полок шанс, естественно, уменьшается. При наличии 8 полок есть вероятность, что смерть одной полки даже R5 не развалит! Хотя я слышал и другое мнение — уточню и опубликую.
— Уже второй препод из HP считает, что для винта на 15k следует закладывать в план 100IOPS для операций случайного ввода-вывода. Линейный, естественно, может дать и больше.
— если размещать EVA по производительности сверху вниз, то это будет выглядеть примерно так (в топовой конфигурации)
EVA8400 / 6400,8100,8000 / 4400,6100,6000/ 5000,4100,4000 / 3000.
Данный список — мое имхо, на достоверность претендует постольку-поскольку.
— При операциях последовательной записи VRAID5 может оказаться не сильно хуже VRAID1. Если кэш будет успевать обрабатывать запросы на запись, то в пенальти рейда мы не упремся!
— Концепция размазывания данных по всем дискам из дисковой группы достаточно интересна. Бонусы — все диски из дисковой группы отдают свои IOPS всем VRAID (лунам) что на ней. Минус — погибает N дисков и рассыпаются все VRAID’ы, у которых защиты/четности не хватило. Поэтому и различаются рекомендации с точки зрения производительности/доступности. Производительность — делайте как можно меньше дисковых групп, чтобы IOPS суммировать.
Доступность — делайте несколько дисковых групп, чтобы разложить яйца по разным корзинам.
Оставайтесь с нами 😉
Поправка к списку EVA — все же версии *400 (6400 и 4400) по количеству дисков уступают аналогам из той же «весовой» категории. Поэтому по производительности лучше смотреть QuickSpec.
Андрей.
Читал по почте комментарии но буквально в понедельник вылетел, буквально покрылся… один из массивов ЕВА.
Причина — отказ обоих FC адаптеров из-за выхода из строя FATA диска.
Супер система, обалденно надежная.
Сотрудник ХП уверил нас в том что у нас уникальный случай и нам буквально «повезло». День восстанавливали зеркала которые лежали на втором массиве.
В общем итог — под бэкапы и прочий мусор.
Кстати, сравнил тут цены на жесткие диски к Еве *400 (последние Евы) по версии Price.ru.
FC 300GB 15k — от 50т.р.
FATA 1TB 7k — от 53 т.р.
Если сделать на базе FC R5, получим 4FC=200 тр, 900GB
За эти же деньги R10 на SATA — 2TB. Spare в этом случае будет введен в работу очень быстро. Логично вынести на такой массив некртичные к скорости доступа данные.
PS. Надо еще цены на FATA и SAS сравнить.
PPS. наверно стоит расчитывать на комбинированные Raid.
«Соответственно, при использовании подобных СХД тогда уж имеет смысл заводить под САТА (и “медленные” данные) отдельные стораджи, например, MSA2000 G2 / P2000 G3.»
А как потом разруливать взаимодействие этих storage? Можно там сделать виртуальные тома, включащие набор винтов с разных storage? Идея многоуровневых хранилищ в том, что на одном томе мы получим куски с разной производительностью.
ИМХО как раз на Highend, учитывая цены, можно сильно сэкономить. Так же, на мой взгляд, две коробки лучше 10ти коробок. Управлять проще — экономия на обслуживании. Плюс экономия энергии.
«Причина — отказ обоих FC адаптеров из-за выхода из строя FATA диска»
Круто. Случай то может и «уникальный», только Вас от этого не легче.
Да и система не должна допускать таких уникальностей.
2Zero55: можно подробности про еву? Версия ЕВЫ, последние ли фирмы стояли на ней и дисках? Что именно померло? Контроллеры целиком или модули ввода/вывода?
Преподаватель обмолвился, что такая ситуация возможна только на первом поколении ЕВ (3000/5000).
ЕВА 4400
18 августа дисковый массив EVA4400-A сообщил о неисправности в работе массива.
— в результате анализа сообщения системы автоматического мониторинга было установлено, что массив не определяет один из жестких дисков (полка 1 слот 12).
— в соответствии с рекомендациями системы мониторинга, была произведена переусадка диска в слоте.
— проблема устранилась.
20 августа было обнаружено, что этот же жесткий диск находится вне дисковой группы и его состояние good.
— было принято решение ввести его в дисковую группу.
24 августа жесткий диск был помечен массивом как неисправный. При этом по неизвестным причинам произошло «зависание» обоих контроллеров дискового массива.
— инженер прибыл на место установки, вынул неисправный жесткий диск и произвел попытку штатного выключения/перезагрузки массива сначала через WOCP массива,
затем при помощи кнопки выключения питания контроллерной пары (кратковременное нажатие кнопки). На оба этих действия дисковый массив не отреагировал.
— для восстановления работоспособности массива было необходимо произвести его перезагрузку, поэтому было произведено холодное выключение питания массива в результате чего
данные, которые в момент «зависания» контроллеров хранились в кэш-памяти не были сохранены на диски.
— После перезапуска массива, некоторые виртуальные диски были помечены как «виртуальные диски с незавершенными транзакциями». Дисковый массив предложил провести для них процедуру восстановления или удалить. Для всех дисков была произведена процедура восстановления.
— В результате вышеуказанных действий, дисковый массив был приведен в работоспособное состояние. Были проанализированы журналы записей ошибок массива, аппаратная и логическая конфигурация. Неисправных компонентов не обнаружено.
25 августа инженер прибыл на место установки массива и установил в массив новый жесткий диск взамен вынутого накануне. Анализ состояния дисковой группы показал, что новый диск успешно определился массивом и был добавлен в дисковую группу.
18 августа дисковый массив EVA4400-A сообщил о неисправности в работе массива.
— в результате анализа сообщения системы автоматического мониторинга было установлено, что массив не определяет один из жестких дисков (полка 1 слот 12).
— в соответствии с рекомендациями системы мониторинга, была произведена переусадка диска в слоте.
— проблема устранилась.
Андрей.
Включена премодерация постов?
Не вижу своего сообщения.
http://h20000.www2.hp.com/bizsupport/TechSupport/Document.jsp?objectID=c01671044
инфа по IOPS’ам на Еве — FC15k вдвое производительнее FATA. Подозревал 🙂
Премодерации нету — посты вижу. Попробуй обновить страницу через Control-F5 (закэшилась видать).
После восстановления виртуальных дисков данные на них консистентны? Или «набор мусора»?
Кстати, какой фирмваре на Еве 4400?
Свежий вроде XCS 09534000.
Ага. кэш. он самый.
Диски пришлось пересоздавать, благо на второй ЕВе была их копия
Пообщались с преподом на эту тему. Пришли к выводу, что если Еве по какой-то причине диск «не понравился» и она его пометила как сбойный/глючный, то лучше его в продакшн дисковую группу не добавлять.
HP процессы левеллинга (размазывания данных по дискам) (http://h20000.www2.hp.com/bc/docs/support/SupportManual/c02248321/c02248321.pdf) улучшает, но видно, не до конца.
Общая суть совета — не добавлять «подозрительный» диск в продакшн дискгруппу.
В первом/втором поколении Ев был черный список дисков. Запоминались WWN дисков, которые подозреваются на сбой, и использовать их было невозможно. В третьем/четвертом поколении — EVA *400 их убрали, так как Eva иногда браковала диски, которые еще вроде не помирают. Правда, по мнению препода — те диски все равно сдыхали через некоторое время 😉
Мда…
После Вашего комментария у меня шерсть шевелится везде где только можно 🙂
Итак.
Мы имеем 96 Тб. Вылетел один диск (возвращаясь назад скажу что диски поставлялись вместе с агрегатами и подозрительными они по умолчанию быть не могут).
и мы уже не имеем 96 Тб.
Согласитесь что вылет одного диска никак не должен влиять на работу массива целиком.?
Андрей.
Выяснил еще вот что.
Раньше по умолчанию диски сами в дисковые группы не добавлялись.
Поставщик посоветовал настроить авто добавление в дисковые группы.
Может имеет смысл это отключить?
И есть ли документы где официально сказано что это нехорошо?
Вылет диска и не влияет
При размещении виртуальных дисков на этой дискгруппе (а лучше создать минимум две), оставляем процентов 10-20% емкости под будущие задачи (если, конечно, текущими эта емкость в ноль не съедается). Выставляем сингл протекшн левел (если новый диск приедет за 7 дней) и живем так. Диск вылетел — не страшно — мы его достаем и пытаемся заменить по гарантии (ближайшие три года после покупки).
Как я понял, к отказу приводит включение в дисковую группу дисков с возможными аппаратными проблемами. Система ожидает ответа диска при размазывании данных — и не дожидается…
Косяк, правда, в том, что при этом система потеряла данные в вашем случае…
В бестпрактисе явного указания вроде не нашел — перечитаю.
Мой выбор — однозначно вручную, особенно после того что я услышал от вас и от препода.
P.S. Препод тоже рассказал страшилку.
Пришли одному админу новые диски в еву, а фирмваре Евы фирмваре новых дисков не поддерживало.
Товарищ воткнул диски, диски в Еве глючили. Что-то виделось, что-то нет. Его эта нездоровая ситуация не насторожила и он их добавил в рабочую дискгруппу. Результат такой же как и у вас.
Косяк HP в том, что Ева сразу диски не «отругала», но за результат-то не HP отвечать будет, согласитесь…
Официально автодобавление не ругают.
Просто оно достаточно дубово работает — вроде диски добавляются только чтобы аларм по использованию места снять.
Спасибо за информацию, будем трясти поставщика.
Соврал — 11 страница бестпрактис (http://h20195.www2.hp.com/V2/GetPDF.aspx/4AA2-0914ENW.pdf) — зеленым по белому говорится, что политика добавления диска — Manual.
то что надо.
Спасибо.
«- в результате анализа сообщения системы автоматического мониторинга было установлено, что массив не определяет один из жестких дисков (полка 1 слот 12).
— в соответствии с рекомендациями системы мониторинга, была произведена переусадка диска в слоте.
— проблема устранилась.»
А какая система мониторинга предложила переставить диск? HP EVA?
«Пообщались с преподом на эту тему. Пришли к выводу, что если Еве по какой-то причине диск “не понравился” и она его пометила как сбойный/глючный, то лучше его в продакшн дисковую группу не добавлять.»
А что с ним тогда делать? Просто бывает, что контроллеры иногда ошибочны диски помечают как сбойные. Иногда бывают и со слотом проблемы. И другого способа, как переустановка диска с тот же слот, потом в другой слот я не вижу.
PS. было с серваком одним и корзиной которая сбоила, HP не одну неделю доказывали, что винты меняли(новые ставили), тусовали, в некоторых слотах на винты ставится пометка о его непригодности. Поменяли корзину на новую(высланную по гарантии) — все стало хорошо.
PS. танцы с бубном:(
«Пришли одному админу новые диски в еву, а фирмваре Евы фирмваре новых дисков не поддерживало.»
Я думал, что должно быть так:
storage: я вижу неизвестные мне модели дисков.
storage: я ставлю им статус — unknown
admin: А чего это? Ну как добавляй в том.
storage: статус дисков — unknown. ничего делать не буду. документция в инете.
«инфа по IOPS’ам на Еве — FC15k вдвое производительнее FATA. Подозревал»
Ожидаемо. Я правда смысла в FATA особого не вижу. ИМХО SATA не сможет его полноценно использовать. Только ради возможности одну полку использовать под разные диски…
2ZW: насчет танцев с бубном — полностью согласен.
Что делать с диском — пытаться заменить по гарантии (то есть стораджи держим на вечной гарантии и при непонятках напрягаем сервис). Все-таки, сторадж гораздо важнее отдельного железного сервера. В принципе, инженер обязан выслать винт взамен «екнувшего». Другой вопрос в сроках. Хотя мне в Пермь за неделю-две запчасти из HP добирались, если не совсем архаизм.
Насчет сбойной корзины — это да, тут никто не застрахован. Особенно не дай бог такая «фигня» с Евой произойдет — там вывод из работы полностью корзины — мегагеморройная вещь (если на корзине данные, естественно).
По поводу стораджа и админа — в том то и дело, что статус винтов был не анкноун. Просто какие-то глюки с ними были.
Тут пытался нагрузить VRAID случайным доступом, чтобы воочию увидеть, что диск выдает НЕ БОЛЬШЕ 115IOPS.
ФИГУШКИ.
Чтение (VRAID1) 50GB на дискгруппе из 10 FC 15k выдает примерно 3000 IOPS, запись — 2200.
Увеличение потоков цифру не увеличивает.
Паттерн в IOMETER простой — 100%Read, 100% Random, 512B
Один хороший человек подсказал прикольную ссылку
http://communities.vmware.com/thread/73745;jsessionid=2773332742DDC6B66CCDB82AA033DA78?start=0&tstart=0
А что мы все про EVA. Вот есть решение, которое рвет EVA на части:->
http://avroraid.ru/solutions/avrora-testing-results/avrora-vs-eva-testing
PS. 😀
Какой мне хотелось бы возможности перед переходом на виртуальную инфраструктуру(или на консолидированные данные на storage)?
Понятно что, необходимый объем можно посчитать очень точно, скорость между сервером и storage прикинуть можно. Но вот очень большая проблема с IOPS.
Вот если была бы возможность по наблюдать за дисковой подсистемоц отдельного сервера, чтобы узнать как и какие компоненты сервисы обращаются к диску.Сколько операций чтения/записи и с каким данным сервис выполняет?
PS. Конечно, я может просто не в курсе, что такое уже есть. Но если есть, может ктонибудь подскажет как это сделать?
Рвет в кавычках, естественно :)))
Почему в кавычках, напишу на следующей неделе, как только кое-что протестирую. Как раз на курсе получил очень интересную информацию насчет производительность СХД в IOPS/MBs. С точки зрения той информации графики Авроры — бред полнейший. Точнее, чистый маркетинг.
Подобные сервисы, про оценку IOPS, имеются и у MS, и у VMware. Например, VMware Capacity Planner.
«Рвет в кавычках, естественно :)))»
Андрей, да там на почти каждой странице скрывается повод для анекдотов:)
Я, например, сейчас пытаюсь понять, как они добились скорости чтения меньше, чем скорость записи.
Зависит от методики тестирования
Например, в их тестах 100% размера тестовой области попало в кэш (благо он 6ГБ). А вот дальше возможны варианты 🙂
Может, у них настолько кривая реализация R6, что чтение медленнее записи 🙂
Но их сравнение с Евой меня откровенно повеселило :)))))))
Приветствую вас я сопровождаю две евы 8000. В каждой стойке диски по 146 Gb. Так как диски по слухам по 146 Gb сняты с производства мы собираемся закупать диски по 300 Gb.
Вопрос: как правильно установить диски чтобы не чего не потерять из данных. Есть какая нибудь инструкция по этому верному делу. заранее спасибо
Вроде не видел инструкций. 🙂
Все зависит от нескольких факторов:
— есть ли место под новые диски;
— поддерживаются ли диски прошивкой, если надо прошиваться — требуется ли для прошивки остановка СХД;
— есть ли возможность прекращения доступа к данным для их миграции;
— какие уровни рейдов используются?
Здравствуйте.
Как правильно разбить EVA4400 на две группы с дисками разного типа?
Три полки одного типа и пять полок другого.
Все диски FC. Создать группу, а потом заменить в ней диски на нужного типа?
Не готов сказать, так как давненько не добавлял диски.
Из группы точно можно выкинуть указанные диски. Также можно добавить диск в группу, если выбрать его.
Соответственно, создаете две группы и начинаете «играться» с дисками.
Здравствуйте. Ответь пожайлиста на вопрос.
Один LUN — один раздел, или один LUN — несколько разделов (для одного сервера).
Суть вопроса в следующем: как «правильнее разбить» дисковое пространство, для одного сервера? Разбивать один виртуальный диск на разделы средствами ОС или
создавать сразу несколько LUN-ов средствами EVA? Дисковая группа одна.
На что это влияет: производительность, доступность?
Заранее спасибо.
Более корректно будет: один LUN — несколько разделов.
Смотрите, один LUN — это одно дисковое устройство сервера (проще говоря, локальный диск). На локальном диске вы можете создать любое количество разделов.
Если дисковая группа одна, разница в уровнях доступности будет только для разных уровней рейдов (в порядке роста надежности это VRAID5; VRAID6; VRAID1). У VRAID0 уровень доступности нулевой, т.е. он разваливается при смерти одного диска из диск-группы.
Делать несколько LUN с одинаковым уровнем VRAID из одной дисковой группы Евы для сервера смысла нет. Производительность и доступность будет почти на том же уровне, что и с одним общим LUN’ом (разве что случайно удалить несколько LUN’ов сложнее).
Делать несколько LUN с разными уровнями VRAID можно, но надо понимать, зачем вам это нужно. Как правило, тут уже отталкиваются от требований приложений (например, журналы SQL — RAID1/RAID10; базы Exchange — Raid5/Raid10 и так далее). Это связано с тем, что различные уровни рейда отличаются не только надежностью, но и производительностью. Либо ваш объем данных превышает максимальный размер LUN (для EVA *000/*100 — 2ТБ, более новых с актуальной прошивкой — 32ТБ.
В продолжение предыдущего вопроса.
В одном из источников нашел такое утверждение:
«Конфигурация с несколькими LUN-ами может увеличить производительность
ввода-вывода за счет возможности параллельных операций к дисковой группе,
которые преодолевают лимит на LUN, определенный в стеке драйвера хоста
(операционной системы, HBA, и/или драйвера multipath).»
Можете это прокомментировать или опровергнуть?
Заранее спасибо.
Если не ошибаюсь, это говорится про размер очереди к LUN. Что при доступе к нескольким дискам (LUN) можно больше запросов в очередь поставить, так как размер очереди у СХД как правило больше, чем у драйвера\HBA.
На мой взгляд, больший плюс получается от второго сервера, читающего эти же данные.
Хотя при тестах SPC используют как параллельный доступ, так и несколько LUN на одной дисковой группе.
Мне кажется, если СХД по производительности взята с запасом, то можно проигнорировать это утверждение (про несколько LUN на одной дисковой группе). Я по-прежнему считаю, что такой конфигурации два оправдания: 🙂
— различные уровни рейда;
— большая защищенность от логической ошибки (например, оператора).
СХД EVA презентует серверу виртуальный диск, «похожий» на физический,
но не имеющий шпинделей и головок, т.е. рабоющий не с физическими дисками,
а с порциями дискового (виртуального) пространства внутри дисковой группы.
Распределением же, данных по дискам и их оптимизацией занимается ПО внутри EVA,
т.е. внутри находится свой планировщик «ввода-вывода».
Какой планировщик, в ОС Linux, необходимо задействовать для оптимальной работы
дисковой системы внешнего «интеллектуального» СХД?
Может имеет смысл использовать noop, как для SSD-дисков и Flash-дисков,
не имеющих шпинделей и головок?
Добрый день. Не знаю 🙂 но могу поделиться своими мыслями…
Мне кажется, noop не очень подходит.
Смотрите сами: SSD и Flash имеют очень малое время отклика. Подозреваю, планировщик в курсе этой архитектурной особенности.
А виртуальные диски с Евы (да и любой другой СХД), это некий объем дискового (hdd) пространства, презентованный серверу. Соответственно, время отклика тут будет выше в разы, разве что вы будете обладать большой дисковой группой из нескольких десятков дисков.
http://www.rhd.ru/docs/articles/schedulers/
Насколько я понял, предлагают тестировать.
Причем не замерять линейную скорость, а нагружать паттерном, эмулирующим вашу задачу.
Здравствуйте. подскажите если можете, имеется Eva 8100 все правильно настроена раньше работала, то сбоя с электричеством, сейчас сервера не видят хосты(диски) на самой еве вроде бы как судя инструкции настроено верно, проверил San swich на другом хранилище, первый запустился нормально, то есть через него подключил другое хранилище и все работает, а вот второе нет, может ли быть что хосты не видны из-за 1 свитча, и можно ли все повесить на 1 san свитч HP 4/32? и еще вопрос касающейся коммутации Евы жесткая привязка ли привязка оптики или нет?
Добрый день, Алексей.
Временно использовать только один san switch для доступа к Еве можно.
Не совсем понял вопрос про жесткую привязку оптики…
Андрей. Спасибо большое, под жесткой привязке имел ввиду что порт 1 на san swich должен быть только к 1 порту на EVE или это без разницы в какой порт на свитче подключать, если я вас правильно понял то собственно хосты тоже должны быть видны на сервере через 1 свитч, доступ к еве имеется но вот почему диски сервер не видит не могу понять, можете еще подсказать куда копать в настройки или коммутацию
Если не настроено hard zoning (надеюсь, я с терминологией не напутал), то разницы в какой порт коммутатора подключать Еву нет.
Для начала такой вопрос — в самой Еве хосты видны? Презентации VDISK’ов не слетели?
В самой EVE все видно, там не чего не изменилось, вроде все нормально, а диски сервер не видит, попробую создать новый хост, но думаю не чего не изменит, подозреваю что все же дело в свитче, попробовал перекоммутировать по такой схеме
http://www.etegro.ru/img/articles/mpio/big/02.pngно тоже не помогло, теперь не знаю в какую сторону копать, либо Контроллер A, B полностью подключить к 1 свитчу(но даже если и заработает, то это не самый лучший вариант) или попробовать напрямую подключить(такой вариант еще не где не находил)Даже и не знаю.
Схема на рисунке правильная, если подключили так, то либо дело в зонировании (зонах на FC-коммутаторах), либо что-то с железом.
Между FC-коммутаторами линков нет?
подключил по этой схеме, правда немного другой контроллер HSV210B, и на контроллерах идет по 4 выхода, сделал так, завел первую пару в 1 свитч вторую пару во второй, с каждого свитча отправил в сервер, на сервере всего 2 разъема, по моему вроде верно, и по сути если не работает 1 свитч то работа идет со второго, если я не ошибаюсь. честно признаюсь с зонированием не имею даже малейшего представления, почитаю думаю что разберусь. если я не ошибаюсь то все же дело в этих свитчах
Не совсем так: контроллеры должны быть подключены в коммутаторы перекрестным образом.
Смотрите, у вас 4 порта на контроллере (на схд — 8), два порта на сервере и два коммутатора.
Смысл рисунка в том, что у вас два коммутатора — две фабрики (fabric). Эти фабрики не пересекаются.
В каждой фабрике есть оба контроллера СХД (например, по первому порту с каждого контроллера) и сервер (один порт в одной фабрике, второй — в другой).
В результате, после установки MPIO-софта (multipathing) на сервер, он видит один LUN, а не четыре (а именно столько их получается после подобной схемы подключения).
Спасибо понял. значит ошибся. но даже если и так, то сервер должен бы был увидеть 4 вместо двух, но он совсем не видит и тут я не могу понять почему. перекоммутировать не сложно, но а если вылетает 1 свитч, то получается что 1 цепь останавливается(к примеру: контроллер B-свитч2-и разъем сервера 2) целиком ведь отпадает, и тогда из-за этого может перестать видеть сервер Хосты(диски)?
Тут дело в чем — каждый vDisk (LUN) принадлежит одному контроллеру. Пока этот контроллер работает, LUN на второй не уйдет.
Если у вас есть подключение только к одному контроллеру, то вы можете получить доступ к «чужому» vDisk, а можете и не получить. Зависит от реализации этого механизма на СХД.
В вашем случае я бы еще на зоны взглянул
простите за глупый вопрос, но как и где можно проверить зоны? с такими я еще не когда не сталкивался честно, были меньше проще, читал про зоны но так и не понял как они настраиваются. если можно подскажите.
Если у вас Brocade, то заходите на веб-интерфейс коммутатора (понадобится JRE на машине) и запускаете zone admin.
http://www.brocade.com/downloads/documents/html_product_manuals/WT_AG_700/wwhelp/wwhimpl/common/html/wwhelp.htm#href=Zoning.11.4.html&single=true
Снова Здравствуйте. наконец смог добраться снова до ЕВЫ, вместо Brocade zone admin нашел у HP оф. программу к свитчу HP B-series SAN Network Advisor. и все бы не чего только вот просит логин и пароль которого не кто не знает. попробую звонить в HP, может подскажут чего хорошего. и еще попробовать подключится через консоль может получится оттуда что либо посмотреть. еще раз хотелось бы поблагодарить за помощь)
Нет, тут маленько не так.
FC-коммутаторы Brocade имеют ip-адрес для администрирования. Чтобы зайти в мастера настройки зоны, необходимо зайти через веб-интерфейс на этот адрес коммутатора.
HP Network Advisor также будет подключаться через этот ip-адрес коммутатора для снятия настроек и управления.
Здравствуйте. снова я со своей EVой у меня полный ступор, в HP не могут помочь по скольку у них нет в базе этих сер. номеров, а сам не могу разобраться как снять пароль с коммутаторов. подскажи есть ли возможность и желания помочь по удаленке разумеется не за спасибо.
и еще хотелось бы добавить что по IP захожу на оба коммутатора но в связи с отсутствием пароля не чего поделать не могу.
Со сбросом пароля на коммутаторах Brocade все плохо. Вроде бы только техподдержка умеет это делать. Если поддержки не куплено, остается «понять и простить» или вспомнить пароль.
с паролями совсем все плохо, был гос.заказ еще в 9 году и с тех пор много админов сменилось у организации, концы в общем не найти. и разумеется с документами как всегда беда нету не чего. остается либо поднимать архив что бы все же получить тех.поддержку. простите за глупый вопрос если взять 1 новый FC коммутатор и подключить оба контроллера к нему то получится ли поднять старые хосты?
Подойдет любой коммутатор.
Андрей то есть любой коммутатор? любой коммутатор который держит оптику или который san
Любой — имеется в виду SAN-коммутатор (fiber channel)
Mister Nobody нарыл ссылку по восстановлению пароля. Будете тренироваться? 🙂
http://h30499.www3.hp.com/hpeb/attachments/hpeb/bladescategory03/152/1/Password_Recovery_Procedures%208gb%20switch.pdf
«актуальной прошивкой — 32ТБ» — о какой версии идет речь?
Есть задача, сделать LUN более доступного в данной версии 2TB. В каком направлении копать?
Явно не про EVA *000/*100. Там ограничение в 2ТБ на LUN.
Имею HP EVA 6400, 2 контроллера hsv400, 2 полки с дисками.
Нашел схему как подключить контроллеры с дисковыми полками, а как подключить для первоначальной настройки? И как правильно подключить к SAN фабрике? На каждом контроллере 4FC — итого 8 FC но как правильно подключить это к двум фабрикам ?
И если может у кого есть инструкция вминяемая по подключению с картинками?
Спасибо большое.
Вменяемая инструкция у производителя — HP 6400/8400 Enterprise Virtual Array User Guide.
Там в картинках схема подключения к SAN.
По вашему вопросу: два порта с контроллера подключаете в фабрику 1, еще два порта — в фабрику 2.
А такой еще вопрос, ввод WWN кода, на сколько я знаю, на каждое устройство должно быть 2 WWN, но в коробке нашел только один WWN на бумажке. это нормально?
По подключению, т.е. 2 FC с одного контроллера и 2 FC с другого и это все подключаю к FABRIC1 и FABRIC2 соответственно, а остальные FC нужно заглушить терминаторами (в комплекте идут).
Думаю, что нормально, так как есть WWN_node (адресустройства) и WWN_Port (адрес порта). Скорее всего у вас указан адрес устройства или контроллера.
С портами вы поняли неправильно — я предлагаю порты FP1, FP2 воткнуть в первую фабрику; FP3, FP4 — во вторую. С каждого контроллера.
а как подключится и настроить? на контролерах есть порт Mfg но туда не влазит стандартный кабель RJ-45, я так понимаю, только через FC соединение? Т.е. на сервер где есть SAN установить CV и уже через него производить дальнейшие настройки?
Все правильно, через Command View, установленный на сервере с FC.
Сервер должен быть подключен в обе фабрики, после Discover он должен обнаружить неициниализированный массив.
Спасибо, ввел WWN и чексум, буду ставить на сервер CV и дальше смотреть..
Вопрос по батарейкам Вам можно задать?
Какого рода вопрос?
Вставил батареи, на них есть индикатор, так вот он показывает, что батаери -«фаулт», но на самом контролере так же есть индикатор — он горит зеленым, кому верить? и что будет если батареии все-таки не рабочие?
И еще, в комплекте было только 4е патчкорда FC, а если подключить контролер только 2мя патчкордами FC к фабрике?
Точно не знаю. На EVA 6000 (HSV200) зеленым индикатор на батарейке начинает гореть через определенное время (после зарядки).
Так что надо немного подождать.
Можно контроллер подключить всего двумя патчкордами. Например, FP1 в фабрику №1, FP3 — в фабрику №2.
Скорее всего работать будет, хотя тут уже лучше обратиться к упомянутому гайду. У меня 6400 нет, так что могу и обмануть.
Доброго дня!
Не могу презентовать vDisk серверу.
Создаю хост (в выпадающем окне есть мои WWN сервера), презентую vDisk Хосту, но на сервере не вижу изменений?
Куда смотреть?
И еще, как должны быть организованы зоны на SAN коммутаторах для HP EVA?
Спасибо.
1) По поводу дисков:
Рескан дисков или ребут на хосте делали?
Другие диски с Евы хост видит?
Удалось ли подключить диски с Евы каким-либо другим хостам?
2) По поводу зон:
особых рекомендаций под Еву нет — настраиваете все точно так же, как и для других СХД. Главное требование — Command View должен видеть массив через FC (то есть находиться в одной зоне).
А далее уже разбираетесь сами по интересующему вас варианту.
Я обычно уважаю один из следующих:
— single initiator-single target
— single initiator-multiple target
initiator — сервер, target — СХД.
1) Рескан и ребут делал на хосте,
Никакие диски никаким серверам не видны (а тому серверу где стоит CV -диски будут видны?),
У меня маленький нюанс — Дохлые батареи в контроллерах HSV400, может быть в этом причина.
Вчера запустил на хостовой машине — P6000SmartStart из папки с инсталяцией CV, запустил мастер по добавлению дисков , так через этот мастер смог создать на EVA vDisk, но он не подключился к данному хосту. Мастером было настроено FC соединение в MPIO, а также добавлен DSM.
2) Вроде так все и сделано в зонировании.
Спасибо .
На мой взгляд, причина не в батареях.
У меня идеи кончились.
Напишите мне в скайп avahitov — пообщаемся.
В самой EVE все видно, там не чего не изменилось, вроде все нормально, а диски сервер не видит, попробую создать новый хост, но думаю не чего не изменит, подозреваю что все же дело в свитче, попробовал
Сегодня была такая же проблема, причина была в неисправном блоке батарейки контроллера кэша. Заменили весь блок — все заработало(для запуска евы достаточно хотя бы одного рабочего блока). Сервера сразу диски увидели.
Ваша правда, Павел. Прошу прощения, что сразу не вспомнил и не поискал.
Сегодня как раз читал в интернете про это — Ева при наличии дохлых батарей на обоих контроллерах перестает «презентовать» диски. Причем народ пишет, что презентация теряется после выключения/включения Евы (то есть пока Ева работает, диски будут видны).
Причем это распространяется не только на HSV400, но и на HSV100/200 (судя по форумам).
Попал в следующую ситуацию. Массив EVA 6000 (есть только WWN и контрольные суммы). На новый сервер управления под Win 2008 R2 поставили CV P6000 версии 10. Массив в CV виден но горит что нет CV general — основной лицензии. И действует временная на 180 дней. Пробовал ставить версию CV v9.3 там все так же. В настоящий момент старый сервер под Win 2003 и CV v6 массив видит без контроллеров 🙁
Как восстановить CV general ? Инициализация поможет ?
Не уверен, что поможет инициализация. А старого сервера CV нет, чтобы оттуда экспортировать лицензии?
Старый CV версии 6 там есть только лицензия Бизнескопи от 4000 ЕВЫ
Когда нам пришла из центрального офиса ЕВА 6000 CV старый ее спокойно увидел и управлял.
Невероятно, но факт: начиная с CV7.0, изменилась схема лицензирования массива. Нужно запрашивать новый ключик от HP (возможно, дадут его только при наличии контракта).
http://h30499.www3.hp.com/t5/Storage-Area-Networks-SAN/Exporting-License-from-Command-View-Eva-6-0/td-p/4677918#.VQJjy5S7ka0
Если не ошибаюсь, именно с 7.0 ключ прописывается в массив (по крайней мере у меня проблем с обновлением 8->10 или 9->10 не возникло).
спасибо все победил …
в новой CV сделал анинициализацию
на новом серваке поставил версию 6 и ей инициализировал снова
приветсвую!
Может быть есть у кого нибудь шаблон для мониторинга EVA 8100 для zabbix?
Буду рад помощи
EVA через Zabbix нужно мониторить через SSSU путем настройки внешней обработки (скрипта) в качестве элемента данных. Пишется скрипт который опрашивает сервер Command View на предмет нужного параметра массива через SSSU и возвращенное им значение подпихивается Zabbix’у. Ничего сложного.
Макс, какие объекты получается мониторить?
Если про заббикс, то практически любые 🙂 Так я например, мониторю биржевые курсы валют с соответствующими триггерами и уведомлениями, например, когда курс меняется на определенное значение.
А если вопрос про мониторинг EVA, то соответственно, любые из вывода SSSU «LS SYSTEM FULL». Это хардварный мониторинг состояния .
Если нужен софтверный мониторинг счетчиков (delay, queye, etc) из CommandView — то это делается с помощью zabbix-агента, опросом необходимого счетчика.
Круто, не знал.
Правда, пипец геморройно все датчики прописывать.
Не обязательно все элементы данных создавать, достаточно выбрать несколько нужных. У меня это, пока, например, из раздела Capacity и SystemHealth. Клонирование, кстати, никто не отменял. А теоретически, при определенных навыках и прямых руках, можно и LLD настроить, правда у меня какой-то из вышеупомянутых скиллов не так прокачан, поэтому дальше выпиливания данных из SSSU в JSON я не продвинулся, да и не так сильно нужно было. Ну и лучше один раз погеморроиться, зато иметь в дальнейшем возможность в любой момент оценить свои системы без лишних телодвижений. Бонусом — историческая статистика для определения тренда, что тоже бывает не лишним.
Исторические данные — это да
Пытался такое сделать на SCOM — получил стабильную загрузку в 50% на процессоре CV EVA. Впрочем, я scom не оптимизировал в части сбора данных.
Добрый день.
есть сервер контроллер HP ProLiant DL380 G5 который работал с массивом eva8100. на сервере рассыпался raid. пришлось переустановить ОС. поставил 2008 r2. установил CV. но не цепляется на массив. открывается cv и висит на авторизаций. может я что то упустил ? или версия cv не та.
Добрый день.
Висит на авторизации — то есть, после ввода логина/пароля ничего не происходит?
ДА.
до сбоя был установлен windows storage server 2003. я установил windows 2008 r2
Какая версия прошивки EVA8100 и какая версия Command View?
Command View v9.3
на eva не могу зайти, но уверен что там очень старая прошивка.
Command View старую версию не мог найти.
Если после авторизации висит, а не показывает пустой «Inventory», то это какой-то сбой Command View. Я бы посоветовал переустановить (возможно, поставить какие-то требования — надо читать документацию).
Кроме того, если есть возможность, лучше Command View ставить на англоязычную Windows
Добрый день, Павел.
У меня такая же ситуация с CV. В связи с изменением схемы лицензирования и переходом на CV 10.3 требует лицензии. И после 2х месяцев временной лицензии CV перестает работать. Опиши подробнее процедуру анинициализацию. Насколько я понимаю это удаление всей информации и конфигурации с хранилища?
Pavel говорит:
13 марта 2015 в 10:18
спасибо все победил …
в новой CV сделал анинициализацию
на новом серваке поставил версию 6 и ей инициализировал снова
Дмитрий: я думаю, что Павел тут про другое.
Он поставил CV 6й версии и вколотил ей серийный номер, который у него был где-то сохранен.
Удалять никакую информацию не нужно.
Доброго дня.
Давно было, но вот новая затея родилась.
Есть корзина НР с3000 c такими Интерконнектами: «HP 4Gb Fibre Channel Pass-thru Module for c-Class BladeSystem».
Установленны лезвия BL460 G7 с картами FC QMH2562.
Можно ли подключить EVA6400 напрямую без свича FC?
Если да, то можете помочь схемами и любыми подсказками как лучше делать.
Рою инет, что-то не могу такого найти.
Спасибо.
Добрый день, Александр.
Попробовать можно, но надо учесть, что с каждого сервера должны быть линки в оба контроллера EVA. Если на EVA портов хватит, почему бы и нет.
Доброго времени суток, сталкивался ли кто нибудь с проблемой недоступности EVA? привезли полки и 2 контроллера, логин и пасс никто не знал, сделал ресет контроллера, теперь не могу попасть на веб морду ни по старому ip ни по дефолт 192.168.0.1 — даже нет пингов, повторный ресет проблему не решил, есть идеи?
Здравствуйте.
Пока нет идей. Какая именно модель EVA?
AJ936A
отключил от нее полку совсем, сделал еще раз ресет, результат тот же
После сброса вы же подключили ноутбук/ПК напрямую к контроллеру и сменили IP-адрес ноутбука/ПК на 192.168.0.2/255.255.255.0?
Согласно гайда, после сброса конфигурации можно будет зайти под пользователем admin без пароля
https://support.hpe.com/hpsc/doc/public/display?docId=emr_na-c02493406
так точно, подключал на прямую к контроллеру и обычным патчкордом и кроссом, сеть ставил 192,168,0,2/24 пытался зайти на 192,168,0,1:2373
даже пингов нет, после ресет контроллер (диодом показывает: сброс — маргает зеленый потом горит оранжевый) после чего уже горит зеленый — сброс выполнен, потом 2 минуты нужно до полной загрузки как написано в гайде.
я делал все по гайду с HP
Если честно, идей полезных нет, а искать/читать документацию сейчас некогда 🙁
На дисках полезные данные есть?
Если нет, то я бы попробовал выключить/включить массив. Включать сначала диски, через минут 5-10 контроллеры.
Еще можно попробовать подергать контроллеры и проверить/заменить патчкорд.
доброго дня.
Все получилось.
пришлось поколдовать с самим адаптером. скорость урезать и задать другой режим работы:
Во все порты, которые не в работе, установил заглушки (луперы).
При загрузке лезвия, перешел в настройки мезанин карты QMH2562, и в настройках каждого адаптера выставилследующее:
— Connection Options: 2 — Loop preferred, otherwise point to point (по умолчанию 1 — Point to point only)
— Data Rate: 3 — 4Gbps (по умолчанию — Auto Select), если оставить на автомате. то на контроллере могут возникать циклические ошибки на порту)
Работу проверил, все отлично работает!
Сетевым адаптером на ноутбуке?
Класс
не, это я про темы: «Есть корзина НР с3000 c такими Интерконнектами: «HP 4Gb Fibre Channel Pass-thru Module for c-Class BladeSystem».
Установленны лезвия BL460 G7 с картами FC QMH2562.
Можно ли подключить EVA6400 напрямую без свича FC?»