Metadata.pyc – update manager

Одновременно в двух ЦОДах стала наблюдаться странная фигня: обновление ESXi-хостов на базе блейдов HP стало сваливаться с ошибкой. Причем проблема была как при операции Remediate, так и при Stage.

В логах Update Manager ничего не было, в журнале esxupdage.log – странный набор предупреждений вида:

2016-12-05T11:46:20Z esxupdate: downloader: DEBUG: Downloading http://VUM:9084/vum/repository/hostupdate/HPQ/metadata-hp-esxi5.5uX-bundle-2.4-16.zip to /tmp/tmp3WpTDj…
2016-12-05T11:46:20Z esxupdate: Metadata.pyc: INFO: Unrecognized file vendor-index.xml in Metadata file

Попытки гуглить ни к чему не привели, поэтому я стал решать проблему творчески.

Была обнаружена следующая закономерность: если убрать из обновления все HP’шные апдейты, то операция Remediate успешно проходила.

В ходе решения проблемы я победил обновление vCenter&VUM с 5.5U3b до 5.5U3e. Попутно узнал, что если у вас на vCenter ОЗУ меньше 16ГБ, то будут проблемы с апгрейдом служб SSO и Inventory.

Увы – не помогло.

Заколотил в обратную зону DNS адреса всех хостов – не помогло.

И тут я вспомнил, что компания HP решила развалиться на две, вследствие чего весь серверный сегмент сидит теперь на hpe.com. А я накануне проверял, что у меня HP’шный депот в Update Manager не подключается.

hpe

Исправил в URL на HPE.COM, скачал апдейты, просканировал на совместимость и снова запустил Remediate.

Работает, ура 🙂

Multi-streaming in HP DP

Так уж вышло, что я работаю в компании, являющейся счастливым обладателем HP Data Protector 8.0. Я уже ранее сравнивал его с Veeam при резервном копировании виртуальных машин VMware. Сейчас же я хочу рассказать про свой опыт резервного копирования файл-серверов.

Continue reading “Multi-streaming in HP DP”

IBM HS23, vSphere и 10 GbE. Борьба продолжается…

В 2013 году столкнулись с парой проблем с сетевыми картами Emulex 10 GbE – одна проблема описана в статье IBM HS23, vSphere и 10 GbE, вторая была – неожиданная сетевая изоляция хостов.

Спустя 3 года ситуация повторяется – хост внезапно уходит в сетевую изоляцию. Подозрения сразу пали на сетевую карту Emulex.

Подтверждение проблемы обнаружено в логе vmkernel.log:

Некие намёки в БЗ VMware:

Заметка в бложике:

ESXi 5.5 and Emulex OneConnect 10Gb NIC

В качестве решения – замена прошивки, обновление драйвера.

Вдогонку за кроликом или fiber-channel, linux и много-много google

Эта статья описывает муки настройки fiber channel target поверх Centos.

Коллегам, хорошо разбирающимся в линукс, можно читать в качестве анекдота 🙂

Continue reading “Вдогонку за кроликом или fiber-channel, linux и много-много google”

Пара мыслей про HP StoreOnce Catalyst

Не реклама :)))))

В комментариях готов обсудить, чем данное средство лучше/хуже самосбора на базе кучи дисков с дедупликацией…

В качестве хранилища резервных копий пару лет назад мы выбрали HP StoreOnce 4700. Выбор был обусловлен тем, что наше средство резервного копирования хорошо заточено на ленты, и мы достаточно продуктивно ранее работали с HP VLS 6500. StoreOnce отличается достаточно высокой ценой, при этом обладает рядом преимуществ:

  • встроенная дедупликация и неплохие показатели скорости резервного копирования (до 8 Тб/час на 8 дисковых полок или примерно 16Гбит/с – для 4700);
  • дополнительно приобретаемая лицензия репликации, которая интегрируется с дедупликацией;
  • дополнительная лицензия Catalyst, позволяющая осуществлять дедупликацию перед передачей данных на StoreOnce. Заявлена скорость резервного копирования до 22Тб/ч; :))
  • централизованная и, вроде бы, удаленная поддержка от вендора

Помимо достаточно негуманного ценника за аппаратное решение, есть программные версии до 50Тб, в том числе и бесплатная – на 1 Тб, разворачиваемые в виде виртуальных машин vSphere, Hyper-V и KVM.

В программных решениях все дополнительные лицензии включены (репликация), но производительность значительно ниже (до 120Мб/с).

В нашей поставке StoreOnce выглядит как HP’шный сервер и две дисковые полки (2*2Тб*12). Используемой емкости внутри порядка 37Тб.

cata00

Continue reading “Пара мыслей про HP StoreOnce Catalyst”

Обновление прошивки MSA P2000 G3 и закрытие бэкдора

Дошли руки обновить прошивку MSA P2000 G3 до TS252R007.

Обновилось все замечательно, вот только после обновления отмер веб-интерфейс.

Поддержка сказала, что это не баг, а фича, и дала ссылку про то, что покрошился сертификат.

Команда show certificate показала, что действительно оба контроллера сидят с непойми чем.

Вот только выполнение рекомендаций на контроллере A мне не помогло – сертификат не пересоздался. Выполнение рекомендаций на контроллере B – частично помогло – пересоздался сертификат только на контроллере B.

# show certificate
Certificate Status
——————
Controller: A
Certificate Status: Unknown status
Time Created:
Certificate Text: none

Certificate Status
——————
Controller: B
Certificate Status: System-generated
Time Created: 2015-09-02 22:15:58
Certificate Text: Certificate:

Техподдержка радостно предлагает засунуть сертификат на контроллер через FTP (ВАУ) 🙂

Временно включил по их совету доступ через HTTP, чтобы проверить работоспособность веб-служб.

Сертификат через FTP не засовывается.

Помогло отключение NTP и сброс таймзоны

#set controller-date ntp disabled timezone 0

Пересоздаем сертификат

#create certificate unique both 

Перезагружаем Management Controllers

# restart mc both

2) Закрыл бакдор, описанный тут.

У MSA’шки есть пользователь admin с паролем !admin.

Может зайти телнетом, web и так далее.

Для смены пароля необходимо зайти в шелл.

# set password admin
Enter new password: ****************************
Re-enter new password: ****************************
Success: Command completed successfully. (admin) — The password was changed.

3) Попутно решил обновить прошивку дисков, но невнимательно читал гайд: прошивка дисков осуществляется БЕЗ нагрузки на СХД. Один из гипервизоров потерял лун с VMFS, размещенный на этих дисках – помог только ребут гипервизора.

Увеличение размера диска HP Smart Array P400i

Жил-был сервер HP DL360 G5 с рейд-контроллером HP Smart Array P400i и двумя дисками HP 68GB, объединенными в Raid1.

И так достала нас нехватка места на дисках, что решили мы заменить диски на HP 146GB.

Воткнули один диск 146Гб вместо старого, дождались синхронизации. Воткнули второй – дождались ребилда рейд-массива.

Получили два диска 146Гб в Raid1, на которых занята примерно половина места.

Тыкаемся в HP Array Control Utility, а увеличения размера логического рейд-диска нет.

Обновил прошивку рейд-контроллера и утилиту – не помогло.

Начал гуглить – народ утверждает, что увеличение размера логического рейд-диска доступно при наличии батарейки. Посмотрел через HP System Management Homepage – батарейки нет.

hp

Поставили батарейку, она зарядилась, и мы смогли расширить диск.

hp02Ура! 🙂

Veeam B&R v8, v9 и HP StoreOnce

Сегодня я хочу рассказать две вещи про Вим.

1) В этом году компания Veeam обещает выпустить девятую версию своего флагманского продукта – Backup and Replication. Больше всего из заявленного функционала мне нравится запись на ленты в несколько приводов и консоль администрирования сервера. Я тестировал запись на свои ленты в v7 и v8 – скорость записи на один привод удручает. 🙁

А если бы Вим научился работать с лентами напрямую, минуя жесткий диск, то и мечтать о большем было бы не нужно. Я, конечно, понимаю, что у всех разные ситуации, но у меня ситуация такая, что есть много терабайт в VTL или MSL и немного терабайт на СХД. И мне как раз актуальнее система резервного копирования, которая умеет работать с лентами напрямую. Прямо сейчас это освободило бы мне десяток терабайт…

2) А еще я протестировал работу механизма Backup Copy в Veeam Backup and Replication v8, призванного реализовать схему GFS (дед, отец, сын) для резервного копирования.

Смысл этого механизма в том, чтобы на регулярной основе “откладывать” в сторону недельные, месячные, квартальные и годовые резервные копии на другое хранилище.

В отличие от обычного бэкапа на ленту (Backup to Tape) – это обыкновенный бэкап, который вы спокойно можете использовать для восстановления данных.

Мне интересно было проверить работу этой схемы, после постановки задачи по наличию месячных резервных копий за последние полгода. Чтобы не заниматься долгим процессом восстановления (бэкапа с ленты -> почтовых баз Exchange из бэкапа -> Clean Shutdown -> восстановления информации из базы в пользовательский ящик) я решил посмотреть – получится ли у меня отложить месячную резервную копию и использовать ее в Veeam Explorer for Exchange.

В качестве репозитория была подключена сетевая папка с системы HP StoreOnce 4500 с функционалом дедупликации.

Для повышения эффективности “аппаратной” дедупликации Veeam складывает на папку бэкап в несжатом состоянии. Такой функционал есть при архивации на HP StoreOnce и EMC Data Domain. Это можно заметить, сравнив размер полной резервной копии на StoreOnce и на обычном хранилище. Я же хочу поделиться цифрами по двум месячным резервным копиям для почты и виртуальных машин.

– два бэкапа Exchange. На StoreOnce лежат два файла: 5,7Тб и 4,5Тб. Полная резервная копия и инкремент до следующей месячной копии. Согласно данным в консоли StoreOnce: User Data – 11,3Тб; Data on Disk = 5,2Tb. Одна полная копия Exchange на обычном хранилище (то есть с сжатием и дедупликацией от Veeam) – 5Тб.

– два бэкапа виртуальной инфраструктуры. На StoreOnce лежат два файла: 3,9Тб и 1,5Тб. Аналогично – Full+Incr. Согласно данным в консоли StoreOnce: User Data – 5,9Тб; Data on Disk = 1,7Tb. Одна полная копия инфраструктуры на обычном хранилище – 2,2Тб.

Я считаю, цифры просто фантастичны. HP StoreOnce круче дедуплицирует, чем Veeam 🙂

Установка VMware ESXi 5.5 на хост с менее 4 ГБ ОЗУ

Начиная с версии 5.5 VMware ESXi требует 4 ГБ ОЗУ для установки, что бывает существенно для старых серверов и домашних лабораторий.

Я же захотел обновить ESXi 5.1 до версии 5.5 у нашего героя из предыдущей истории VMware ESXi и Realtek 8168/8169/8111 – HP DL360 G5.

Во время ошибки “MEMORY_SIZE ERROR” жмем ALT+F1, заходим под root без пароля. Выполняем следующие действия:

Ищем строку с текстом MEM_MIN_SIZE  и расчетом 4*1024. У меня это была 1105 строка. Заменяем 4 на 2 либо 1 и сохраняем.

( это будет python PID )

После этого инсталлятор перезапустится.

Другие инструкции на английском с пояснениями:

how to: Installing ESXi 5.5 on less than 2GB RAM

ESXi 5.5 – Installing with less than 4Gib RAM. (ESX MEMORY_SIZE ERROR during install)

VMware ESXi и Realtek 8168/8169/8111

Есть у меня хост IBM x236 с гипервизором 4.1U3. А так как я парень-то на VMware (про-)двинутый, то планирую перейти на vSphere 6.0. А vCenter 6.0 поддерживает только ESXi 5.0+ и перспективы упереться в данный хост не радуют. Серверов у меня рэковых практически нет, а в этом замечательном сервере аж 4 сетевухи, смотрящие в интернеты, DMZ, локалку.

Поиск в амбарах дал результат в виде сервера HP DL360 G5, вот только в старом сервере пару сетевых портов обеспечивала карта формата PCI-X, слотов под который в новом нет.

Опросив своих коллег и пару дружественных организаций, смог найти аж 2 сетевых карты на одинаковом чипсете Realtek 8168E – TP-LINK TG-3468 и D-Link DGE-560T.

Поиск в интернете подсказал, что данный чипсет поддерживается с горем пополам только на ESXi 5.1.

К сожалению,  D-Link DGE-560T запустить мне не удалось, а вот  TP-LINK TG-3468 запустился сразу.

В версии ESXi 5.5 поддержка снова отсутствует, поэтому, в случае крайней необходимости,  советую поставить драйвер самостоятельно:

  • Качаем последнюю версию драйвера, поддерживаемого коммунити –  net-r8168-8.036. Также различные драйверы для неподдерживаемых устройств есть тут.
  • Распаковываем из него net-r8168-8.036.00-1.x86_64.vib .
  • Заливаем на хост через SCP в папку /tmp .
  • Заходим по SSH.
  • Проверяем список установленных VIB:
  • Разрешаем установку пользовательских драйверов:
  • Устанавливаем драйвер:
  • Перезагружаем хост.