Ужасы нашего городка – пост про траблшутинг

В пятницу коллегиально решали одну проблему. В ходе решения немного поржали, обмениваясь картинками про Друзь (Друзя? 🙂 ), Холмса и Сталина.

Товарищи программисты обратились с заявкой – периодически на их сервере останавливается служба Server (Lanman).

  1. Анализ журналов системы показал, что служба останавливается несколько раз в день. Обычно она перезапускается автоматически, но иногда не перезапускается 🙂
  2. Анализ дат остановки показал, что служба в прошлом году останавливалась 29 декабря, затем была одна остановка 4 января. И с 11 января остановки поперли несколько раз в день.
  3. Сопоставили в этом же журнале события об остановке с событиями об установке подключения принтера. Уточнили по другим событиям – служба останавливается при логоне.
  4. Провели тестовые логоны учетных записей программистов – служба останавливается.
  5. Проверил на своих пользовательских и административных учетных записях – служба не останавливается (хотя тест был некорректный 🙂 )
  6. Отключили все фичи RDP (принтеры, папки, другие устройства) – не помогло.
  7. Для исключения проблем с клиентом RDP проверили логин с учетной записью программиста с моего компьютера – проблема воспроизвелась.
  8. Проверили в настройках AD и RDP, что у них не запускаются никакие скрипты.
  9. Удалили профиль одного программиста – не помогло.
  10. Сравнил групповые политики своей учетной записи и учетной записи программиста. Различий не нашел 🙂
  11. Решил повтыкать на Process Monitor. 360 тысяч событий – это хардкор 🙂
  12. Пока крутил события, обнаружил запуск VBS-скрипта. Почитал текст скрипта – скрипт останавливает службу Browser и Server. Повезло :)))

После этого стали разбираться.

Этот скрипт вносит ФИО пользователя в поле “Описание” ПК, для облегчения нахождения связки “пользователь-ПК”. Видимо, для ускорения обновления этой информации скрипт заодно перезапускал службы “обозревателя” и “сервера”. Ну и, видимо, на этом сервере не успевал их перезапустить.

Скрипт запускался через пользовательскую групповую политику.

На моей административной записи этой групповой политики назначено не было. А пользовательская… не являлась локальным администратором сервера.

Поэтому тест №5 и оказался не показательным 🙁

Прочитал программистам мораль про недопустимость использования пользовательских учетных данных для администрирования сервера – сразу создал кучу административных учетных записей.

Заодно выпилил пару “legacy” скриптов из групповой политики.

Релиз Veeam Availability Suite v9

Вышел комплекс продуктов Veeam Availability Suite v9.

Описание новинок в русском бложике Veeam:

Подсчет стоимости виртуальной машины

Mr. Nobody нашел симпатичную статью про то, сколько же стоит виртуальная машина.

Переведу 🙂

Сколько стоит виртуальная машина? Хотя вопрос и простой, ответ на него может оказаться гораздо сложнее, так как требует понимания стоимости вычислений, количества ресурсов и ожидаемых потребностей в вычислительных мощностях.

Хотя разговор о стоимости лучше оставить экономистам, именно у ИТ есть все данные, необходимые для точных вычислений, являющихся основой для процедур оценки. Давайте разберем пример.

Continue reading “Подсчет стоимости виртуальной машины”

ESXi Embedded Host Client v4

Вышло обновление HTML5 Embedded Host Client for ESXi до версии v4.

Новый функционал:

Хост

Возможность изменять уровень акцептирования.
Возможность редактировать исключения пользователей в lockdown.
Возможность изменения настроек системного свопа.

ВМ

Оптимизация производителньости списка ВМ (5-кратное уменьшение загружаемых данных).
Возможность изменять расширенные опции.
Возможность изменять настройки видеоадаптера.
Возможность пробрасывать PCI-устройства(удалять нельзя).
Поддержка SRIOV для сетевых карт.
Возможность изменять раскладку клавиатуры в консоли браузера(Японская, Немецкая).
Cmd+a либо Ctrl+a для выделения всего списка ВМ.
Софтовое выключений питания и перезагрузка при установке VMware Tools.

Общее

Расширено меню Help: Tools and links.
Механизм обновлений поддерживает URL и хранилища для размещения архивов с метаданными, что позволяет обновлять ESXi. Подробнее – Upgrading ESXi itself is now possible with the new Embedded Host Client v4.
Локализация (French, Spanish, Japanese, German, Chinese (traditional и simplified), Korean).
Возможность отключить таймаут сессии.

Страница приложения.

VMware vSphere 5.5 update 3b

Вышел очередной фикс-релиз для платформы VMware vSphere 5.5. Борьба с SSL продолжается.

Заметки о релизе VMware ESXi 5.5 Update 3b.

Заметки о релизе VMware vCenter Server 5.5 Update 3b.

P.S. Вышел новый релиз VMware Remote Console 8.0.

Проблемы совместимости Microsoft Windows Server 2012 R2 и VMware vSphere

В 2015 году наше предприятия активно двигалось в сторону Windows Server 2012 R2, попутно собирая грабли совместимости с гипервизором VMware vSphere.

Граблей собралось вагон и маленькая тележка, так что пора поделиться с публикой.

Тормоза придумали трусы

Если ваш сервер сильно тормозит, а по счётчику virtual disk latency вы видите сотни миллисекунд при небольшой нагрузке ввода-вывода, то это полбеды. Если же при этом у вас сервер ещё и ребутается каждые 2-3 месяца, а то и зависает при загрузке, то советую обратить внимание на версию virtual machine hardware: (vHW=10)&&(MSWS2012(r2)) == явная патология. Решение написано в базе знаний Windows 8 and Windows 2012 Server virtual machines fail upon reboot, то есть достаточно обновится до 11 версии виртуального оборудовани,  если же у вас не ESXi 6.0, то vHW=11 вам не светит, а самые распоследние патчи не решают проблему с жёсткими дисковыми лагами.

Пользуйтесь ангельским наречием

Если при обновление VMware Tools на ESXi 6.0, неожиданно, самоуничтожились из-за операционной системы на русском языке, то у вас есть пара решений – установить VMware Tools 10 либо установить сетевой адаптер E1000/E1000e вместо VMXNET3, чтобы сеть работала без vmtools. Но и тут вас ждёт отличная грабля –  E1000/E1000e, внезапно, теряет сетку из-за встроенного в MSWS2012(R2) драйвера, о чём написано в статье Windows 2012 virtual machines using E1000/E1000e driver experience loss of network connectivity.

Выхода нет

Если при создании снапшотов со сбросом памяти на диск у вас двоятся диски, а в логе событий пачка новых записей, то вам сюда Creating a quiesced snapshot of a Windows virtual machine generates Event IDs 50, 57, 137, 140, 157, or 12289, будете знать, что вы не одни в этой безвыходной ситуации.

Новый релиз Trilead VM Explorer 6.0

Компания Trilead выпустила новую версию своего продукта резервного копирования виртуальных машин в средах VMware vSphere и Microsoft Hyper-V — VM Explorer 6.0.

Новые фукнции:

  • Поддержка последних сборок ESXi 6.0.
  • Добавлена возможность делать резервные копии на ленточные библиотеки.
  • Добавлена поддержка аппаратных снапшотов EMC ScaleIO.
  • Добавлена локализация web-интерфейса (EN, IT, DE).

Пара мыслей про HP StoreOnce Catalyst

Не реклама :)))))

В комментариях готов обсудить, чем данное средство лучше/хуже самосбора на базе кучи дисков с дедупликацией…

В качестве хранилища резервных копий пару лет назад мы выбрали HP StoreOnce 4700. Выбор был обусловлен тем, что наше средство резервного копирования хорошо заточено на ленты, и мы достаточно продуктивно ранее работали с HP VLS 6500. StoreOnce отличается достаточно высокой ценой, при этом обладает рядом преимуществ:

  • встроенная дедупликация и неплохие показатели скорости резервного копирования (до 8 Тб/час на 8 дисковых полок или примерно 16Гбит/с – для 4700);
  • дополнительно приобретаемая лицензия репликации, которая интегрируется с дедупликацией;
  • дополнительная лицензия Catalyst, позволяющая осуществлять дедупликацию перед передачей данных на StoreOnce. Заявлена скорость резервного копирования до 22Тб/ч; :))
  • централизованная и, вроде бы, удаленная поддержка от вендора

Помимо достаточно негуманного ценника за аппаратное решение, есть программные версии до 50Тб, в том числе и бесплатная – на 1 Тб, разворачиваемые в виде виртуальных машин vSphere, Hyper-V и KVM.

В программных решениях все дополнительные лицензии включены (репликация), но производительность значительно ниже (до 120Мб/с).

В нашей поставке StoreOnce выглядит как HP’шный сервер и две дисковые полки (2*2Тб*12). Используемой емкости внутри порядка 37Тб.

cata00

Continue reading “Пара мыслей про HP StoreOnce Catalyst”

Проблема с бэкапом VMware vSphere 6

VMware не привыкать испытывать проблемы с Change Block Tracking. Первоначально проблемы с этой интересной технологией появились на vSphere 5,5, но сейчас они имеются на vSphere 6.

Актуальная статья базы знаний говорит, что при использовании CBT вызывается функция, которая внезапно глючит. Результатом этого глюка является потеря данных, записанных на диск между созданием и удалением снапшота. Так как CBT используется для анализа изменений, то этой проблеме подвержены ВСЕ инкрементальные бэкапы.

Текущие рекомендации: понизиться до 5.5 (с одновременным снижением VM Hardware) или делать только полные копии.

Veeam предлагает свое решение проблемы: отключить CBT в свойствах резервного копирования.

vm_backup_job_settings_cbt

Ждем патч от VMware.

P.S. Видимо, баг обнаружили, когда кто-то не смог восстановиться из виртуальной копии и обратился в техподдержку за помощью. Что-то мне подсказывает, что там ему не помогли 🙁

UPD: Вышел патч – http://kb.vmware.com/kb/2137546

Презентация Veeam V9

К сожалению, Veeam не раздаёт презентацию 9-ой версии своего замечательного продукта Veeam Backup & Replication.

Но, как говорится, фотоаппарат никто не отменял, коим и воспользовался  Jorge de la Cruz на VeeamON:

Veeam: Technical Deep Dive – What’s New in v9

P.S. 9-ка выходит через месяц.