Разработчики VMware не только убрали закладку Hardware Status при подключении к vCenter толстым клиентом, но и в vSphere Web Client она не работает.
Для решения проблемы нужно добавить разрешения в соответствии со статьей In the vSphere Web Client in vCenter Server 6.0 the Hardware Status tab reports: No host data available (2112847).
Category: Советы
Deprecated VMFS volume и vSphere 6.0
Если вы решите создать и подключить новый том к хосту с ESXi 6.0 и отформатировать его в самую распоследнюю версию VMFS, то получите жёлтый баннер:
|
1 |
Deprecated VMFS volume(s) found on the host. Please consider upgrading volume(s) to the latest version |
Что удивительно, разработчики считают это “не багой, а фичей” в заметке In a VMware vSphere 6 environment, the ESXi hosts display a false positive warning: Deprecated VMFS volume(s) (2109735).
Где брать Adobe Flash
Самыми проблемными ИТ-технологиями остаются: Flash и Java.
А так как эти технологии понатыканы во все инфраструктурные сервисы, то сегодня даю совет откуда скачать человеческий дистрибутив Adobe Flash:
Выполнять нельзя копировать
Наши разработчики и пользователи – ребята весёлые, скучать не дают.
Умные программисты регулярно выпускают новые релизы программ, заменяют их на сетевом диске, а потом не понимают почему к производственным системам подключаются старые модули.
А всё потому, что пользователи ещё хитрее – они программы с сетевого диска себе на компьютер копируют, мало ли что, вдруг диск отвалится.
Вот так и живём!
На днях решили пользователям запретить таскать к себе файлы. Задачка оказалась не сложной, но мозговыворачивающей.
Исполняемые файлы кладутся в отдельную папку – на папку группе пользователей назначается разрешение “Чтение и выполнение”, а через настройки дополнительных разрешений запрещается для файлов в этой папке “Чтение”.
Сразу могу сказать, что не для всех типов исполнях файлов работает.
VMware Tools в ESXi 6.0 против Dutch Windows
Уже четвертый акт нашего балета с vSphere 6.0.
В результате третьего акта Обновление хостов ESXi 5.5 до ESXi 6.0 против Veeam NAS мы получили хосты, виртуальные машины на которых потребовали обновления VMware Tools.
После запуска PowerCLI-скрипта с массовым обновлением компонента интеграции
|
1 2 |
$VM=Get-VM | Get-View | Select-Object @{N="VM Name";E={$_.Name}},@{Name="VMware Tools";E={$_.Guest.ToolsStatus}} $vm |? {$_."vmware tools" -eq "toolsold"} |ForEach-Object {get-vm $_."vm name" |Update-Tools -NoReboot} |
наша система мониторинга начала казать сетевую изоляцию некоторых хостов.
Анализ ситуации показал, что обновление VMware Tools приводит к удалению старой версии вместе в драйверами, в том числе vmxnet.
Установка старой версии VMware Tools проходила успешно.
Копание логов выявило странную закономерность между успешной и не успешной установкой.
Корявая установка пишет в лог (логи смотрим в %temp%\vminst.log и vmmsi.log_date_Failed.log :
|
1 2 3 4 5 6 7 8 9 |
2015-06-11 12:33:54| tools-build-2627939| Begin Logging 2015-06-11 12:33:54| tools-build-2627939| --- VMStopVMwareProcesses2kXp() : Stopping VMware processes with RunAs 2015-06-11 12:33:54| tools-build-2627939| Getting Property CustomActionData = c:\Program Files\VMware\VMware Tools\ <strong>2015-06-11 12:33:54| tools-build-2627939| WTSQueryUserToken failed 1245</strong> <strong>2015-06-11 12:33:54| tools-build-2627939| GetLoggedOnUserToken returned null - launch failed</strong> 2015-06-11 12:33:54| tools-build-2627939| Found "c:\Program Files\VMware\VMware Tools\vmtoolsd.exe" 2015-06-11 12:33:54| tools-build-2627939| Attempting to launch ""c:\Program Files\VMware\VMware Tools\vmtoolsd.exe" -n vmusr --kill" 2015-06-11 12:33:55| tools-build-2627939| Child exited with code 0 2015-06-11 12:33:55| tools-build-2627939| End Logging |
А в нормальной встречается подозрительная запись:
|
1 |
2014-10-20 16:53:2(nerd) instUtils-build-2068191| Getting Property CustomActionData = c:\Documents and Settings\All Users\Application Data\VMware\VMware Tools\<strong>tools.conf|Administrators:268435456:Everyone:1179817;</strong> |
После этого надо понять, что у нас стоит не английская версия Windows, а, к примеру, голландская, что поможет резко увеличить шансы поиска решения в базе знаний VMware.
Одно из самых странных обходных решений, виденных мною, описано в статье Installing or Upgrading VMware Tools version 9.10.0 (ESXi 6.0GA) on a Dutch version of Windows Server 2008 R2 fails with the error: VMware Tools Setup Wizard ended prematurely (2114476).
Суть решения:
- Создать группу everyone.
- Добавить в неё пользователя, от имени которого запускается установщик.
- Установить VMware Tools.
- Удалить группу.
Вот только Windows у меня русский, версии 2003 R2, а ещё доменный контроллер на 2012R2, где локальную группу просто так не создашь…
А в остальном – метод работает. Не всегда, правда…
That’s a Dutch comfort!
Обновление хостов ESXi 5.5 до ESXi 6.0 против Veeam NAS
Итак, третий акт Марлезонского балета. Предыдущий акт Обновление хостов ESXi 5.5 с коммутатором Cisco Nexus 1000V до ESXi 6.0.
При сканировании хостов ESXi 5.5 VMware Update Manager пишет “Unsupported configuration” без всяких пояснений. Для начала читаем /var/log/vua-*.log и ищем слово error:
|
1 2 3 4 5 6 7 8 9 10 |
--> <test> --> <name><strong>SANE_ESX_CONF</strong></name> --> <expected> --> <value>True</value> --> </expected> --> <found> --> <value>False</value> --> </found> --> <result>ERROR</result> --> </test> |
|
1 |
--> ERROR:root:could not get system uuid |
|
1 2 |
--> ERROR:root:Skipping VMFS version check. Couldn't get filesystem list: (256) Errors: --> Unable to resolve hostname 'vbackup02' |
Поиск по ошибке выдает статью Upgrading to VMware ESXi 5.x fails with the error: Error in ESX configuration file esx.conf (2011588).
Подтверждаем, что ошибку определили верно:
|
1 2 |
~ # esxcfg-info | grep 'System UUID' Error: Unable to resolve hostname 'vbackup02' |
Открываем файлик /etc/vmware/esx.conf и видим:
|
1 2 3 4 |
/nas/VeeamBackup_vbackup02/readOnly = "false" /nas/VeeamBackup_vbackup02/enabled = "true" /nas/VeeamBackup_vbackup02/share = "/VeeamBackup_vbackup02" /nas/VeeamBackup_vbackup02/host = "vbackup02" |
При использовании технологии Veeam Instant Recovery создается и монтируется к хостам NAS-хранилище. Если же вы сменили сервер Veeam, а хранилище отмонтировали, то наивно думать, что в конфигурации ESXi произошли все требуемые зачистки.
Удаляем лишние строки и сохраняем файл. Делаем проверку, что проблема ушла:
|
1 2 3 |
~ # esxcfg-info | grep 'System UUID' |----World Command Line...grep System UUID |----System UUID...51d560ed-d21d-176e-d080-3440b5e48bc8 |
Запускам сканирование заново.
Описание аналогичной ситуации для любителей английского Unsupported Configuration when using VUM for a Major Upgrade.
Обновление хостов ESXi 5.5 с коммутатором Cisco Nexus 1000V до ESXi 6.0
Не смотря на название, сегодняшняя статья продолжение эпика Собираем грабли при обновлении VMware vSphere 5.5 до vSphere 6.0.
Для затравки, первый баг на сегодня очень радует – желтый баннер с текстом “Quick stats on hostname is not up-to-date”. Судя по vCenter Server 5.5 and 6.0 displays a yellow warning in the Summary tab of hosts and reports the error: Quick stats on hostname is not up-to-date (2061008), разработчики синхронизируют фиксы с серьёзным лагом.
А теперь к основному блюду.
Как неправильно обновлять хост ESXi 6.0 с Cisco Nexus 1000V
После обновления супервизора VSM Cisco Nexus 1000V пришло время обновлять карты расширения VEM.
При попытке обновления Update Manager ругнулся на VIB cisco-vem-v173-esx , который я снёс командой
|
1 2 |
vem stop esxcli software vib remove -n cisco-vem-v173-esx |
а сам хост удалил из коммутатора Remove from VDS.
Это было жёсткой ошибкой, так как после обновления возможности добавить хосты c ESXi версии 6.0 на данный момент нет – хосты просто не отображаются в списке выбора.
Я понадеялся на только что вышедшую версию Cisco Virtual Switch Update Manager Release 1.3, но браузер зависает при обращении из vSphere Web Client, так как, похоже, продукт до сих пор не поддеживает vCenter 6.0.
Поэтому пришлось искать в глубь и ширь. Поиск в базе знаний даёт подсказку When attempting to add an ESXi 5.x host to a DVS, the host is missing or the list is empty (2039046), но я мигрировал базу на vPostgres, поэтому необходимо понять как vPostgres готовить.
- Из файла C:\ProgramData\VMware\vCenterServer\cfg\vmware-vpx\vcdb.properties берем адрес и порт, которые слушает СУБД (localhost:5432), имя пользователя (vc) и копируем в буфер обмена пароль.
- Ставим PGAdmin и 32-битные библиотеки C++ Visual Studio 2013 Redistributable.
- Запускаем PGAdmin, вводим полученные ранее данные.
Раскрываем дерево – VCDB->Схемы->vc->Таблицы->VPX_DVS_COMPATIBLE, добавляем пару строк со значениями:
- повтор значения id(значение содержится в таблице VPX_DVS), esx, 6.0+;
- повтор значения id, embeddedEsx, 6.0+,
- жмём “Обновить” для автозаполнения последнего поля.
После этого подключаем хост в коммутатор. Если возникает ошибка, описанная в Adding an ESX/ESXi host to Nexus 1000v vDS fails with the error: vDS operation failed on host <hostname>, got (vmodl.fault.SystemError) exception (2007166), то на время подключения останавливаем службу VMware Update Manager (VIB модуль должен быть установлен вручную).
Если все вышесказанное не помогло, то делаем как написано ниже, но если вы не сделаете то, что выше, не факт, что сработает то, что ниже.
Как правильно обновлять хост ESXi 6.0 с Cisco Nexus 1000V
На данный момент официальная единственная возможность – это сразу вшивать VIB Cisco Nexus 1000V VEM в образ ESXi 6.0 и им обновляться.
Все команды выполняются в PowerCLI:
|
1 2 |
<em>PowerCLI C:\temp> Connect-VIServer vcenter </em><em>PowerCLI C:\temp> Add-EsxSoftwareDepot .\VMware-ESXi-6.0.0-2494585-depot.zip</em> |
|
1 2 3 |
Depot Url --------- zip:C:\temp\VMware-ESXi-6.0.0-2494585-depot.zip?index.xml |
|
1 |
<em>PowerCLI C:\temp> Add-EsxSoftwareDepot .\VEM\VEM600-201504173119-BG-release.zip</em> |
|
1 2 3 |
Depot Url --------- zip:C:\temp\VEM\VEM600-201504173119-BG-release.zip?index.xml |
|
1 |
<em>PowerCLI C:\temp> Get-EsxSoftwarePackage | where {$_.Vendor -eq "Cisco"}</em> |
|
1 2 3 |
Name Version Vendor Creation Date ---- ------- ------ ------------ cisco-vem-v173-esx 5.2.1.3.1.4.0-6.0.1 Cisco 16.04.201... |
|
1 |
<em>PowerCLI C:\temp> Get-EsxImageProfile | Select Name</em> |
|
1 2 3 4 |
Name ---- ESXi-6.0.0-2494585-no-tools ESXi-6.0.0-2494585-standard |
|
1 |
<em>PowerCLI C:\temp> New-EsxImageProfile -CloneProfile ESXi-6.0.0-2494585-standard -Name ESXi-6.0-plus-VEM-6.0 -AcceptanceLevel PartnerSupported -Vendor "NotVmware"</em> |
|
1 2 3 |
Name Vendor Last Modified Acceptance Level ---- ------ ------------- ---------------- ESXi-6.0-plus-VEM-6.0 Cisco 06.02.2015 2... PartnerSupported |
|
1 |
<em>PowerCLI C:\temp> Add-EsxSoftwarePackage -ImageProfile ESXi-6.0-plus-VEM-6.0 -SoftwarePackage cisco-vem-v173-esx</em> |
|
1 2 3 |
Name Vendor Last Modified Acceptance Level ---- ------ ------------- ---------------- ESXi-6.0-plus-VEM-6.0 Cisco 08.06.2015 1... PartnerSupported |
|
1 |
<em>PowerCLI C:\temp> Export-EsxImageProfile -ImageProfile ESXi-6.0-plus-VEM-6.0 -ExportToISO -FilePath ESXi-6.0-plus-VEM-6.0.iso</em> |
За основу взята статья Upgrading an ESXi/ESX 4.x host with the Cisco Nexus 1000V to ESXi 5.x using Update Manager (2021363).
Вывод
Горе от ума вечно…
Собираем грабли при обновлении VMware vSphere 5.5 до vSphere 6.0
На днях начал обновляться со старой платформы VMware vSphere 5.5 до новой 6.0. Граблей собрал небольшую пачку, о чём и хочу поведать.
Во-первых, пришлось избавиться от хоста с ESXi версии 4.1, так как vCenter 6.0 поддерживает только ESXi 5.0+. Об этом вышла пара статей на нашем блоге: VMware ESXi и Realtek 8168/8169/8111 и Установка VMware ESXi 5.5 на хост с менее 4 ГБ ОЗУ.
Во-вторых, Вышел Veeam Backup & Replication 8.0 Update 2 с поддержкой vSphere 6.0, который также потребовалось обновить.
В-третьих, Вышел Cisco Nexus 1000V для VMware vSphere 6.0, и его обновили.
В-четвертых, Вышел VMware vRealize Operations Manager 6.0, его пропатчили до версии 6.0.1.
После всего этого настало время vCenter. Запустили установщик, согласились на использование vPostgres и спустя полтора часа получили новенький vCenter. И набор граблей…
Пропала интеграция с Cisco Virtual Switch Update Manager – при попытке открыть раздел Cisco Nexus 1000V в vSphere Web Client, страница намертво зависала, удалить через MOB расширение не получалось. В итоге удалил виртуалку, после перезагрузки сервера с vCenter в MOB расширение благополучно исчезло. Приложуха на редкость бесполезная, так что послал в топку.
Пропала интеграция с Veeam B&R. Переустановили плагин, рестартнули службы – заработало.
Вылезли ошибки с плагинами в толстом клиенте:
Ошибка с VMware Syslog Colector Configuration была снята добавлением порта в правила файервола.
Ошибка с VMware vCenter Storage Monitoring Service описана в базе знаний The Storage Monitoring Service plug-in fails to install in VMware vCenter Server 6.0 (2115295), теперь его просто нет, как и The Overview sub-tab in the Performance tab view is no longer available in the VMware vSphere Client 6.0.x (2109800).
Ошибку с Auto Deploy я проигнорировал, так как это функционал не используем, а служба остановлена. Подозреваю, что старт службы и настройки файервола снимут симптом.
После этого начал обновлять ESXi – путь снова оказался тернист. После обновление до ESXi отвалились все хранилища. Как оказалось, выстрелил костыль, заложенный при переходе на vSphere 5.5. Но, как обычно, выручил бложик, так как костыль был записан в заметке Отключение VMware ESXi Native Driver. Для исправления подал команду:
|
1 |
esxcli system module set --enabled=<strong>true</strong> --module=qlnativefc |
Каким-то чудом вылезла еще одна старая ошибка, которая опять же описана в нашем бложике Ошибка обновления ESXi 5.1 до 5.5 — Cannot run upgrade script on host. Но, в этот раз, решил поправить её через esxcli:
|
1 |
esxcli software vib remove -n vmware-fdm |
Напоследок. Так как архитектура vCenter серьёзно поменялась, то мониторинг списка старых сервисов уже не подходит, а ручной подсчет меня соориентировал, что сейчас сервисов точно не меньше 32(!) штук. Так что для определения сервисов нужных для контроля воспользовался статьей Stopping, starting, or restarting VMware vCenter Server 6.0 services (2109881), с помощью которой выгрузил список запущенных сервисов командой:
|
1 |
service-control --list |
Их и засунул в Nagios.
Советы по управлению производительностью в vSphere 6
Nick Marshall выпустил обзор “Performance Practices for vSphere 6” в рамках VMUG, описывающий новинки vSphere 6.0, что они дают с точки зрения производительности. Особую ценность представляют рекомендации по использованию компонентов платформы.
Запуск VirtualBox VM Template на ESXi
Мы используем продукты Oracle в своей деятельности, поэтому часто возникает потребность «пощупать» новые версии. К сожалению, Oracle предоставляет свои продукты в виде виртуальных модулей(virtual appliance) в формате Oracle VM для ODA и VirtualBox VM Template(в формате OVA/OVF). Казалось бы, бери OVA-файл да запускай на VMware, ан нет – виртуальное оборудование частично не совместимо. Для любителей подкрутить самостоятельно есть пара методов:
Мне надо было запустить Oracle Cloud Control. Для этого я скачал Oracle VM templates for Enterprise Manager Cloud Control 12c. Основная проблема – трудновато на рабочей станции с HDD крутить 16 ГБ файл, поэтому рекомендую OVA-файл распаковать и править только OVF, без обратной упаковки. Я же где-то ошибся и виртуалка у меня после снятия всех вопросов по совместимости и разворачивания не смогла подмонтировать диск.
Зато мне попалась на глаза статья наших коллег – как перенести виртуальную машину VirtualBox в VMware Workstation и обратно. Идеей которой, я и решил воспользоваться.
Скачал VMware Workstation 11 Trial и запустил OVA файл без всяких подготовительных действий.
Затем в VMware Workstation подключил vCenter, выключил виртуалку и лёгким движением мышки перенес виртуалку в vCenter.
Удалил VirtualBox Guest Additions:
|
1 |
/opt/[VBoxAdditionsFolder]/uninstall.sh |
Поставил VMwareTools:
|
1 2 3 |
tar zxpf /mnt/cdrom/VMwareTools-x.x.x-yyyy.tar.gz cd vmware-tools-distrib ./vmware-install.pl |
ВМ заработала без дополнительных телодвижений.