Powershell – Page 4

vSphere 5.1 vs Round Robin vs I/O operation limit

Очередной этап тонкой настройки политик выбора пути в vSphere 5.1.

Виталий Волнянский около полутора лет назал писал обзор “Настройка значения IOOperationLimit для RoundRobin на нескольких виртуальных хранилищ одновременно“, но есть небольшие изменения в vSphere 5.1, да и скрипты на PowerShell попривлекательней.

Одним из самых эффективных методов увеличения скорости доступ к системам хранения, поддерживающих для Native Multipathing (NMP) Path Selection Plug-ins (PSP) режим работы Round Robin, и снижения задержек является уменьшение значения по умолчанию параметра I/O operation limit с 1000 операций ввода-вывода до 1-10. Данный параметр регулирует “такт” перехода к следующему активному пути(для ALUA по умолчанию с учетом оптимального пути, регулируется параметром useano), то есть через сколько операций переключиться на следующий путь.

Что даёт и для каких систем рекомендуется/протестировано:

Как включить?

Это самое простое, но грабля есть.

Подаем команду на нужных дисках и готово:

esxcli storage nmp psp roundrobin deviceconfig set -t iops -I 1 -d naa.xxxxxxxxx

1	esxcli storage nmp psp roundrobin deviceconfig set -t iops -I 1 -d naa.xxxxxxxxx

Грабля в vSphere 5.1.

В vSphere 5.1 у команды добавился параметр cfgfile, что повлияло на реализацию функции в PowerShell, сейчас синтаксис такой(2 часа выяснял причину сбоя в работе старых скриптов):

boolean set(long bytes, boolean cfgfile, string device, long iops, string type, boolean useano),

как получить описание функций:

$esxcli=Get-EsxCli 
$esxcli.storage.nmp.psp.roundrobin.deviceconfig|Get-Member|fl

1 2	$esxcli=Get-EsxCli $esxcli.storage.nmp.psp.roundrobin.deviceconfig\|Get-Member\|fl

пример на PowerShell:

$esxcli.storage.nmp.psp.roundrobin.deviceconfig.set($null,$null,'naa.xxx',1,'iops',$false)

1	$esxcli.storage.nmp.psp.roundrobin.deviceconfig.set($null,$null,'naa.xxx',1,'iops',$false)

P.S. Если для вашей системы нет рекомендаций от производителя по уменьшению значения параметра, то вся ответственность за последствия изменений лежит на вас.

P.P.S. Продолжаем изучать PowerShell

Скрипт опроса LUN, подключенных с IBM SVC. Для установки параметра код поправите сами. 😉

#### Variables
$VC = "vcenter"
$psp = "VMW_PSP_RR"
$satp = "VMW_SATP_SVC"

#### Connect to Your vCenter
Connect-viserver -Server $VC

#### Get IBM SVC Round Robin's LUNs status
$vchosts = Get-VMHost
foreach ($vmhost in $vchosts)
 {

 $myesxcli=get-esxcli -VMHost $vmhost
 write-host $vmhost.name
 Get-VMHost $vmhost | Get-ScsiLun -CanonicalName "naa.6005*" | Where {$_.MultipathPolicy -eq "RoundRobin"} | %{$myesxcli.storage.nmp.psp.roundrobin.deviceconfig.get($_.CanonicalName)}
}

#### Disconnect from Your vCenter
Disconnect-VIServer $VC -Confirm:$false

#### Variables

$VC = "vcenter"

$psp = "VMW_PSP_RR"

$satp = "VMW_SATP_SVC"

#### Connect to Your vCenter

Connect-viserver -Server $VC

#### Get IBM SVC Round Robin's LUNs status

$vchosts = Get-VMHost

foreach ($vmhost in $vchosts)

{

$myesxcli=get-esxcli -VMHost $vmhost

write-host $vmhost.name

Get-VMHost $vmhost | Get-ScsiLun -CanonicalName "naa.6005*" | Where {$_.MultipathPolicy -eq "RoundRobin"} | %{$myesxcli.storage.nmp.psp.roundrobin.deviceconfig.get($_.CanonicalName)}

}

#### Disconnect from Your vCenter

Disconnect-VIServer $VC -Confirm:$false

vSphere 5.x vs IBM SVC(Storwize) vs Multipathing

Продолжаем тему тонкой настройки политики выбора путей. Сегодня разбираем систему хранения IBM SAN Volume Controller и ближайших родственников IBM Storwize v7000/3700/3500.

Что имеем:

сеть хранения FC-SAN;
несколько IBM BladeCenter HS22V;
систему хранения IBM SVC с прошивкой 6.3.x;
систему хранения IBM Storwize V7000 с прошивкой 6.4.x;
vSphere 5.1b.

Для данного семейства используется Storage Array Type Plug-in (SATP) со следующей политикой по умолчанию VMW_PSP_FIXED. Данная политика подтверждена VMware на HCL, но имеет пометку “посмотрите рекомендации производителя”. Соответственно, смотрим какую политику рекомендует IBM в документе “VMware vSphere best practices for IBM SAN Volume Controller and IBM Storwize V7000 disk family“.

Как и ожидалось, для Аctive-Аctive систем хранения рекомендуется Round Robin.

Теперь необходимо выполнить два действия:

заменить на всех хостах политику по умолчанию;
для используемых устройств изменить политику выбора путей.

Для упрощения используем PowerShell. Готовые шаблоны есть на сайте сообществ VMware либо смотрите пошаговые инструкции.

#### Variables
$VC = "vcenter"

$psp = "VMW_PSP_RR"
$satp = "VMW_SATP_SVC"

 #### Connect to Your vCenter
Connect-viserver -Server $VC

 #### Change existing luns to Round Robin
Write-Host "Setting the existing luns to Round Robin" -ForegroundColor Cyan
#$vchosts = Get-Cluster $cluster | Get-VMHost
$vchosts = Get-VMHost
foreach ($vmhost in $vchosts)
 {
Get-VMHost $vmhost | Get-ScsiLun -CanonicalName "naa.6005*" | Where {$_.MultipathPolicy -ne "RoundRobin"} | Set-ScsiLun -MultipathPolicy “roundrobin”
}

#### Change the default PSP for my SATP
Write-Host "Setting the default PSP to Round Robin" -ForegroundColor Cyan
foreach ($vmhost in $vchosts)
 {
$esxCli = Get-EsxCli -VMHost $vmhost
$esxCli.storage.nmp.satp.set($false,$psp,$satp) 
 }

#### Disconnect from Your vCenter
Disconnect-VIServer $VC -Confirm:$false

#### Variables

$VC = "vcenter"

$psp = "VMW_PSP_RR"

$satp = "VMW_SATP_SVC"

#### Connect to Your vCenter

Connect-viserver -Server $VC

#### Change existing luns to Round Robin

Write-Host "Setting the existing luns to Round Robin" -ForegroundColor Cyan

#$vchosts = Get-Cluster $cluster | Get-VMHost

$vchosts = Get-VMHost

foreach ($vmhost in $vchosts)

{

Get-VMHost $vmhost | Get-ScsiLun -CanonicalName "naa.6005*" | Where {$_.MultipathPolicy -ne "RoundRobin"} | Set-ScsiLun -MultipathPolicy “roundrobin”

}

#### Change the default PSP for my SATP

Write-Host "Setting the default PSP to Round Robin" -ForegroundColor Cyan

foreach ($vmhost in $vchosts)

{

$esxCli = Get-EsxCli -VMHost $vmhost

$esxCli.storage.nmp.satp.set($false,$psp,$satp)

}

#### Disconnect from Your vCenter

Disconnect-VIServer $VC -Confirm:$false

Exchange 2010 и очистка Recoverable Items

Инспектируя свои ящики, обратил внимание на товарища, у которого было явно неадекватное соотношение параметров ящика TotalItemSize и TotalDeletedItemSize:

Решение было мне уже известно, я запустил команду Search-Mailbox:

Search-Mailbox "user1" -SearchDumpsterOnly -DeleteContent


RunspaceId: 8189d0e1-5260-4a75-8424-e0ef6a8eeb14
Identity: domain/user1
TargetMailbox:
TargetPSTFile:
Success: True
TargetFolder:
ResultItemsCount: 0

ResultItemsSize: 0 B (0 bytes)

Вот тут я задумался…

Continue reading “Exchange 2010 и очистка Recoverable Items”

VMware vSphere 5.1 vs EMC VNX vs Multipathing vs MSCS(WSFC)

Изрядно нахлебавшись, решил раскрыть тему, ранее отданную читателям блога на самостоятельное изучение, – какие нюансы могут всплыть при настройке виртуальной среды VMware vSphere при использовании кластеризации в Windows Server 2008(R2). Также советую прочитать обзор Андрея “Поддержка кластеризации в виртуальных средах“.

Тема очень обширна, поэтому рассмотрю проблемы и их решения в моей инфраструктуре.

Что имеем:

сеть хранения FC-SAN;
несколько IBM BladeCenter HS22V;
кластер MSCS(WSFC) with Shared Disk;
систему хранения EMC VNX 5700 с прошивкой 05.31.000.5.726;
vSphere 5.1b.

Проблема первая. Суровая.

Симптомы: после настройки MSCS время загрузки хостов увеличилось примерно на 25 минут; стали проявляться проблемы с запуском/рестартом агентов управления на хостах; возникли длительные задержки при вызове свойств дисковых устройств, подключенных в MCSC-кластер на пассивных нодах.

Причины: выяснение причин оказалось делом несложным, в базе знаний VMware есть статья описывающая данное поведение “ESXi/ESX hosts with visibility to RDM LUNs being used by MSCS nodes with RDMs may take a long time to boot or during LUN rescan“. При включении серверов, несущих пасивные ноды, происходит опрос дисков, в это время диски, подключенные к активным нодам, зарезервированы нодами по SCSI.

Решение: достаточно уведомить все хосты о том, что часть дисков находится в SCSI-reservation, для этого необходимо выставить у данных дисков параметр perennially-reserved равный true.

Так как “лень – матушка, да PowerShell – батюшка”, то накидал примитивный скрипт:

Connect-VIServer -Server vcenter
Get-VMHost | foreach 
{
$myesxcli=get-esxcli -VMHost $_
$myesxcli.storage.core.device.setconfig($false,"naa.идентификатор устройства", $true)
}
Disconnect-VIServer -Server * -Force

Connect-VIServer -Server vcenter

Get-VMHost | foreach

{

$myesxcli=get-esxcli -VMHost $_

$myesxcli.storage.core.device.setconfig($false,"naa.идентификатор устройства", $true)

}

Disconnect-VIServer -Server * -Force

Проверить статус можно следующей командой:

$myesxcli.storage.core.device.list("naa.идентификатор устройства")

1	$myesxcli.storage.core.device.list("naa.идентификатор устройства")

Идентификатор устройства получаем кликом правой кнопки мыши по нужному MSCS-диску в хост-Сonfiguration-Storage-Devices и выбором пункта “Copy identifier to clipboard”.

Проблема вторая. Весёлая.

Откуда ноги растут: при выходе vSphere 5.1 EMC и VMware стали поддерживать режима выбора пути RoundRobin для систем VNX. Как это круто читаем статью “FIXED/Round Robin in 5.1 and A Simple PowerCLI Block Pathing Module“. На грабли я встать не успел, но суть в следующем: при обновлении до версии 5.1 политика выбора пути по умолчанию для VNX поменяется с VMW_PSP_FIXED на VMW_PSP_RR. В итоге для MSCS-дисков вы получите неподдерживаемую конфигурацию, так как смена пути приводит к ошибке в работе механизма SCSI reservation. Соль ситуации – всё это получается автоматом.

Решение: установить на MSCS-дисках режим выбора пути в Fixed. Засада возникает при желании сделать это вручную – симптомы описаны в первой проблеме.

Предлагаю очередной примитивный скриптик:

Connect-VIServer -Server vcenter
Get-VMHost | foreach 
{
 $myesxcli=get-esxcli -VMHost $_
 $myesxcli.storage.nmp.device.set($null,"naa.идентификатор устройства","VMW_PSP_FIXED")
 } 
 Disconnect-VIServer -Server * -Force

Connect-VIServer -Server vcenter

Get-VMHost | foreach

{

$myesxcli=get-esxcli -VMHost $_

$myesxcli.storage.nmp.device.set($null,"naa.идентификатор устройства","VMW_PSP_FIXED")

}

Disconnect-VIServer -Server * -Force

Проверить статус можно следующей командой:

 $myesxcli.storage.nmp.device.list("naa.идентификатор устройства")

1	$myesxcli.storage.nmp.device.list("naa.идентификатор устройства")

Напоминалка.

При любых внедрениях Windows Server 2008(R2) MSCS(WSFC) обязательно перечитайте документацию по последней версии vSphere, так как выход каждой новой версии вносит новые требования к дополнительной тонкой настройке:

Модерирование переписки в Exchange 2010

Возникла потребность заниматься модерацией писем, получаемых несколькими группами рассылки.

Захожу в свойства группы рассылки и вижу, что флаг включения модерации неактивен.

Continue reading “Модерирование переписки в Exchange 2010”

Выгрузка списка пользователей Exchange 2010 с подсчетом размера ящика

Возникла задача по выгрузке определенной части пользователей с подсчетом занимаемого ими места на сервере Exchange 2010.

Стандартный командлет Get-MailboxStatistics мне не подходит, так как задаваемые им условия – это почтовая база или почтовый сервер. Мои же пользователи были раскиданы по разным почтовым базам.

К счастью, они расположены в отдельном OU, поэтому мне не нужно заморачиваться с фильтрами.

Скрипт выполняется в окне EMS (Exchange Management Shell), поэтому я не пишу команд для подгрузки командлетов Exchange.

get-mailbox -OrganizationalUnit "holding.com/Users/" -resultsize unlimited | sort Name | %{
$Size=Get-MailboxStatistics $_.SamAccountName $_ | Select-object Name, SamAccountName, @{Name="Size";Expression={((($Size).TotalItemSize).value).toMB()+((($Size).TotalDeletedItemSize).value).toMB()}}} | export-csv -encoding unicode -NoTypeInformation c:\tmp\test1.csv

Полученный CSV-файл вы открываете в Excel, раскидываете текст по столбцам, используя разделитель “,” и наслаждаетесь жизнью.

Обратите внимание, что считается размер, реально занимаемый ящиком в базе, то есть общий размер плюс размер сообщений из каталога Recoverable Items (которые удалены из корзины и хранятся в ящике по умолчанию 14 дней. Еще они называются Dumpster.
За помощь в написании скрипта отдельное спасибо Александру Васильеву.

Замена сертификата на HP SIM

Если вы используете HP SIM, то, наверное, знаете про функционал Single Sign-On. Этот функционал позволяет вам заходить на SMH (System Management Homepage), iLO2 и OA (Onboard Administrator), авторизовавшись лишь раз – на HP SIM. Наиболее безопасный вариант такого доверия – через сертификаты.

Но, к сожалению, сертификат HP SIM иногда приходится менять. Чуть ниже инструкция по замене старого сертификата на iLO2 и HP SMH.

Continue reading “Замена сертификата на HP SIM”

Создание множества каталогов на файл-сервере

Продолжаю делиться своими наработками на Powershell.

В больших организациях обычно стараются стандартизировать большинство ИТ сервисов и процессов. Это касается и файл-сервиса.

Практически все стандарты на файл-сервис, которые я видел, сводились к тому, что на файл сервере создается структура каталогов, на каждый из которых назначаются различные доступы. Обычно на каждый каталог приходится по две группы безопасности: чтение и изменение. Часто группы назначают только на один уровень иерархии, иногда на несколько.

Каталоги, как правило, создаются для каждого отдела/подразделения компании.

В связи с масштабами возникает желание автоматизировать рутину: для каждого каталога создание двух групп безопасности в AD, создание каталога, назначение прав на каталоге для указанных групп. Наиболее актуально это в организациях с множеством филиалов, собственно почему и родился данный скрипт: Continue reading “Создание множества каталогов на файл-сервере”

Exchange 2010 Recoverable Items

По умолчанию Exchange работает с сообщениями в почтовом ящике следующим образом:

– при удалении почтового сообщения оно перемещается в “удаленные” сообщения;

– при удалении сообщения с Shift’ом или очистке “удаленных” оно находится в ящике еще 14 дней (значение по умолчанию) в дополнительном каталоге.

У меня возникла альтернативная задача: есть ящик, в который ежедневно сваливается почта. Ее необходимо забирать, после чего очищать содержимое ящика.

Хранение удаленных сообщений нецелесообразно, и я столкнулся с тем, как объяснить Exchange, что хранить такие сообщения не надо.

Первым делом я сказал Exchange, что хранить удаленные объекты в почте не стоит, установив срок хранения в 0 дней. Не помогло.

Затем я натолкнулся на параметры recoverableitemsquota и попробовал задать параметр, жестко ограничивающий размер этой скрытой папки. Поведение почты стало непрогнозируемо, клиент начал помирать и т.д.

После этого я натолкнулся на статью, объясняющую механизмы Recoverable Items, и мне все стало ясно.

Параметр RecoverableItemsQouta не дает удалять письма из ящика при превышении этого параметра. Если необходимо удалять элементы, но держать этот объем в разумных рамках, вам подойдет RecoverableItemsWarningQuota. Как раз при превышении этого лимита, происходит физическое удаление писем из каталога. Оба параметра задаются на уровне хранилища почтовых ящиков (Mailbox Datastore).

P.S. Чтобы два раза не вставать, приведу команду по очистке этих “удаленных” сообщений из ящика:

Search-Mailbox a.vakhitov -SearchDumpsterOnly -DeleteContent

UPD: По слухам, письма в ящике иногда сами не чистятся, этот баг пофиксят в Exchange 2010 SP2 RU5.

Создание файлового архива средствами PowerShell

A. Vasiliev делится решением проблемы по архивированию старых данных.
Все, наверное, знакомы с проблемой разрастающейся файлопомойки документации на файл сервере. У нас она выросла почти уже до 2 Тб. Чистка данного ресурса весьма затруднительна: отделы держатся за свои файлы как за самое святое, и их можно понять. Иногда приходится обращаться к файлам двух-трех годичной давности.

Однако держать такой объем информации – непозволительная роскошь хотя бы с точки зрения времени выполнения бэкапа и его восстановления.

Отсюда появилась задачка: создать файловый архив старых документов, обеспечить в него доступ только на чтение, обеспечить прозрачный доступ для пользователей.

Реализация, как всегда, моя любимая – скрипт на powershell. Continue reading “Создание файлового архива средствами PowerShell”