VMware – Page 6

Руководство по синтетическому бенчмаркингу корпоративных систем хранения данных и лучшие практики. Часть 2. Критерии успеха и параметры бенчмаркинга

Николай Куликов опубликовал своё руководство по тестированию систем хранения на английском языке, поэтому захотелось получить русский вариант. Данный перевод выполнен ИИ с моими правками (возможны правки формулировок).

Определение критериев успеха для синтетического бенчмаркинга
Исходные данные и вводные
Сбор метрик из существующих систем
Список параметров, которые необходимо определить

Профиль рабочей нагрузки
ВМ-испытатели
Размер виртуального диска и общее использование ёмкости
Набор активных рабочих нагрузок
Длительность тестирования и прогрева
Незавершённые IO или iodepth (OIO)
Лимиты IOPS

Заключение

Определение критериев успеха для синтетического бенчмаркинга

Как я уже упоминал в первой части руководства, определение целей и критериев успеха является обязательным шагом для успешного POC. Конечно, критерии успеха могут быть разными, но у них есть нечто общее – они должны следовать правилам S.M.A.R.T:

Конкретность – цель должна быть конкретной и ясной для всех, кто участвует в тестировании. Не должно быть никаких разночтений, двусмысленных толкований или “само собой разумеется”.
Измеримость – это означает, что существует метрика или число, которое может однозначно определить прохождение/непрохождение или результат A лучше, чем B.
Достижимость – требования должны быть реалистичными и достижимыми (хотя бы теоретически) для каждого участника. В противном случае нет смысла тратить на это время.
Релевантность – здесь это самый важный пункт. Вы должны быть в состоянии прояснить и очень четко показать, почему были выбраны именно такие цели и метрики. Как они связаны с потребностями бизнеса? Почему именно эта метрика или число, а не другая? И будьте осторожны со ссылками на “отраслевые стандарты”, “вот как мы делали это раньше”, “опыт других компаний”. Слишком легко ошибиться и потерять релевантность вашим конкретным бизнес-потребностям.
Ограниченность во времени – в вашем плане POC должны быть четко и заранее определены временные рамки и сроки.

Цели, а также подробная контрольная программа (описывающая, как именно будут проводиться тесты) должны быть написаны ДО начала POC и одобрены/подтверждены каждым участником.

Я также рекомендую отправить черновик программы участникам, часто они могут дать полезные советы, рекомендации или комментарии, а также для того, чтобы они были готовы. А также быть на связи с производителями/партнерами в процессе бенчмаркинга, особенно, если есть какие-то проблемы или система не смогла достичь поставленных целей. Часто эти проблемы можно легко решить, просто правильно настроив и отрегулировав систему.

Упрощенный пример критерия успеха может выглядеть следующим образом: “Задержка в гостевых ОС, работающих на системе хранения данных в нормальных условиях и полностью рабочем состоянии, должна быть менее 1,5 мс при 95-м процентиле при обеспечении 100 тыс. IOPS с профилем 8K 70/30 Чтение/Запись 90% Случайный доступ”. Рабочая нагрузка генерируется 12 ВМ с 5 виртуальными дисками в каждой, использование хранилища (общий объем данных, хранимых этими ВМ) должно составлять 70% от полезной ёмкости хранилища, размер набора активной рабочей нагрузки составляет 10%, продолжительность теста 2 часа после 1 часа прогрева”. Continue reading “Руководство по синтетическому бенчмаркингу корпоративных систем хранения данных и лучшие практики. Часть 2. Критерии успеха и параметры бенчмаркинга”

Руководство по синтетическому бенчмаркингу корпоративных систем хранения данных и лучшие практики. Часть 1. Общая теория, методы и подходы

Введение
Определение целей бенчмаркинга
Выбор подхода и методологии бенчмаркинга

Перенос или клонирование существующей производственной рабочей нагрузки на тестовую систему
Синтетические бенчмарки на уровне приложений
Синтетический бенчмарк хранилища данных

Выбор инструментов и утилиты для синтетического бенчмаркинга хранилища данных
Формирование конфигурации демонстрационной среды

Аппаратное обеспечение
Программное обеспечение

Заключение

Введение

За более чем десять лет работы в ИТ-индустрии я провел множество тестов и проверок концепций (proof-of-concepts, POC) различных систем хранения данных (СХД). Хотя это были совершенно разные типы систем хранения – традиционные SAN-системы хранения с подключением по FC, NAS, SDS (Software Defined Storage, программно-определяемое хранилище) и платформы HCI (Hyper Converged Infrastructure, гиперконвергентная инфраструктура), задачи были практически одинаковыми. И довольно часто я сталкивался с ситуацией, когда тесты никак не соответствовали потребностям бизнеса и даже были технически некорректны, что приводило к невозможности получить какие-либо значимые результаты.

Все мы знаем, насколько критически важными могут быть системы хранения данных для ИТ- и бизнес-операций. Мы также знаем, как много усилий требуется от всех вовлеченных сторон, чтобы правильно протестировать систему хранения и получить значимые результаты, способствующие процессу принятия решений. Именно поэтому я верю, что хорошо структурированный подход с полным вниманием к деталям является обязательным условием для любого вида тестирования и/или бенчмаркинга систем хранения данных.

В большинстве случаев валидация/POC систем хранения данных состоит из трех частей – тесты доступности, функциональные тесты и тесты производительности (они же бенчмаркинг):

Функциональные тесты очень специфичны для конкретной организации, поскольку они должны быть согласованы с ИТ-ландшафтом заказчика, бизнес-процессами и другими отличительными аспектами.
Тесты доступности требуют много времени, но это самая очевидная часть – заказчик должен составить список потенциальных рисков, описать ожидаемое поведение в каждом случае, определить с производителем/поставщиком/дистрибьютором варианты моделирования таких сценариев и выполнить такие тесты.
Тесты производительности или бенчмаркинг – сложная и часто противоречивая часть плана тестирования, потому что это всегда баланс между применимостью и точностью против осуществимости и сложности.

В этом руководстве я рассмотрю только аспект тестирования производительности, и он будет связан в основном с синтетическим бенчмаркингом основной системы хранения общего назначения. Основная цель данного руководства – предоставить указания и рекомендации по проведению бенчмаркинга любого типа корпоративных систем хранения данных для получения значимых результатов при минимизации усилий. Я не буду много говорить об общих вещах, связанных с тестированием в целом и с организацией POC.

Это руководство состоит из двух частей – первая часть более универсальна и подходит практически для любой ситуации, когда вам необходимо провести синтетическое нагрузочное тестирование. Поэтому она состоит в основном из общих приемов, лучших практик и рекомендаций (хотя я постараюсь добавить больше примеров), а не из конкретных действий. Вторая часть – практическая и конкретная, где я на примере показываю, как можно проводить нагрузочное тестирование и как каждый из параметров нагрузочного тестирования влияет на результат.

Чтобы быть более конкретным и, по сути, отразить мой самый последний опыт, все дальнейшие примеры будут связаны с тестированием систем хранения данных в среде виртуальной инфраструктуры VMware. Однако эти рекомендации могут быть применены и в других случаях с минимальными изменениями. Continue reading “Руководство по синтетическому бенчмаркингу корпоративных систем хранения данных и лучшие практики. Часть 1. Общая теория, методы и подходы”

VMware vCenter 7.0 Lifecycle Manager не скачивает обновления через прокси

Попали на странные грабли – VMware vCenter 7.0 Lifecycle Manager не скачивает обновления через прокси.

При запуске Sync Update выпадает в ошибку ‘A general system error occurred: Download patch definitions task failed while syncing depots. Error: ‘integrity.fault.NoSignatureSiteConnection’.

Поиск в интернете выдает пару рекомендаций:

Про второй случай я уже писал – и второй раз сбрасывать базу не собирался.

Обновление VMware vCenter с версии 6.7 до 7.0

А вот первый совет навёл на странную мысль, что в указании https прокси надо вместо https://ip_proxy указать http://ip_proxy. Как ни странно, помогло.

Опрос CDP/LLDP с ESXi через PowerShell/Python

Однажды у вас может возникнуть желание составить таблицу портов коммутаторов, к которым подключены ваши хосты.

Если у вас “гомогенное” окружение, состоящее из коммутаторов Cisco, то заморачиваться не нужно совсем (CDP настроен в Virtual Switch Standard/Distributed Virtual Switch по умолчанию).

Но если в окружении не только Cisco, то вам необходимо немного сильнее напрячься:

использовать только распределенные коммутаторы;
включать на них поддержку LLDP;
с удивлением обнаружить, что в API опрос CDP и LLDP происходит по-разному.

Continue reading “Опрос CDP/LLDP с ESXi через PowerShell/Python”

Заметочка про Custom Attributes

Потребовалось проставить Custom Attribute для виртуальных машин.

На помощь, как обычно, пришел Google и подсказал следующее решение:

$ca=Get-CustomAttribute -Name 'custom_attribute_name'

get-vm -Location vm_folder_name | Get-Annotation -CustomAttribute $ca | %{Set-Annotation -entity $_.AnnotatedEntity -CustomAttribute $ca -Value 'new_value'}

$ca=Get-CustomAttribute -Name 'custom_attribute_name'

get-vm -Location vm_folder_name | Get-Annotation -CustomAttribute $ca | %{Set-Annotation -entity $_.AnnotatedEntity -CustomAttribute $ca -Value 'new_value'}

VMware vSAN: как к нему подходить и с чего начинать

Статья прислана читателем бложика.

Предисловие

Изначально этот текст представлял собой выборку ссылок и пояснений из подготовленной где-то перед новым, 2022 годом, презентации «почему vSAN нам не очень нужен». В апреле 2022 года старый текст пришлось перечитать, переписать и существенно расширить. По логике надо бы этот текст разбить на четыре части – теория, подготовка развертывания, тестирование, и рабочие моменты, но вряд ли я этим займусь.

Уровень материала: 50-100.

Уровень требуемого английского для чтения: IELTS 3, способность скопировать непонятный текст и вставить в пока еще доступные онлайн переводчики.

Аффтар(ТМ) выражает отдельную благодарность участникам и администрации русского сообщества https://t.me/VMwarevSAN/ за внесенные коррективы, уточнения и огромную подготовительную работу.

PowerShell, SCSILunPath и Datastore Name

Обратился ко мне за советом постоянный читатель: помоги, говорит, с моим iSCSI-массивом NetApp. Пытаюсь вывести Get-SCSILunPath, так там ни имени датастора, ни IP-адреса “таргета” в SanId нет 🙁

Посмотрел – и действительно так: в отличие, например, от Huawei, NetApp не выводит IP-адрес IQN-Target в выводе атрибутов Get-SCSILunPath. Да и привязать CanonicalName вида naa.thebeststoragearray к датастору с первого взгляда не удается…

Continue reading “PowerShell, SCSILunPath и Datastore Name”

PowerShell, REST и Excel

Обнаружили проблему: командлет Get-OrgVdcNetwork почему-то не выводит часть сетей orgVDC. Опытным путем выяснили, что ему не нравятся Shared-сети, то есть сети доступные из нескольких orgVDC.

Для решения проблемы решили воспользоваться REST API от vCloud Director.

А чтобы было не скучно, решили вывод сетей делать сразу в файл Excel, чтобы уменьшить количество ручной работы.

Оригинал PoSH-скрипта я положил на гитхаб, тут его приведу для наглядности (хотя с отступами при копипасте беда).

Скрипту понадобится список vCloud Director’ов в файле vcd_list.txt.

#Script makes an Excel file, which contains oVDC's networks. It takes VCD list from vcd_list.txt file.
function Get-Netmask {
  param ($prefixLength)
  $bitString = ('1' * $prefixLength).PadRight(32, '0')
  $ipString=[String]::Empty

# make 1 string combining a string for each byte and convert to int
  for($i=0;$i -lt 32;$i+=8){
    $byteString=$bitString.Substring($i,8)
    $ipString+="$([Convert]::ToInt32($byteString, 2))."
  }
  $ipString.TrimEnd('.')
}

$ExcelApplication = new-object -comobject excel.application 
$ExcelApplication.Visible = $false
$WorkBook = $ExcelApplication.Workbooks.Add()
$sheets = 1

$apiVersion = '35.0'
$cred = Get-Credential
$password = [System.Runtime.InteropServices.Marshal]::PtrToStringAuto([System.Runtime.InteropServices.Marshal]::SecureStringToBSTR($cred.Password))
if($password -like "*:*"){Write-Host("Password is containing ':'. Exiting now...");break}
$userPass = $cred.Username
if(!($userPass -like "*@*")){$userPass += "@system"}
$userPass += ":$password"
$bytes= [System.Text.Encoding]::UTF8.GetBytes($userpass)
$encodedlogin=[Convert]::ToBase64String($bytes)

$content = get-content vcd_list.txt | sort -Descending

foreach ($cont in $content) {
  $base_uri = $cont
  $sheets += 1
  $xws1 = $WorkBook.Worksheets.add()
  $xws1.Name = $base_uri.split('/')[2]
  $headers = @{}
  $authheader = "Basic " + $encodedlogin
  $headers.Add("Authorization",$authheader)

  $version_uri = $base_uri + "api/versions"
  try {$get_version = Invoke-RestMethod -Uri $version_uri -Headers $headers -Method GET -ErrorAction Stop}
  catch {$err_mes = $_;$get_version = $false}

  $check_version = $get_version.SupportedVersions.VersionInfo | Where-Object {$_.Version -eq $apiVersion} 

  if ($check_version){
    $headers.Add("Accept","application/*;version=$apiVersion")
    $session_uri = $base_uri + "api/sessions"
    try{$get_session = Invoke-WebRequest -Uri $session_uri -Headers $headers -Method POST -ErrorAction Stop}
    catch{$err_mes = $_;$get_version = $false}
    if ($get_session.StatusCode -eq '200'){
      $base_uri
      Write-Host "Success" -ForegroundColor White
      $bearer_token = 'Bearer '+ $get_session.Headers.Item('X-VMWARE-VCLOUD-ACCESS-TOKEN')
      $headers.Remove("Authorization")
      $headers.Add("Authorization",$bearer_token)
      $net_uri = $base_uri + 'cloudapi/1.0.0/orgVdcNetworks'
      $Data = Invoke-RestMethod -Uri $net_uri -Headers $headers -Method get -ContentType 'application/*+json'
      $total = $Data.resultTotal
      for ($num = 1 ; $num -le [int][Math]::Ceiling($total / 16) ; $num++){
        $tmp_net_uri = $net_uri + '?page=' + [string]$num + '&pageSize=16'
        $Data = Invoke-RestMethod -Uri $tmp_net_uri -Headers $headers -Method get -ContentType 'application/*+json'
        if($num -eq 1){$orgnets = $Data.values}
        else{$orgnets += $Data.values}
        }
      $orgVDCs = @()
      for ($num = 0 ; $num -lt $total ; $num++){
        $row = "" | select Tenant, vDC, OrgVdcNetwork, Gateway, Netmask
        $row.Tenant = $orgnets[$num].orgref.name
        $row.vDC = $orgnets[$num].orgvdc.name
        $row.OrgVdcNetwork = $orgnets[$num].name
        $tmp_net_uri = $net_uri + '/' + $orgnets[$num].id
        $Data = Invoke-RestMethod -Uri $tmp_net_uri -Headers $headers -Method get -ContentType 'application/*+json'
        $row.Gateway = $Data.subnets.values.gateway
        $row.Netmask = Get-Netmask -prefixLength $Data.subnets.values.prefixlength
        $orgVDCs += $row
        }
      $orgVDCs_tmp = $orgVDCs | sort Tenant
      $xws1.Cells.Item(1,1) = 'Tenant'
      $xws1.Cells.Item(1,2) = 'vDC'
      $xws1.Cells.Item(1,3) = 'OrgVdcNetwork'
      $xws1.Cells.Item(1,4) = 'Gateway'
      $xws1.Cells.Item(1,5) = 'Netmask'
      for ($num = 0 ; $num -lt $total ; $num++){
        $xws1.Cells.Item($num+2,1) = $orgVDCs_tmp[$num].Tenant
        $xws1.Cells.Item($num+2,2) = $orgVDCs_tmp[$num].vDC
        $xws1.Cells.Item($num+2,3) = $orgVDCs_tmp[$num].OrgVdcNetwork
        $xws1.Cells.Item($num+2,4) = $orgVDCs_tmp[$num].Gateway
        $xws1.Cells.Item($num+2,5) = $orgVDCs_tmp[$num].Netmask
        }    
      $usedRange = $xws1.UsedRange
      $usedRange.EntireColumn.AutoFit() | Out-Null
      }
    else{Write-Host "Failed" -ForegroundColor Red;Write-Host $err_mes.Exception -ForegroundColor Red}
  }
  else{Write-Host "Failed" -ForegroundColor Red;Write-Host $err_mes.Exception -ForegroundColor Red}
}
$ext=".xlsx"
$path=(Get-Location).Path + "\orgvdcnet$ext"
$ExcelApplication.DisplayAlerts = $false;
$workbook.Worksheets.Item($sheets).Delete()
$WorkBook.Saveas($path)
$WorkBook.Close()
$ExcelApplication.Quit()

100

101

102

103

104

105

#Script makes an Excel file, which contains oVDC's networks. It takes VCD list from vcd_list.txt file.

function Get-Netmask {

param ($prefixLength)

$bitString = ('1' * $prefixLength).PadRight(32, '0')

$ipString=[String]::Empty

# make 1 string combining a string for each byte and convert to int

for($i=0;$i -lt 32;$i+=8){

$byteString=$bitString.Substring($i,8)

$ipString+="$([Convert]::ToInt32($byteString, 2))."

}

$ipString.TrimEnd('.')

}

$ExcelApplication = new-object -comobject excel.application

$ExcelApplication.Visible = $false

$WorkBook = $ExcelApplication.Workbooks.Add()

$sheets = 1

$apiVersion = '35.0'

$cred = Get-Credential

$password = [System.Runtime.InteropServices.Marshal]::PtrToStringAuto([System.Runtime.InteropServices.Marshal]::SecureStringToBSTR($cred.Password))

if($password -like "*:*"){Write-Host("Password is containing ':'. Exiting now...");break}

$userPass = $cred.Username

if(!($userPass -like "*@*")){$userPass += "@system"}

$userPass += ":$password"

$bytes= [System.Text.Encoding]::UTF8.GetBytes($userpass)

$encodedlogin=[Convert]::ToBase64String($bytes)

$content = get-content vcd_list.txt | sort -Descending

foreach ($cont in $content) {

$base_uri = $cont

$sheets += 1

$xws1 = $WorkBook.Worksheets.add()

$xws1.Name = $base_uri.split('/')[2]

$headers = @{}

$authheader = "Basic " + $encodedlogin

$headers.Add("Authorization",$authheader)

$version_uri = $base_uri + "api/versions"

try {$get_version = Invoke-RestMethod -Uri $version_uri -Headers $headers -Method GET -ErrorAction Stop}

catch {$err_mes = $_;$get_version = $false}

$check_version = $get_version.SupportedVersions.VersionInfo | Where-Object {$_.Version -eq $apiVersion}

if ($check_version){

$headers.Add("Accept","application/*;version=$apiVersion")

$session_uri = $base_uri + "api/sessions"

try{$get_session = Invoke-WebRequest -Uri $session_uri -Headers $headers -Method POST -ErrorAction Stop}

catch{$err_mes = $_;$get_version = $false}

if ($get_session.StatusCode -eq '200'){

$base_uri

Write-Host "Success" -ForegroundColor White

$bearer_token = 'Bearer '+ $get_session.Headers.Item('X-VMWARE-VCLOUD-ACCESS-TOKEN')

$headers.Remove("Authorization")

$headers.Add("Authorization",$bearer_token)

$net_uri = $base_uri + 'cloudapi/1.0.0/orgVdcNetworks'

$Data = Invoke-RestMethod -Uri $net_uri -Headers $headers -Method get -ContentType 'application/*+json'

$total = $Data.resultTotal

for ($num = 1 ; $num -le [int][Math]::Ceiling($total / 16) ; $num++){

$tmp_net_uri = $net_uri + '?page=' + [string]$num + '&pageSize=16'

$Data = Invoke-RestMethod -Uri $tmp_net_uri -Headers $headers -Method get -ContentType 'application/*+json'

if($num -eq 1){$orgnets = $Data.values}

else{$orgnets += $Data.values}

}

$orgVDCs = @()

for ($num = 0 ; $num -lt $total ; $num++){

$row = "" | select Tenant, vDC, OrgVdcNetwork, Gateway, Netmask

$row.Tenant = $orgnets[$num].orgref.name

$row.vDC = $orgnets[$num].orgvdc.name

$row.OrgVdcNetwork = $orgnets[$num].name

$tmp_net_uri = $net_uri + '/' + $orgnets[$num].id

$Data = Invoke-RestMethod -Uri $tmp_net_uri -Headers $headers -Method get -ContentType 'application/*+json'

$row.Gateway = $Data.subnets.values.gateway

$row.Netmask = Get-Netmask -prefixLength $Data.subnets.values.prefixlength

$orgVDCs += $row

}

$orgVDCs_tmp = $orgVDCs | sort Tenant

$xws1.Cells.Item(1,1) = 'Tenant'

$xws1.Cells.Item(1,2) = 'vDC'

$xws1.Cells.Item(1,3) = 'OrgVdcNetwork'

$xws1.Cells.Item(1,4) = 'Gateway'

$xws1.Cells.Item(1,5) = 'Netmask'

for ($num = 0 ; $num -lt $total ; $num++){

$xws1.Cells.Item($num+2,1) = $orgVDCs_tmp[$num].Tenant

$xws1.Cells.Item($num+2,2) = $orgVDCs_tmp[$num].vDC

$xws1.Cells.Item($num+2,3) = $orgVDCs_tmp[$num].OrgVdcNetwork

$xws1.Cells.Item($num+2,4) = $orgVDCs_tmp[$num].Gateway

$xws1.Cells.Item($num+2,5) = $orgVDCs_tmp[$num].Netmask

}

$usedRange = $xws1.UsedRange

$usedRange.EntireColumn.AutoFit() | Out-Null

}

else{Write-Host "Failed" -ForegroundColor Red;Write-Host $err_mes.Exception -ForegroundColor Red}

}

else{Write-Host "Failed" -ForegroundColor Red;Write-Host $err_mes.Exception -ForegroundColor Red}

}

$ext=".xlsx"

$path=(Get-Location).Path + "\orgvdcnet$ext"

$ExcelApplication.DisplayAlerts = $false;

$workbook.Worksheets.Item($sheets).Delete()

$WorkBook.Saveas($path)

$WorkBook.Close()

$ExcelApplication.Quit()

скрипт запрашивает учетные данные для подключения к vCD;
скрипт считывает список vCloud Director’ов из текстового файла;
создает Excel-файл, а на нем одноименный лист по каждому vCD;
заполняет список сетей по vCD на листе;
сохраняет результат в файле orgvdcnet.xlsx

Что стоило бы доделать – проверку на наличие установленного Excel (например, тут – $ExcelApplication = new-object -comobject excel.application). Если Excel нет, то делать вывод в CSV-файлы по старинке…

Февральские патчи ESXi 2022 года

Статья прислана читателем бложика.

Занимались аудитом и обслуживанием очередной пары фирм, попутно обновляли VMware – увидели много интересного.

Первая фирма, обновления 7.0.1 – 7.0 Update 2e build 19290878.

Опять какие-то проблемы с iSCSI. На одном сервере полностью поменялся IQN, причем с изменением даже имени. После этого по возвращении сервер не увидел СХД, пришлось настраивать. На аналогичном втором сервере потерялся target, но IQN остался тот же.

Как оказалось, проблема описана в интернете, НО что-то не находится в VMware release notes: Continue reading “Февральские патчи ESXi 2022 года”

Релиз RVTools 4.3.1

Rob de Veij выпустил обновление своей отличной утилиты инвентаризации VMware vSphere — RVTools версии 4.3.1.

В этой версии используется VMware vSphere Management SDK 7.0U3, а также есть другие изменения:

Новая вкладка “vSource”: отображается информация о сервере, на котором запущена веб-служба SDK, используемая RVTools для сбора всех данных. Это ваш сервер vCenter или хост ESX.
На вкладке vHost появилась новая колонка: Host UUID.
Свойства Health: новые флажки для включения или отключения сообщений о состоянии безопасности и производительности.
На всех связанных страницах вкладки VM столбец UUID был заполнен значением SMBIOS UUID, которое не является уникальным. Теперь столбец заполняется уникальным 128-битным значением UUID, специфичным для VirtualCenter.
На вкладке vHealth: новые советы по производительности дискового ввода-вывода и памяти.
Исправлено: на вкладке vInfo не отображалось значение Video RAM.
Исправлено: RVToolsMergeExcelFiles, когда один из xlsx файлов не содержит ВМ, то в объединенный xlsx добавлялась дополнительная строка заголовка.

Category: VMware