Руководство по синтетическому бенчмаркингу корпоративных систем хранения данных и лучшие практики. Часть 1. Общая теория, методы и подходы

Николай Куликов опубликовал своё руководство по тестированию систем хранения на английском языке, поэтому захотелось получить русский вариант. Данный перевод выполнен ИИ с моими правками (возможны правки формулировок).

Введение
Определение целей бенчмаркинга
Выбор подхода и методологии бенчмаркинга

Выбор инструментов и утилиты для синтетического бенчмаркинга хранилища данных
Формирование конфигурации демонстрационной среды

Заключение

Введение

За более чем десять лет работы в ИТ-индустрии я провел множество тестов и проверок концепций (proof-of-concepts, POC) различных систем хранения данных (СХД). Хотя это были совершенно разные типы систем хранения – традиционные SAN-системы хранения с подключением по FC, NAS, SDS (Software Defined Storage, программно-определяемое хранилище) и платформы HCI (Hyper Converged Infrastructure, гиперконвергентная инфраструктура), задачи были практически одинаковыми. И довольно часто я сталкивался с ситуацией, когда тесты никак не соответствовали потребностям бизнеса и даже были технически некорректны, что приводило к невозможности получить какие-либо значимые результаты.

Все мы знаем, насколько критически важными могут быть системы хранения данных для ИТ- и бизнес-операций. Мы также знаем, как много усилий требуется от всех вовлеченных сторон, чтобы правильно протестировать систему хранения и получить значимые результаты, способствующие процессу принятия решений. Именно поэтому я верю, что хорошо структурированный подход с полным вниманием к деталям является обязательным условием для любого вида тестирования и/или бенчмаркинга систем хранения данных.

В большинстве случаев валидация/POC систем хранения данных состоит из трех частей – тесты доступности, функциональные тесты и тесты производительности (они же бенчмаркинг):

  1. Функциональные тесты очень специфичны для конкретной организации, поскольку они должны быть согласованы с ИТ-ландшафтом заказчика, бизнес-процессами и другими отличительными аспектами.
  2. Тесты доступности требуют много времени, но это самая очевидная часть – заказчик должен составить список потенциальных рисков, описать ожидаемое поведение в каждом случае, определить с производителем/поставщиком/дистрибьютором варианты моделирования таких сценариев и выполнить такие тесты.
  3. Тесты производительности или бенчмаркинг – сложная и часто противоречивая часть плана тестирования, потому что это всегда баланс между применимостью и точностью против осуществимости и сложности.

В этом руководстве я рассмотрю только аспект тестирования производительности, и он будет связан в основном с синтетическим бенчмаркингом основной системы хранения общего назначения. Основная цель данного руководства – предоставить указания и рекомендации по проведению бенчмаркинга любого типа корпоративных систем хранения данных для получения значимых результатов при минимизации усилий. Я не буду много говорить об общих вещах, связанных с тестированием в целом и с организацией POC.

Это руководство состоит из двух частей – первая часть более универсальна и подходит практически для любой ситуации, когда вам необходимо провести синтетическое нагрузочное тестирование. Поэтому она состоит в основном из общих приемов, лучших практик и рекомендаций (хотя я постараюсь добавить больше примеров), а не из конкретных действий. Вторая часть – практическая и конкретная, где я на примере показываю, как можно проводить нагрузочное тестирование и как каждый из параметров нагрузочного тестирования влияет на результат.

Чтобы быть более конкретным и, по сути, отразить мой самый последний опыт, все дальнейшие примеры будут связаны с тестированием систем хранения данных в среде виртуальной инфраструктуры VMware.  Однако эти рекомендации могут быть применены и в других случаях с минимальными изменениями. Continue reading “Руководство по синтетическому бенчмаркингу корпоративных систем хранения данных и лучшие практики. Часть 1. Общая теория, методы и подходы”

VMware vCenter 7.0 Lifecycle Manager не скачивает обновления через прокси

Попали на странные грабли – VMware vCenter 7.0 Lifecycle Manager не скачивает обновления через прокси.

При запуске Sync Update выпадает в ошибку ‘A general system error occurred: Download patch definitions task failed while syncing depots. Error: ‘integrity.fault.NoSignatureSiteConnection’.

Поиск в интернете выдает пару рекомендаций:

  1. vCenter 7.0, Lifecycle Manager fails downloading patches Error: “integrity.fault.NoSignatureSiteConnection”
  2. “A general system error occurred: Download patch definitions task failed while syncing depots. Error: ‘integrity.fault.MetadataDownloadFailure’.” Sync Updates vCenter 7.0.3c

Про второй случай я уже писал – и второй раз сбрасывать базу не собирался.

Обновление VMware vCenter с версии 6.7 до 7.0

А вот первый совет навёл на странную мысль, что в указании https прокси надо вместо https://ip_proxy указать http://ip_proxy. Как ни странно, помогло.

Опрос CDP/LLDP с ESXi через PowerShell/Python

Однажды у вас может возникнуть желание составить таблицу портов коммутаторов, к которым подключены ваши хосты.

Если у вас “гомогенное” окружение, состоящее из коммутаторов Cisco, то заморачиваться не нужно совсем (CDP настроен в Virtual Switch Standard/Distributed Virtual Switch по умолчанию).

Но если в окружении не только Cisco, то вам необходимо немного сильнее напрячься:

  • использовать только распределенные коммутаторы;
  • включать на них поддержку LLDP;
  • с удивлением обнаружить, что в API опрос CDP и LLDP происходит по-разному.

Continue reading “Опрос CDP/LLDP с ESXi через PowerShell/Python”

Мониторинг IBM Bladecenter AMM по протоколу SNMP в Zabbix 6

Мы несколько лет используем Zabbix для мониторинга различных операционных систем – Linux, Windows, vSphere.

Иногда приходится добавлять и железо. Пришла задачка замониторить лезвийное шасси IBM Bladecenter H.

Поиск выдал старый шаблон Template IBM BC_AMM SNMP Chassis Stats.xml в формате Zabbix 2.0. Мы его посмотрели и наваяли свой под Zabbix 6.0.

Скачать шаблон IBM Bladecenter AMM SNMP в формате Zabbix 6.

P.S. Дополнительно залил пропавший на просторах сети шаблон для Lenovo ThinkSystem XClarity Contoller (заменить USERNAME и PASSWORD в макросах).

Заметочка про Custom Attributes

Потребовалось проставить Custom Attribute для виртуальных машин.

На помощь, как обычно, пришел Google и подсказал следующее решение:

VMware vSAN: как к нему подходить и с чего начинать

Статья прислана читателем бложика.

Предисловие

Изначально этот текст представлял собой выборку ссылок и пояснений из подготовленной где-то перед новым, 2022 годом, презентации «почему vSAN нам не очень нужен». В апреле 2022 года старый текст пришлось перечитать, переписать и существенно расширить. По логике надо бы этот текст разбить на четыре части – теория, подготовка развертывания, тестирование, и рабочие моменты, но вряд ли я этим займусь.

Уровень материала: 50-100.

Уровень требуемого английского для чтения: IELTS 3, способность скопировать непонятный текст и вставить в пока еще доступные онлайн переводчики.

Аффтар(ТМ) выражает отдельную благодарность участникам и администрации русского сообщества https://t.me/VMwarevSAN/ за внесенные коррективы, уточнения и огромную подготовительную работу.

Оглавление

Continue reading “VMware vSAN: как к нему подходить и с чего начинать”

Свежие релизы российских СРК и ВД

На этой неделе друг за другом две компании представили новые релизы продуктов на российском рынке систем резервного копирования и восстановления данных.

Компания «Киберпротект» представила Кибер Бэкап 15U2.6:

  • Поддержка Подключаемого модуля аутентификации (PAM-модуля)
  • Поддержка новых операционных систем (ОС)
    • РЕД ОС версии 7.3
    • SUSE Linux Enterprise Server 15
    • ОС Linux с версией ядра 5.0 и выше (до 5.15)
  • Поддержка решения для управления виртуализацией серверов и рабочих станций Ред Виртуализация.

Компания RuBackup представила Rubackup 1.9:

  • Ролевая модель доступа к административным функциям системы резервного копирования. Возможность разграничения доступа для нескольких администраторов единой системы резервного копирования
  • Автоматическая балансировка задач резервного копирования между пулами или медиа-серверами резервного копирования
  • Приоритезация заданий резервного копирования
  • Менеджер администратора RuBackup вынесен в отдельный пакет и может работать на отдельном АРМ
  • Консолидированная отчетность
  • Возможность разрешить или запретить централизованное восстановление, а так же возможность запретить восстановление или инициацию резервного копирования со стороны клиента
  • Автономный режим работы клиента RuBackup
  • Возможность установить минимальный обязательный период хранения любых резервных копий, без возможности их удаления из системы резервного копирования
  • Добавлены модули резервного копирования:
    • Среда виртуализации Aerodisk AIST
    • СУБД PostgreSQL 13
    • СУБД MS SQL
    • СУБД SQLite
    • СУБД Tarantool

PowerShell, SCSILunPath и Datastore Name

Обратился ко мне за советом постоянный читатель: помоги, говорит, с моим iSCSI-массивом NetApp. Пытаюсь вывести Get-SCSILunPath, так там ни имени датастора, ни IP-адреса “таргета” в SanId нет 🙁

Посмотрел – и действительно так: в отличие, например, от Huawei, NetApp не выводит IP-адрес IQN-Target в выводе атрибутов Get-SCSILunPath. Да и привязать CanonicalName вида naa.thebeststoragearray к датастору с первого взгляда не удается…

Continue reading “PowerShell, SCSILunPath и Datastore Name”

PowerShell, REST и Excel

Обнаружили проблему: командлет Get-OrgVdcNetwork почему-то не выводит часть сетей orgVDC. Опытным путем выяснили, что ему не нравятся Shared-сети, то есть сети доступные из нескольких orgVDC.

Для решения проблемы решили воспользоваться REST API от vCloud Director.

А чтобы было не скучно, решили вывод сетей делать сразу в файл Excel, чтобы уменьшить количество ручной работы.

Оригинал PoSH-скрипта я положил на гитхаб, тут его приведу для наглядности (хотя с отступами при копипасте беда).

Скрипту понадобится список vCloud Director’ов в файле vcd_list.txt.

  1. скрипт запрашивает учетные данные для подключения к vCD;
  2. скрипт считывает список vCloud Director’ов из текстового файла;
  3. создает Excel-файл, а на нем одноименный лист по каждому vCD;
  4. заполняет список сетей по vCD на листе;
  5. сохраняет результат в файле orgvdcnet.xlsx

Что стоило бы доделать – проверку на наличие установленного Excel (например, тут – $ExcelApplication = new-object -comobject excel.application). Если Excel нет, то делать вывод в CSV-файлы по старинке…

Как уменьшить размер базы NTDS.DIT в четыре раза

Спойлер – никак.

Как-то мне довелось админить большой домен на несколько тысяч пользователей. После того как база NTDS.DIT выросла до 14ГБ, поднятие нового контроллера домена без использования функционала Install From Media (IFM) стало занимать несколько часов.

Я создал новый тестовый домен, создал в нем сходное количество пользователей, групп и компьютеров. Назначил каждому пользователю картинку на 100к и…

Получил размер базы меньше 1ГБ. Это «Ж-ж-ж» неспроста! – подумал я и обратился в MS Premier Support.

Continue reading “Как уменьшить размер базы NTDS.DIT в четыре раза”