Форум vMind.ru

Первый пермский форум по виртуализации
Текущее время: 09 апр 2020, 08:08

Часовой пояс: UTC+05:00




Начать новую тему  Ответить на тему  [ 6 сообщений ] 
Автор Сообщение
 Заголовок сообщения: Производительность дисков.
СообщениеДобавлено: 12 май 2014, 21:40 
Не в сети

Зарегистрирован: 12 май 2014, 21:18
Сообщения: 4
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.
Доброго времени суток!
Имеем платформу Intel SR 2600 urlxr, 24 Gb RAM, RAID 1 - 2x HDD 1Tb SATA и без кеша.

ESXi 5.5

Крутиться 3 виртуалки - 2x Windows Server 2008 R2 и Ubuntu 12.04 LTS.

Сам вмварь и виртуалки лежат на одном массиве.

Иногда (независимо от нагрузки, могут и ночью, могут месяц не появляться а потом сыпятся на протяжении пары дней) появляются ошибки:

Код:
Device naa.600508e0000000005f7ce8b529e7f405 performance has 
improved. I/O latency reduced from 15566 microseconds to 7895
microseconds.
info
12.05.2014 18:31:24

Device naa.600508e0000000005f7ce8b529e7f405 performance has
improved. I/O latency reduced from 79818 microseconds to 15566
microseconds.
info
12.05.2014 18:29:32

Device naa.600508e0000000005f7ce8b529e7f405 performance has
deteriorated. I/O latency increased from average value of 3976
microseconds to 79818 microseconds.
warning
12.05.2014 18:24:30


Один раз значение подскочило до 38 000 000 микросек., но в основном не более 80 000 микросек.

На SAS пока денег нет, но вот кеш на ebay можно купить, спасет ли он меня или проблема кроется глубже?

Подскажите где копать чтоб решить проблему? может дрова?

Какие данные нужны для анализа, все предоставлю!

заранее спасибо!


Вернуться к началу
 Заголовок сообщения: Re: Производительность дисков.
СообщениеДобавлено: 13 май 2014, 01:12 
Не в сети

Зарегистрирован: 08 янв 2011, 22:25
Сообщения: 259
Благодарил (а): 5 раз.
Поблагодарили: 8 раз.
esxtop надо запустить в консоли и посмотреть, что с Latency на хосте и виртуалках.

http://kb.vmware.com/selfservice/micros ... Id=1008205

http://sparrowangelstechnology.blogspot ... orage.html - в картинках с тем куда смотреть

79818 это 79 миллисекунд, в 2 раза выше нормы, но не супер критично. Волноваться надо от 200, но это уже проблемы.


Кто-то генерит много запросов. Надо вычислить - кто.
варианты:
1. Какая-то VM жрет много запросов - дисковых операций (может быть SQL)
2. Один из дисков не очень себя хорошо чувствует (подозрительное падение, как будто один диск вырубает)

Хорошо бы посмотреть что про состояние дисков пишет RAID при входе в управлялку на загрузке, если можно перегрузить хост.


Вернуться к началу
 Заголовок сообщения: Re: Производительность дисков.
СообщениеДобавлено: 13 май 2014, 16:43 
Не в сети

Зарегистрирован: 12 май 2014, 21:18
Сообщения: 4
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.
лог vmkernel

в vmwarning валятся предупреждения

Код:
WARNING: LinScsi: SCSILinuxAbortCommands:1837: Failed, Driver MPT SAS Host, for vmhba1


и иногда встречается
Код:
WARNING: NMP: nmp_DeviceRequestFastDeviceProbe:237: NMP device "naa.600508e0000000005f7ce8b529e7f405" state in doubt; requested fast path state update...


причем эти ошибки сыпались 2 дня (7 и 8 числа) и по сей день больше не встречались...


Вложения:
vmkernel.xlsx [23.4 КБ]
168 скачиваний


Последний раз редактировалось snowsoul 13 май 2014, 17:07, всего редактировалось 4 раза.
Вернуться к началу
 Заголовок сообщения: Re: Производительность дисков.
СообщениеДобавлено: 13 май 2014, 16:57 
Не в сети

Зарегистрирован: 12 май 2014, 21:18
Сообщения: 4
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.
philzy писал(а):
esxtop надо запустить в консоли и посмотреть, что с Latency на хосте и виртуалках.

http://kb.vmware.com/selfservice/micros ... Id=1008205

http://sparrowangelstechnology.blogspot ... orage.html - в картинках с тем куда смотреть

79818 это 79 миллисекунд, в 2 раза выше нормы, но не супер критично. Волноваться надо от 200, но это уже проблемы.


Кто-то генерит много запросов. Надо вычислить - кто.
варианты:
1. Какая-то VM жрет много запросов - дисковых операций (может быть SQL)
2. Один из дисков не очень себя хорошо чувствует (подозрительное падение, как будто один диск вырубает)

Хорошо бы посмотреть что про состояние дисков пишет RAID при входе в управлялку на загрузке, если можно перегрузить хост.


Спасибо за ответ!

По консоли ничего криминального не увидел, поэтому снял снапшот через vm-support в течение часа, ошибки захватил этим интервалом, смотрю:

/var/log/vmkernel - видим наши ошибки

Код:
2014-05-13T02:51:14.738Z cpu15:32812)WARNING: ScsiDeviceIO: 1223: Device naa.600508e0000000005f7ce8b529e7f405 performance has deteriorated. I/O latency increased from average value of 4186 microseconds to 85653 microseconds.
2014-05-13T02:52:59.763Z cpu11:532257)ScsiDeviceIO: 1203: Device naa.600508e0000000005f7ce8b529e7f405 performance has improved. I/O latency reduced from 85653 microseconds to 16877 microseconds.


Еще встречаются (группой):
Код:
13.05.2014 03:33:08   cpu1:32791)ScsiDeviceIO: 2337: Cmd(0x412e8040d5c0) 0x85, CmdSN 0x3b7 from world 34646 to dev "naa.600508e0000000005f7ce8b529e7f405" failed H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x0 0x0.
13.05.2014 03:33:08   cpu1:32791)ScsiDeviceIO: 2337: Cmd(0x412e8040d5c0) 0x4d, CmdSN 0x3b8 from world 34646 to dev "naa.600508e0000000005f7ce8b529e7f405" failed H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x0 0x0.
13.05.2014 03:33:08   cpu1:32791)ScsiDeviceIO: 2337: Cmd(0x412e8040d5c0) 0x1a, CmdSN 0x3b9 from world 34646 to dev "naa.600508e0000000005f7ce8b529e7f405" failed H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x24 0x0.
13.05.2014 03:36:34   cpu5:34520)NMP: nmp_ThrottleLogForDevice:2321: Cmd 0x12 (0x412e83702140, 0) to dev "naa.600508e0000000005f7ce8b529e7f405" on path "vmhba1:C1:T0:L0" Failed: H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x0 0x0. Act:NONE
13.05.2014 03:41:34   cpu6:32784)NMP: nmp_ThrottleLogForDevice:2321: Cmd 0x12 (0x412e82544640, 0) to dev "naa.600508e0000000005f7ce8b529e7f405" on path "vmhba1:C1:T0:L0" Failed: H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x0 0x0. Act:NONE
13.05.2014 03:46:34   cpu7:32839)NMP: nmp_ThrottleLogForDevice:2321: Cmd 0x12 (0x412e803c0800, 0) to dev "naa.600508e0000000005f7ce8b529e7f405" on path "vmhba1:C1:T0:L0" Failed: H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x0 0x0. Act:NONE
13.05.2014 03:51:34   cpu2:1597944)NMP: nmp_ThrottleLogForDevice:2321: Cmd 0x12 (0x412e82d425c0, 0) to dev "naa.600508e0000000005f7ce8b529e7f405" on path "vmhba1:C1:T0:L0" Failed: H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x0 0x0. Act:NONE
13.05.2014 03:56:34   cpu7:32839)NMP: nmp_ThrottleLogForDevice:2321: Cmd 0x12 (0x412e803d3640, 0) to dev "naa.600508e0000000005f7ce8b529e7f405" on path "vmhba1:C1:T0:L0" Failed: H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x0 0x0. Act:NONE
13.05.2014 04:01:34   cpu3:33440)NMP: nmp_ThrottleLogForDevice:2321: Cmd 0x12 (0x412e8041eac0, 0) to dev "naa.600508e0000000005f7ce8b529e7f405" on path "vmhba1:C1:T0:L0" Failed: H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x0 0x0. Act:NONE
13.05.2014 04:03:08   cpu6:519050)NMP: nmp_ThrottleLogForDevice:2321: Cmd 0x85 (0x412e82b28200, 34646) to dev "naa.600508e0000000005f7ce8b529e7f405" on path "vmhba1:C1:T0:L0" Failed: H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x0 0x0. Act:NONE


нашел что-то по этой ошибке (RAID контроллер LSI SAS1078 C2), говорят можно "забить" на нее, ищу дальше....


Вернуться к началу
 Заголовок сообщения: Re: Производительность дисков.
СообщениеДобавлено: 14 май 2014, 11:54 
Не в сети

Зарегистрирован: 12 май 2014, 21:18
Сообщения: 4
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.
поставил на флешку ESXi 5.5 U1 где заявлена полная поддержка моего LSI 1078 SAS SATA.

сегодня увидел что ночью

Код:
Device naa.600508e0000000005f7ce8b529e7f405 performance has deteriorated. I/O latency increased from average value of 9041 microseconds to 6001351 microseconds. warning 14.05.2014 3:38:02 


6 секунд!!!! :ny_tik:


Вернуться к началу
 Заголовок сообщения: Re: Производительность дисков.
СообщениеДобавлено: 14 май 2014, 13:45 
Не в сети
Модератор

Зарегистрирован: 11 янв 2011, 12:54
Сообщения: 350
Благодарил (а): 2 раз.
Поблагодарили: 35 раз.
Откуда: Пермь
Советую почитать наш форум подробнее
viewtopic.php?f=1&t=190
http://kb.vmware.com/kb/1030265
Но, скорее всего, просто не хватает производительности. Купите кэш.


Вернуться к началу
Показать сообщения за:  Поле сортировки  
Начать новую тему  Ответить на тему  [ 6 сообщений ] 

Часовой пояс: UTC+05:00


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 3 гостя


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Создано на основе phpBB® Forum Software © phpBB Limited
Русская поддержка phpBB