У нас неожиданно стал прекращать работать VCSA, а конкретно сервис VPXD.
Стартнёшь ручонками – работает то десяток часов, то 20 минут. Из warning’ов – мало места для базы данных (List of VMDKs/Partitions for a vCenter Server Appliance 6.7 – Size Mount point and Purpose (70625)). VAMI показывает, что места в SEAT занято 90%. Также не работает Update Manager даже при запущенном VPXD. Все логи vpxd.log перебрали – ничего не заметили, как будто штатный останов.
Написали в техподдержку – те попросили логи собрать, а как их соберёшь, если vCenter то потухнет, то погаснет. Кое-как собрали через VAMI, да и те оказались не полные, пришлось ручонками скопировать с помощью WinSCP папку логов VPXD.
Поддержка логи смотрела внимательнее и нашла:
|
1 2 3 |
2019-08-27T06:50:34.343Z error vpxd[102197] [Originator@6876 sub=vpxdVdb] Shutting down the VC as there is not enough free space for the Database(used: 95%; threshold: 95%). 2019-08-27T06:50:34.343Z info vpxd[102197] [Originator@6876 sub=Default] Initiating VMware VirtualCenter shutdown 2019-08-27T06:50:35.412Z error vpxd[102111] [Originator@6876 sub=vpxdVdb] Insufficient free space for the Database (used: 95%; threshold: 95%) |
Действительно, места не хватает и VPXD сам себя отправляет отдыхать. Описание поведения vCenter есть КБ-шечке “Shutting down the VC as there is not enough free space for the Database” error (67017). Вот только она про /storage/db, а про /storage/seat умалчивает.
Добавили место у диска SEAT по инструкции Increasing the disk space for the VMware vCenter Server Appliance in vSphere 6.5 and 6.7 (2145603). Перезагрузили VCSA и всё заработало.
P.S. Так и не понял – с каких пор 90%=>95%?
P.P.S. Андрей подсказал откуда разница в процентах (данные после увеличения диска):
Вывод в VAMI: seat Total space 54.0 GB Used space 32.4 GB Available space 21.6 GB 60.1% of 54.0 GB
Вывод в df -h: /dev/mapper/seat_vg-seat 55G 33G 19G 64% /storage/seat
tune2fs -m0 /dev/mapper/seat_vg-seat
2Андрей
# tune2fs -l /dev/mapper/seat_vg-seat
tune2fs 1.42.13 (17-May-2015))
Filesystem volume name:
Last mounted on: /storage/seat
Filesystem UUID: 26b01592-243d-49e7-9ef3-ec626459c472
Filesystem magic number: 0xEF53
Filesystem revision #: 1 (dynamic)
Filesystem features: has_journal ext_attr resize_inode dir_index filetype n eeds_recovery extent flex_bg sparse_super large_file huge_file uninit_bg dir_nli nk extra_isize
Filesystem flags: signed_directory_hash
Default mount options: user_xattr acl
Filesystem state: clean
Errors behavior: Continue
Filesystem OS type: Linux
Inode count: 3604480
Block count: 14415872
Reserved block count: 663051
Free blocks: 6061174
Free inodes: 3600029
First block: 0
Block size: 4096
Fragment size: 4096
Reserved GDT blocks: 1020
Blocks per group: 32768
Fragments per group: 32768
Inodes per group: 8192
Inode blocks per group: 512
RAID stride: 32659
Flex block group size: 16
Filesystem created: Thu May 17 09:19:56 2018
Last mount time: Tue Aug 27 08:17:02 2019
Last write time: Tue Aug 27 08:17:02 2019
Mount count: 19
Maximum mount count: -1
Last checked: Mon Jan 21 06:03:41 2019
Check interval: 0 (
Lifetime writes: 5646 GB
Reserved blocks uid: 0 (user root)
Reserved blocks gid: 0 (group root)
First inode: 11
Inode size: 256
Required extra isize: 28
Desired extra isize: 28
Journal inode: 8
Default directory hash: half_md4
Directory Hash Seed: 786b52f9-aa20-4f14-9cba-30b88ac87847
Journal backup: inode blocks