Например, сервис Grafana может быть отключен от Elasticsearch.

На сайте Grafana в меню Configuration перейдите на вкладку «Data sources». В списке записей выберите источник данных RX-log. В открывшемся окне нажмите на кнопку Test. Если соединение сервиса Grafana с Elasticsearch установлено, то появится сообщение с зеленым индикатором:

Если текст сообщения и цвет индикатора отличаются, то перезапустите сервисы решения. Для этого выполните команду:

./do.sh monitoring up

На сервере с установленными компонентами Logstash проверьте, что запущен контейнер log01. Для этого выполните команду:

docker ps -a

Если контейнер log01 работает некорректно, то у него:

•в столбце STATUS отображается время больше минуты и отличается от времени в столбце CREATED;

•в столбце STATUS отображается не время. Например, статус «Restarting».

Проанализируйте лог-файлы Logstash. Подробнее про анализ лог-файлов см. в документации Docker статью docker logs.

Если контейнер остановлен или не отображается в списке, то перезапустите сервисы решения:

./do.sh monitoring up

Проверьте, что запущена служба Filebeat. Для этого перейдите на сервер с установленными компонентами Filebeat и в диспетчере задач проверьте состояние сервиса. Если он остановлен, то запустите его. Проанализируйте лог-файлы Filebeat.

После обновления решения поисковая система Elasticsearch может содержать большое число индексов. В таком случае количество экземпляров Lucene (shards) достигает порогового значения. Тогда в лог-файлах Logstash фиксируется ошибка «Validation Failed: this action would add [3] shards, but this cluster currently has maximum normal shards open», и на дашбордах решения данные не отображаются.

Чтобы устранить неисправность, уменьшите количество shards. Для этого удалите старые индексы, а затем выполните настройку:

•если поисковая система Elasticsearch используется в решении «Мониторинг системы Directum RX» или имеет один узел кластера, то на странице Kibana в редакторе шаблонов индексов rx-log и rx-healthcheck в параметре number_of_shards измените значение на 1. В результате настройка применяется только для новых индексов;

•если поисковая система установлена не из дистрибутива решения «Мониторинг системы Directum RX», то в конфигурационном файле Elasticsearch измените ограничение в параметре cluster.max_shards_per_node. Подробнее см. в документации Elasticsearch статью Troubleshooting shards capacity health issues.

Расследование инцидентов

Устранение неисправностей