Для выполнения требуется наличие Mac/Linux с установленным Docker.
- Написать конфигурацию Logstash для загрузки данных в ElasticSearch.
- Построить отчет в Kibana на основе этих данных.
- Склонируйте репозиторий в директорию
elk_demo - Зайдите в эту директорию и разверните инфраструктуру, выполнив в терминале
docker-compose up - Отредактируйте файл
clickstream.conf - Загрузите данные веб-логов, выполнив команду
./load_data.sh - Перейдите по адресу http://localhost:5601 и создайте отчет (dashboard), показывающий распределение запросов с разными кодами ответов (status_code) по времени
- Пример конфигурации можно подсмотреть здесь - https://dzone.com/articles/logstash-elasticsearch-and
- Для добавления данных в Kibana нужно сначала создать Index Pattern, по которому будут подгружаться индексы из ES
Упражнение разработано в рамках курса OTUS / Data Engineer