/elk_demo

Упражнение для знакомства с ELK-стеком (ElasticSearch/Logstash/Kibana)

Primary LanguageShell

ELK Demo

Для выполнения требуется наличие Mac/Linux с установленным Docker.

Что нужно сделать

  1. Написать конфигурацию Logstash для загрузки данных в ElasticSearch.
  2. Построить отчет в Kibana на основе этих данных.

Инструкция

  1. Склонируйте репозиторий в директорию elk_demo
  2. Зайдите в эту директорию и разверните инфраструктуру, выполнив в терминале docker-compose up
  3. Отредактируйте файл clickstream.conf
  4. Загрузите данные веб-логов, выполнив команду ./load_data.sh
  5. Перейдите по адресу http://localhost:5601 и создайте отчет (dashboard), показывающий распределение запросов с разными кодами ответов (status_code) по времени

Подсказки

  • Пример конфигурации можно подсмотреть здесь - https://dzone.com/articles/logstash-elasticsearch-and
  • Для добавления данных в Kibana нужно сначала создать Index Pattern, по которому будут подгружаться индексы из ES

Упражнение разработано в рамках курса OTUS / Data Engineer