- Chapter III
3.1. Генератор файлов
3.2. Засорение файловой системы
3.3. Очистка файловой системы
3.4. Генератор логов
3.5. Мониторинг
3.6. GoAccess
3.7. Prometheus и Grafana
3.8. Готовый дашборд
3.9. Дополнительно. Свой node_exporter
- Написанные Bash-скрипты должны находиться в папке src
- Для каждого задания должна быть создана папка с названием вида: 0x, где x - номер задания
- Все скрипты должны быть декомпозированы и разбиты на несколько файлов
- Файл с основным сценарием для каждого задания должен называться main.sh
- Во всех скриптах должны быть предусмотрены проверки на некорректный ввод (указаны не все параметры, параметры неправильного формата и т.д.)
- Все написанные скрипты нужно запускать на виртуальной машине Ubuntu Server 20.04 LTS
Написать bash-скрипт. Скрипт запускается с 6 параметрами. Пример запуска скрипта:
main.sh /opt/test 4 az 5 az.az 3kb
Параметр 1 - это абсолютный путь.
Параметр 2 - количество вложенных папок.
Параметр 3 - список букв английского алфавита, используемый в названии папок (не более 7 знаков).
Параметр 4 - количество файлов в каждой созданной папке.
Параметр 5 - список букв английского алфавита, используемый в имени файла и расширении (не более 7 знаков для имени, не более 3 знаков для расширения).
Параметр 6 - размер файлов (в килобайтах, но не более 100).
Имена папок и файлов должны состоять только из букв, указанных в параметрах, и использовать каждую из них хотя бы 1 раз.
Длина этой части имени должна быть от 4 знаков, плюс дата запуска скрипта в формате DD.MM.YY, отделённая нижним подчёркиванием, например:
./aaaz_021121/, ./aaazzzz_021121
При этом, если для имени папок или файлов были заданы символы az, то в названии файлов или папок не может быть обратной записи:
./zaaa_021121/, т.е. порядок указанных символов в параметре должен сохраняться.
При запуске скрипта в указанном в параметре 1 месте, должны быть созданы папки и файлы в них с соответствующими именами и размером.
Скрипт должен остановить работу, если в файловой системе (в разделе /) останется 1 Гб свободного места.
Записать лог файл с данными по всем созданным папкам и файлам (полный путь, дата создания, размер для файлов).
Написать bash-скрипт. Скрипт запускается с 3 параметрами. Пример запуска скрипта:
main.sh az az.az 3Mb
Параметр 1 - список букв английского алфавита, используемый в названии папок (не более 7 знаков).
Параметр 2 - список букв английского алфавита, используемый в имени файла и расширении (не более 7 знаков для имени, не более 3 знаков для расширения).
Параметр 3 - размер файла (в Мегабайтах, но не более 100).
Имена папок и файлов должны состоять только из букв, указанных в параметрах, и использовать каждую из них хотя бы 1 раз.
Длина этой части имени должна быть от 5 знаков, плюс дата запуска скрипта в формате DD.MM.YY, отделённая нижним подчёркиванием, например:
./aaaz_021121/, ./aaazzzz_021121
При этом, если для имени папок или файлов были заданы символы az, то в названии файлов или папок не может быть обратной записи:
./zaaa_021121/, т.е. порядок указанных в параметре символов должен сохраняться.
При запуске скрипта, в различных (любых, кроме путей содержащих bin или sbin) местах файловой системы, должны быть созданы папки с файлами.
Количество вложенных папок - до 100. Количество файлов в каждой папке - случайное число (для каждой папки своё).
Скрипт должен остановить работу, когда в файловой системе (в разделе /) останется 1 Гб свободного места.
Свободное место в файловой системе определять командой: df -h /
Записать лог файл с данными по всем созданным папкам и файлам (полный путь, дата создания, размер для файлов).
В конце работы скрипта, вывести на экран время начало работы скрипта, время окончания и общее время его работы. Дополнить этими данными лог файл.
Написать bash-скрипт. Скрипт запускается с 1 параметром. Скрипт должен уметь очистить систему от созданных в Part 2 папок и файлов 3 способами:
- По лог файлу
- По дате и времени создания
- По маске имени (т.е. символы, нижнее подчёркивание и дата).
Способ очистки задается при запуске скрипта, как параметр со значением 1, 2 или 3.
При удалении по дате и времени создания, пользователем вводятся времена начала и конца с точностью до минуты. Удаляются все файлы, созданные в указанном временном промежутке. Ввод может быть реализован как через параметры, так и во время выполнения программы.
Написать bash-скрипт или программу на Си, генерирующий 5 файлов логов nginx в combined формате. Каждый лог должен содержать информацию за 1 день.
За день должно быть сгенерировано случайное число записей от 100 до 1000. Для каждой записи должны случайным образом генерироваться:
- IP (любые корректные, т.е. не должно быть ip вида 999.111.777.777)
- Коды ответа (200, 201, 400, 401, 403, 404, 500, 501, 502, 503)
- Методы (GET, POST, PUT, PATCH, DELETE)
- Даты (в рамках заданного дня лога, должны идти по увеличению)
- URL запроса агента
- Агенты (Mozilla, Google Chrome, Opera, Safari, Internet Explorer, Microsoft Edge, Crawler and bot, Library and net tool)
В комментариях в вашем скрипте/программе указать, что означает каждый из использованных кодов ответа.
Написать bash-скрипт для разбора логов nginx из Части 4 через awk.
Скрипт запускается с 1 параметром, который принимает значение 1, 2, 3 или 4. В зависимости от значения параметра вывести:
- Все записи, отсортированные по коду ответа
- Все уникальные IP, встречающиеся в записях
- Все запросы с ошибками (код ответа - 4хх или 5хх)
- Все уникальные IP, которые встречаются среди ошибочных запросов
С помощью утилиты GoAccess получить ту же информацию, что и в Части 5
Открыть веб интерфейс утилиты на локальной машины.
Добавить на дашборд Grafana отображение ЦПУ, доступной оперативной памяти, свободное место и кол-во операций ввода/вывода на жестком диске
Запустить ваш bash-скрипт из Части 2
Провести те же тесты, что и в Части 7
Написать bash-скрипт или программу на Си, которая собирает информацию по базовым метрикам системы (ЦПУ, оперативная память, жесткий диск (объем)).
Скрипт или программа должна формировать html страничку по формату Prometheus, которую будет отдавать nginx.
Саму страничку обновлять можно как внутри bash-скрипта или программы (в цикле), так и при помощи утилиты cron, но не чаще, чем раз в 3 секунды.