/XMAS_Hack_2023_case1

XMAS Hackathon 2023

Primary LanguageRGNU General Public License v3.0GPL-3.0

Разведочный анализ данных с Wi-Fi роутеров о перемещениях пользовательских устройств по городу

Debian ClickHouse YandexCloud R Python

https://i2z1.github.io/XMAS_Hack_2023_case1/

Стек технологий:

  • Debian
  • ClickHouse
  • YandexCloud
  • R (tidyverse, ggplot2)
  • Python (osmnx, networkx, numpy)

Исходные данные:

  1. Справочник расположения WiFi роутеров.
  2. Граф улично-дорожной сети (набор дуг и узлов).
  3. Набор данных за год (с выбросами, пропусками).

Подготовка к работе с данными

  • Импорт данных
rd_network <- readr::read_csv2("data/road_network.csv")
routers <- readr::read_csv2("data/wifi_routers.csv")
  • Анализ данных и исключение данных с пропущенными значениями

Размещение данных в СУБД на виртуальном сервере

  • На базе YandexCloud был создан виртаульный сервер Debian
  • Импорт данных с ЯндексДиска при помощи wget
  • Установка ClickHouse на виртуальный сервер
  • Загрузка данных в ClickHouse cat $(ls | grep wifi_logs_.*.csv) | tr ';' ',' | tr -d '"' | clickhouse-client

Проведение разведочного анализа данных

  • Проанализированы изменения дорожно-транспортной ситуации скорости движения в течении дня на основе перемещений между роутерами

Утро

Полдень

Вечер

Определены зоны с низким потоком трафика

Составление матрицы перемещений

  • Матрица передвижений по городу


Визуализация данных

  • Построена тепловая карта наиболее используемых роутеров

Предоставление комментариев

В ходе проведённой работы были выроботаны рекомендации относительно эффективного расположения роутеров

  • Необходимо переместить роутеры с низкой проходимостью


Авторы решения - Команда DSFans