/news_buddy

News agregating and storing app

Primary LanguagePython

News buddy --> from time to time live at @newsbuddy

Персональный помошник в мире российского новостного потока. Может присылать последние новости по клику, аггрегировать хабр, скоро будут красивые инфо дашборды и суммаризация

Стек

  • python3.8 - universal glue
  • PostgreSQL + psycopg2 - хранение данных
  • Docker + docker-compose - контейнеризация для простоты разработки и деплоя
  • airflow - Extraction + Load
  • Telegram Bot API - удобная апишка для бота
  • loguru - удобное логирование

Как запустить ?

  • git clone https://github.com/mvrck96/news_buddy.git && cd news_buddy
  • cp example.env .env
    • Вставить свой токен в .env
  • sudo docker-compose up

example.env

  • Все переменные которые начинаются с _ это НЕ системные переменные
  • Остальные где-то используются, например в докере для поднятия постгри

TODO:

  • Убрать нахождение keywords в airflow
    • Так надо сделать для того, чтобы в streamlit не было никаких тяжелых вычислений
  • Попытаться ускорить процесс вычисление keyqords для каждого источника
  • Добавить сбор новостей для хабра с помощью запросов
  • Убрать подписочные новости из парсинга rbc.ru
  • Добавить выбор хабов через .env для создания дайджестов