/newsviz

Project on text topics evolution over time analysis

Primary LanguagePythonGNU General Public License v3.0GPL-3.0

LOGO

Часть инициативы ML4SG от ods.ai

english version

Что здесь происходит

Мы делаем инструмент для исследования развития со временем тем в текстах. Основной целевой набор текстов - русскоязычные новости, но методика и сам инструмент подходят для произвольного набора текстов. (Проект переехал отсюда)

Концепт такой: Preview2

Ответы на все вопросы первым делом искать тут:

https://github.com/newsviz/newsviz/wiki
И вот тут ./docs/

Документация по основному коду – ./docs/first_run.md
Самая свежая версия всегда в ветке stage

Структура репозитория

├── config
│    └─ config.ini -- директория для конфигов
│
├── docs
│    └─ first_run.md -- как запустить `pipeline.py` и немного о визуализации
│
├── newsviz -- собственно основной код
│    ├── search
│    │    └── engine.py
│    │
│    ├── stopwords
│    │    ├── sw_en.txt
│    │    └── sw_ru.txt
│    │
│    ├── visualizer -- здесь будет лежать стандартный визуализатор
│    │    ├── app.py
│    │    ├── readme.md
│    │    ├── st_app.py
│    │    ├── st_app_functions.py
│    │    └── utils.py
│    │
│    ├── init_proj.py
│    ├── learning_frontend.py
│    ├── pipeline.py -- основной скрипт со всеми luigi тасками
│    ├── preprocessing_tools.py -- скрипты препроцессинга
│    └── topic_model.py -- обёртка для тематической модели
│
├── scripts -- запуск с помощью docker
│    ├── build.sh -- для сборки контейнера
│    ├── clear.sh -- для удаления всех промежуточных данных, моделей и прочих артефактов. Скачанные данные останутся
│    ├── download_data.sh -- для скачивания исходных непроцессированных данных
│    ├── jupyter.sh -- запуск jupyter `make_news_viz_classifier.ipynb`
│    ├── pipeline.sh -- для препроцессинга данных, обучения моделей и подготовки данных для визуализации
│    ├── pre-commit.sh -- запуск pre-commit
│    └── viz.sh --  для запуска контейнера с визуализацией, доступ по ссылке http://0.0.0.0:8080
│
├── templates
│    └── make_tm.py
│
├── tests
│    └── preprocesing_tools_tests.py

Requirements

Python 3.6+

Contributing (Как участвовать в проекте)

См. contributing

Чем вы можете помочь

  1. Посмотрите issues -- там должны быть расписаны актуальные задачи.
  2. Помогите нам дополнить документацию и помочь другим разобраться в проекте.
  3. Если ничего не понятно -- задайте вопросы, это приветствуется.

Родственные проекты

Big Data Indicators Семантические сдвиги в русских новостях

English version

What's going on here

We are making a tool for researching the development of topics in the texts over the time. The main target set of texts is Russian language news, but the methodology and the tool itself are suitable for an arbitrary set of texts. (The project has moved from here)

The concept is this:

Preview2

Look for answers to all questions here:

https://github.com/newsviz/newsviz/wiki
And here ./docs/
Main code documentation ./docs/first_run.md
stage branch is always more actual, but not stable

Repository structure

├── config
│    └─ config.ini -- directory for configs
│
├── docs
│    └─ first_run.md -- how to run `pipeline.py` & little bit about visualisation
│
├── newsviz -- the actual main code
│    ├── search
│    │    └── engine.py
│    │
│    ├── stopwords
│    │    ├── sw_en.txt
│    │    └── sw_ru.txt
│    │
│    ├── visualizer -- the standard visualizer will be here
│    │    ├── app.py
│    │    ├── readme.md
│    │    ├── st_app.py
│    │    ├── st_app_functions.py
│    │    └── utils.py
│    │
│    ├── init_proj.py
│    ├── learning_frontend.py
│    ├── pipeline.py -- main script with all luigi tasks
│    ├── preprocessing_tools.py -- preprocessing scripts
│    └── topic_model.py -- wrapper for topic model
│
├── scripts -- run with docker
│    ├── build.sh -- to build docker container
│    ├── clear.sh -- to delete all intermediate data, models and other artifacts. Raw data will percist
│    ├── download_data.sh -- to download raw data
│    ├── jupyter.sh -- run jupyter `make_news_viz_classifier.ipynb`
│    ├── pipeline.sh -- to preprocess data, train model and prepare data for visualization
│    ├── pre-commit.sh -- run pre-commit
│    └── viz.sh -- to run docker container with visualization, access via http://0.0.0.0:8080
│
├── templates
│    └── make_tm.py
│
├── tests
│    └── preprocesing_tools_tests.py

Requirements

Python 3.6+

Contributing (How to participate in the project)

See contributing

How can you help

  1. Look at the issues - actual tasks should be scheduled there.
  2. Help us complete the documentation and help others understand the project.
  3. If nothing is clear - ask questions, this is encouraged.

Related projects

Big Data Indicators Semantic shifts in russian news

Contributions

В алфавитном порядке (in alphabet order).

Здесь могло быть ваше имя (your name could be here).