/ufa_news

Сбор RSS feed региональных новостей, сортировка статей на категории с использованием нейронных сетей, отображение материалов в соответствующих разделах.

Primary LanguageRuby

Ufa news

(https://ufanews.herokuapp.com)

Приложение проводит сбор RSS feed региональных новостных веб-сайтов, определяет тематику статей с помощью нейронных сетей:

  • Support Vector Machine — SVM (gem 'libsvm');
  • Fast Artificial Neural — FANN (gem 'ruby-fann').

Качество классификации: 86,91% (SVM); 63,64% (FANN).

Сохраняются для отображения статьи, соответствующие следующим категориям:

  • «Дорожно-транспортные происшествия»;
  • «Спорт»;
  • «Власть».

Скриншот веб-сайта

Используемые RSS-источники:

Содержание папок:

  • 1_analyze (обучение нейросетей):
    • собранные новостные статьи;
    • анализ частот появления слов;
    • списки ключевых слов;
    • обучение нейросетей и тестирование их работы.
  • 2_rails_project/ufa_news (rails-приложение).

Запуск rake task для обновления базы данных статей:

$ rails scrape

Модуль TextProcessable предназначен для нормализации текстового содержания анализируемых статей.

Классы SVMRecognizer и FANNRecognizer — классы обученных нейронных сетей SVM и FANN соответственно.


Ruby 2.6.3; Rails 5.2.4