/NeuralMorphemeSegmentation

Code for AINL2018 paper Deep Convolutional Networks for Supervised Morpheme Segmentation of Russian Language

Primary LanguagePython

Python 3.6

Разбиение на морфемы с помощью нейронных сетей

Репозиторий содержит нейронную модель для автоматического деления на морфемы, обученную на подвыборке, взятой из морфологического словаря А. Н. Тихонова. Статья с описанием модели содержится по ссылке.

Чтобы протестировать обученную модель на тестовой подвыборке, запустите

python neural_morph_segm.py config/morph_config_load.py

Чтобы повторить обучение модели, запустите

python neural_morph_segm.py config/morph_config.py

Структура репозитория

  • Articles: статьи, использующие код из реепозитория.
  • сonfig: конфигурационные файлы.
  • data: обучающая и контрольная выборка (случайное разбиение морфологического словаря А. Н. Тихонова).
  • models: сохранённые модели.
  • neural_morph_segm.py: основной файл с кодом модели.
  • read.py: чтение входных данных.
  • tabled_trie.py: вспомогательные манипуляции с префиксным бором.

Зависимости

  • python3
  • keras
  • theano или tensorflow
  • numpy