Пакет содержит набор классов, которые умеют выделать предложения из текста (сегментация) и разбивать предложения на слова (токенизация) с учетом многословных единиц текста типа "из-за" или "какой-то".
Код рассчитан на быстрое прототипирование NLP приложений, допуская простую кастомизацию алгоритма токенизации путем модификации исходного текста. Разумеется, скорость работы данного токенизатора меньше, чем вариантов на C++.
Код написан для Питона 2й и 3й ветки, работает в Windows и Linux.
Наберите в консоли, возможно потребуется sudo:
pip install git+https://github.com/Koziev/rutokenizer
В комплект входят "батарейки" - файлы данных с правилами для многословных элементов, получаемых из Грамматического Словаря.
Для токенизации необходимо создать экземпляр класса rutokenizer.Tokenizer, вызвать у него метод load() для загрузки словарной информации, необходимой для правильной работы с многословными единицами. Далее нужно вызывать метод tokenize, передавая ему юникодную строку предложения и получая список слов.
Если кроме текстового содержания слов нужны их посимвольные позиции в исходной строке, то надо использовать метод tokenize2. Он вернет кортежи (слово, позиция_начала, позиция_конца+1).
Токенизация предложения:
import rutokenizer
t = rutokenizer.Tokenizer()
t.load()
t.tokenize(u'Я-то из-за угла вышел.')
for t in t.tokenize(u'Я-то из-за угла вышел.'):
print(u'{}'.format(t)
Результат работы:
Я
-
то
из-за
угла
вышел
.