BookTransformers
Descriptions and links providing for trained BookTransformers
Encoder модели для текстов на русском языке. Модели предназначены для получения эмбеддингов, дообучения линейных моделей поверх эмбеддингов для классификации. Особенность моделей: обучение на корпусе книг 230 Гб
Usage
Finetuning
Embeddings extraction
Training text example:
"Несколько помощников в просторных белых блузах добавляли щепотки размолотых минералов и сухих трав в кипящие реторты, стоящие на металлических полках. Никто не обратил на него внимания. Филп откашлялся и позвал Нобера. Разъяренный врачеватель метнул на него уничтожающий взгляд и проворчал: - Опять вы! Вы же видите, я занят! Отсутствующий вид и угрюмый тон Оана были профилактическими мерами удивительной эффективности: человек, который был им однажды поставлен на ноги, старался больше не попадать ему в руки. Встревоженные помощники разом повернули головы в сторону гостя. - Я зашел узнать, как чувствует себя Афикит Алексу, - сказал Филп. - Мудрецы директории дали мне разрешение… Обещаю, что потом перестану злоупотреблять вашей благосклонностью: утром я начинаю трехдневную медитацию перед посвящением в рыцари… "
Papers on models:
- https://arxiv.org/abs/1810.04805 (BERT)
- https://arxiv.org/abs/1909.11942 (ALBERT)
- https://arxiv.org/abs/2007.14062 (BigBird)
Model repositories: