0niel/university-app

Нестабильная работа системы новостей

d3adwolf opened this issue · 6 comments

d3adwolf commented

Введение в проблему "Дублирование постов в новостях":
Почему-то новость за 30 апреля дублируется у меня два раза, раньше вроде такого не замечал, но что есть, то есть. А вот лекции от КРОКа были классными.

Смартфон:

  • Девайс: iPhone XS Max
  • OS: 15.4.1
  • Версия: 1.2.1
d3adwolf commented

UPD: Сейчас решил проверить, вообще дичь, какая-то аномально ненормальная работа системы новостей.

Dragonprod commented

@d3adwolf, Странное поведение, при перезаходе такой же результат?

d3adwolf commented

@d3adwolf, Странное поведение, при перезаходе такой же результат?

Сейчас нормально, если учитывать, что приложение я закрыл, а не свернул, но такое поведение наблюдал не раз, в будущем постараюсь понять из-за какой причины это всё творится.

Dragonprod commented

@d3adwolf, Странное поведение, при перезаходе такой же результат?

Сейчас нормально, если учитывать, что приложение я закрыл, а не свернул, но такое поведение наблюдал не раз, в будущем постараюсь понять из-за какой причины это всё творится.

Дубликаты нашли и оперативно удалили, ошибку будем искать. Спасибо.

0niel commented

Такое поведение возникает из-за редактирования новостных постов на сайте mirea.ru. Мы парсим новости с официального сайта в нашу систему управления контента, так как это:

  1. Будет работать быстрее, нежели если мы будем парсить новости прямо на стороне клиента
  2. Позволяет фильтровать новости по тегам и сортировать по дате
  3. Позволяет кешировать и оптимизировать изображения и прочий контент, который содержится в новостях

Новые новостные посты мы проверяем с помощью парсера https://github.com/mirea-ninja/rtu-mirea-news-parser, сравнивая содержимое новостей на схожесть. Если новость отличается от сохранённых, то мы добавляем её в CMS. Нет другого способа для идентификации новостей. На сайте не пишут точную дату и время публикации (только дату), не пишут автора, нет никакого ID новости, а в slug используется транслитерированный заголовок.

Если содержимое новости после редактирования сильно меняется, то появляются такие дубликаты.

Надеемся, что нам вскоре удастся получить API новостей официального сайта, ибо это избавит нас от многих глупых проблем. Мы ведём работу в этом направлении.

0niel commented

Должно быть исправлено в mirea-ninja/rtu-mirea-news-parser@0ec9952