/CRSystem

Community Recommendation System

Primary LanguageJupyter Notebook

CRSystem

Community Recommendation System

Определяем понятия:

Эффективная функция - это функция, основанная на коде VKscript, и способная содержать в себе до 25 запросов.

Ограничение по кол-ву запросов:

С ключом пользователя до 3 запросов в секунду

С ключом сообщества до 20 запросов в секунду

Введем переменные: Left Right - левая правая граница итерации по сообществам

Считаем время выкачки таблицы: сообщество -> колво подписчиков

172 741 352 / 20 / 25(эффективная функция) / 60 / 60 / 24 = 4 дня

Планы на начало:

Получаем данные {сообщество:колво подписчиков} -> фильтруем от "мертвых" групп -> выкачиваем пользователей от групп

"Мёртвая" группа — это группа, разница в которой между датой последнего поста и датой выкачки информации составляет больше 30 суток.

Замечания:

  1. Выкачивать пользователей надо сразу в scipy.spares матрицу, иначе не влезем в память.

  2. Выкачивать с 4 разных компов -> уменьшаем кол-во дней до 1

Задачи

  1. Создать 4 валиндых токена

  2. Подготовить 4 кода под 4 компа ( с разными токенами )

  3. Выкачать данные


  1. Отфильтровать данные

  2. Подготовить код для эффективной выкачки пользователей

  3. Оценить время работы выкачки