С данными настройками работает в однопоточном режиме, полный сбор данных за 20-25 минут (для выбранного города), в многопоточном режиме бан по ip через некоторое время, в зависимости от частоты запросов, завязано на количество запросов. Для обхода бана нужно указать в settings.py список прокси, в middlewares.py добавлен простой аддон для инжекции прокси в запрос и простейшая функция для ротации. category_all.json - все позиции с дайта для выбранного города, в данном случае: Москва, id, size, retail_price category1365.json - позиции для категории 1365, полный набор полей (я бы собирал именно в таком виде)