robot-lab/judyst-web-crawler

Прикрутить json streamer

navolotsky opened this issue · 1 comments

Code maintenance request

Опишите проблему, которая приводит к необходимости этих изменений

При сборке редакций кодексов накапливаются большие объемы данных. Настолько большие, что считать их в память за раз невозможно. Нужно обрабатывать json потоково.

Возможно, в будущем это не потребуется. Пока что заменил запись в json файл на запись отдельными строками в json корректном формате.