GAR to PostgreSQL

Скрипты для загрузки и обновления данных ФИАС в формате ГАР

Если вы решитесь использовать эти скрипты, то имейте в виду, что автор - НЕ программист. Скрипты написаны методом велосипеда и костыля. Они подходят для меня и работают так, как нужно мне на моей рабочей системе. Используйте их на свой страх и риск. Если вы найдёте их полезными, я буду рад. Если знаете, как улучшить, или обнаружите косяки, не стесняйтесь написать мне или даже сделать Pull Request.

Системные требования

Скрипт создавался и тестировался на Ubuntu и Windows.
Python 3.^8
Pip sudo apt install python3-pip
Psycopg2 pip3 install psycopg2
lxml pip3 install lxml
PostgreSQL ^10, в котором уже должна быть создана целевая БД
progress pip3 install progress

Порядок действий при первичном импорте ГАР.

1. Загрузить с сайта ФНС:

архив с актуальной версией ГАР (прямая ссылка).
XSD схемы выгрузки БД (прямая ссылка).

2. Разархивировать скачанные архивы

XSD схемы и XML файлы должны быть распакованы в разные директории. Для удобства таблицы в архиве разбиты на директории по субъектам РФ. Скрипт импортирует в БД таблицы, относящиеся только к одному субъекту, поэтому в директорию для XML файлов должны быть извлечены:

папка, соответствующая номеру импортируемого субъекта РФ
все файлы, находящиеся в архиве без директорий, "сверху"

3. Создать в директории со скриптом файл `config.py` и присвоить следующим переменным в нем необходимые значения (все значения - строки)

DB_HOST - адрес БД
DB_PORT - порт
DB_USER - имя пользователя БД
DB_PASSWORD - пароль
DB_NAME - название БД
DB_SCHEMA - название схемы БД
XSD_DIRECTORY - папка с XSD схемами
XML_DIRECTORY - папка с XML таблицами
UPDATE_DIRECTORY - папка, куда скрипт будет скачивать обновления
REGION_CODE - код региона
UPDATE_SERVICE_URL = http://fias.nalog.ru/WebServices/Public/GetAllDownloadFileInfo - URL службы получения обновлений

4. Запустить `index.py` и ждать

Для автоматического обновления БД:

1. Клонировать данный репозиторий на сервер с БД (или иной)

2. Установить необходимые зависимости

3. Присвоить переменным в файле `config.py` необходимые значения

4. В папке `UPDATE_DIRECTORY` предварительно создать файл `currentVersion.txt`,

в котором прописать дату скачанного архива в формате dd.mm.yyyy

5. Прописать в cron ежедневное выполнение скрипта `updateGAR.py`

crontab -e

mm hh * * * /path/to/python/interpreter /path/to/updateGAR.py

Скрипт по очереди сравнивает дату в файле currentVersion.txt с датами доступных обновлений на сайте ФНС и, если появились обновления, скачивает и импортирует их по одному. Перед скачиванием скрипт проверяет, не превышает ли размер обновления 1 ГБ. Если такое случается, скачивание не происходит, вместо этого в лог попадает предупреждение. Такое поведение было реализовано, поскольку имел место случай, когда по ссылке на обновление была доступна полная 27 гигабайтовая версия БД. Так или иначе у пользователя есть возможность скачать обновление вручную и самостоятельно запустить скрипт обновления.

yixellet/fias