/judyst-web-crawler

Component for crawling judical decisions.

Primary LanguagePythonApache License 2.0Apache-2.0

Web Crawler

Установка

  1. Установить whl файл

Использование

Перед работой с модулем желательно выполнить инициализацию модуля источником данных. Источником данных может являться любой объект, следующий интерфейсу web_crawler.DataSource

Следующий код показывает, как инициализировать web_crawler для работы с базой данных. "точкой соединения" с базой данных является объект ModelData

from web_crawler import Init_by_data_model
from data import ModelData
model = ModelData()
Init_by_data_model(databaseSource = model)
...

Если Вы хотит просто использовать web_crawler для извлечения данных из базы данных, Вам не обязательно инициализировать весь модуль. Можно инициализировать только ресурс базы данных, это можно сделать так:

from web_crawler import DatabaseWrapper
from data import ModelData
model = ModelData()
source = DatabaseWrapper("name", model)
source.get_data("КСРФ/2483-О/2018")
...