Kod Scrapera
Opened this issue · 4 comments
Implementacja modułu uruchomiana i zarządzania scraperami.
Przenalizować możliwości dostępnych bibliotek do scrapowania jak:
- JSoup
- Phantom JS
Zapropoponować rozwiązanie ściagania danych do obiektu eventu.
dodać przykłąd obiektu
zacząłęm robić scraper dla ebilet
Próbuję scrapowania na proanima.pl #31
Przygotowano wstępną wersję modułu scrapera.
Dla aktywacji/deaktywacji scrapera wprowadzono fasadę ScraperFacade. Fasada ScraperLogQueryFacade odpowiada za pobieranie listy bledów/statystyk działania scraperów. Dla klas scrapujących strony wprowadzono PageScraperPort, który musza rozszerzyć i dostarczyć implementację metody scrap. Port dostarcza metod do zapisu błędów lub statystyk działania, zapis i wczytanie znacznika ostatniego przeskanowanego wykorzenia,
Przekazuję do CR.
Do uruchomienia potrzebny jest moduł wydarzeń feature/21-event_module