Provadis Scraper

Dieses Projekt scrapt Dateien von der Provadis Coach Website und speichert sie lokal. Es unterstützt sowohl lokale Ausführung als auch die Ausführung in einem Docker-Container.

Installation mit Python (keine Git-Integration)

Für Docker, Installation mit Docker

Voraussetzungen

Python 3.6+
Git
Microsoft Edge oder Firefox muss auf dem System installiert sein

Virtuelle Umgebung einrichten

Navigieren Sie zum Projektverzeichnis:
```
cd /path/to/your/project
```
Erstellen Sie eine virtuelle Umgebung:
```
python3 -m venv venv
```
Aktivieren Sie die virtuelle Umgebung:
- Auf Linux/MacOS:
```
source venv/bin/activate
```
- Auf Windows:
```
.\venv\Scripts\activate
```
Installieren Sie die Python-Pakete:
```
pip install -r requirements.txt
```

Erstellen Sie eine .env Datei mit Email und Passwort:

EMAIL=your_email@example.com
PASSWORD=your_password

Ein Ordner mit dem Namen "Provadis-Coach-Mirror" muss einen Ordner "über" dem sein, in dem das Script ausgeführt wird. Beispielhafte Ordnerstruktur:

Dokumente
├── Provadis-Coach-Mirror
└── Provadis-Scraper
    ├── main.py
    ├── docker_main.py
    ├── download_files.py
    ├── scraper.py
    ├── utils.py
    ├── requirements.txt
    └── README.md

Ausführung

Für die normale Ausführung, folgen Sie den untenstehenden Schritten:

python main.py [Anzahl_der_Dateien] [headless] [browser]

Beispiel:

python main.py 1500 True firefox

Docker-Setup

Docker Voraussetzungen Docker installiert auf dem System

Docker-Konfiguration

Erstellen oder aktualisieren Sie die .env Datei im Projektverzeichnis mit den folgenden Inhalten:

EMAIL=your_email@example.com
PASSWORD=your_password
GIT_USERNAME=your_github_username
GIT_PAT=your_personal_access_token
GIT_REPO=your_repository_url

Für die Variable GIT_PAT müssen Sie einen PAT generieren.

Docker-Container erstellen und ausführen

Bauen Sie das Docker-Image:

docker build -t provadis-scraper .

Führen Sie den Docker-Container aus:

docker run -d --name provadis-scraper-container provadis-scraper

Der Scraper wird alle 10 Minuten ausgeführt und synchronisiert die Dateien mit Ihrem Git-Repository.