- Identifiziert und isoliert die Skripte für den "Fotograf.de"-Scraper und den Google Docs-Listengenerator. - Verschiebt die zugehörigen Dateien in ein neues Archivverzeichnis (), um sie von den aktiven Projekten zu trennen. - Fügt -Dateien mit Dokumentation zur Ausführung und den Abhängigkeiten für jedes der archivierten Projekte hinzu.
1.7 KiB
1.7 KiB
Fotograf.de Scraper (Archiviert)
Dieses Verzeichnis enthält die archivierten Dateien für den "Fotograf.de Scraper".
Zweck:
Ein Python-basiertes Tool, das die Website app.fotograf.de automatisiert besucht, sich anmeldet und in zwei Modi Daten extrahiert:
- E-Mail-Liste erstellen: Sammelt Kontaktdaten und speichert sie in einer CSV-Datei (
supermailer_fertige_liste.csv). - Statistik auswerten: Erstellt eine Statistik-CSV-Datei (
job_statistik.csv).
Zugehörige Dateien in diesem Ordner:
scrape_fotograf.py: Das Hauptskript mit der gesamten Logik.
Manuell zu erstellende Dateien:
fotograf_credentials.json: Diese Datei wird vom Skript benötigt und muss die Login-Daten fürapp.fotograf.deim folgenden JSON-Format enthalten:{ "PROFILNAME": { "username": "IHR_BENUTZERNAME", "password": "IHR_PASSWORT" } }
Externe Abhängigkeiten (befinden sich im Hauptverzeichnis des Projekts):
- Dockerfile:
Dockerfile.brancheneinstufungwurde wahrscheinlich verwendet, um ein Docker-Image für dieses Tool zu erstellen. Es installiert Google Chrome und die notwendigen Python-Pakete. - Python-Abhängigkeiten: Die globale
requirements.txtim Root-Verzeichnis enthältseleniumund andere benötigte Bibliotheken.
Beispielhafter docker run-Befehl:
- Bauen Sie das Image (nur einmalig):
docker build -f Dockerfile.brancheneinstufung -t fotograf-scraper . - Führen Sie den Container aus:
docker run -it --rm -v "$(pwd):/app" fotograf-scraper python3 /app/ARCHIVE_vor_migration/Fotograf.de/scraper/scrape_fotograf.py
(Pfade müssen ggf. angepasst werden, je nachdem, von wo der Befehl ausgeführt wird.)