dealfront_enrichment.py aktualisiert

This commit is contained in:
2025-07-11 07:56:13 +00:00
parent 692414558c
commit c37dc81e09

View File

@@ -198,21 +198,4 @@ if __name__ == "__main__":
if scraper:
scraper.close()
logger.info("Dealfront Automatisierung beendet.")```
### Zusammenfassung der Änderungen
* **Paginierungslogik:** Die neue Methode `scrape_all_pages` kümmert sich um das Durchblättern der Seiten.
* **Stabiles Warten:** Anstatt fester `time.sleep`-Pausen warten wir nun mit `EC.staleness_of`, bis die alten Daten verschwunden sind. Das ist schnell und zuverlässig.
* **CSV-Export:** Die Ausgabe in der Konsole kann sehr lang werden. Daher werden die Ergebnisse jetzt direkt in eine **CSV-Datei** im `output`-Ordner gespeichert. Das ist sauberer und besser für die Weiterverarbeitung.
### Nächster Schritt
1. **Code ändern:** Fügen Sie die neue Methode hinzu und ersetzen Sie den `__main__`-Block.
2. **Testlauf in der Container-Shell:**
```bash
python3 dealfront_enrichment.py
```
**Erwartetes Ergebnis:**
Das Skript wird Seite für Seite durchgehen und die Logs entsprechend ausgeben. Am Ende finden Sie eine neue CSV-Datei in Ihrem `output`-Ordner, die alle extrahierten Firmennamen und Webseiten enthält.
logger.info("Dealfront Automatisierung beendet.")