dealfront_enrichment.py aktualisiert
This commit is contained in:
@@ -198,21 +198,4 @@ if __name__ == "__main__":
|
||||
if scraper:
|
||||
scraper.close()
|
||||
|
||||
logger.info("Dealfront Automatisierung beendet.")```
|
||||
|
||||
### Zusammenfassung der Änderungen
|
||||
|
||||
* **Paginierungslogik:** Die neue Methode `scrape_all_pages` kümmert sich um das Durchblättern der Seiten.
|
||||
* **Stabiles Warten:** Anstatt fester `time.sleep`-Pausen warten wir nun mit `EC.staleness_of`, bis die alten Daten verschwunden sind. Das ist schnell und zuverlässig.
|
||||
* **CSV-Export:** Die Ausgabe in der Konsole kann sehr lang werden. Daher werden die Ergebnisse jetzt direkt in eine **CSV-Datei** im `output`-Ordner gespeichert. Das ist sauberer und besser für die Weiterverarbeitung.
|
||||
|
||||
### Nächster Schritt
|
||||
|
||||
1. **Code ändern:** Fügen Sie die neue Methode hinzu und ersetzen Sie den `__main__`-Block.
|
||||
2. **Testlauf in der Container-Shell:**
|
||||
```bash
|
||||
python3 dealfront_enrichment.py
|
||||
```
|
||||
|
||||
**Erwartetes Ergebnis:**
|
||||
Das Skript wird Seite für Seite durchgehen und die Logs entsprechend ausgeben. Am Ende finden Sie eine neue CSV-Datei in Ihrem `output`-Ordner, die alle extrahierten Firmennamen und Webseiten enthält.
|
||||
logger.info("Dealfront Automatisierung beendet.")
|
||||
Reference in New Issue
Block a user