Floke/Brancheneinstufung2
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

dealfront_enrichment.py aktualisiert

Browse Source
This commit is contained in:
Floke
2025-07-13 14:20:45 +00:00
parent 9e39aa46a1
commit 08e3b5c293
1 changed files with 16 additions and 0 deletions
Download Patch File Download Diff File Expand all files Collapse all files

16
dealfront_enrichment.py
View File

@@ -185,7 +185,14 @@ class DealfrontScraper:
logger.info("Klicke auf 'Weiter'-Button...") logger.info("Klicke auf 'Weiter'-Button...")
try: try:
# Button ins Sichtfeld scrollen!
self.driver.execute_script("arguments[0].scrollIntoView({block: 'center'});", next_button)
time.sleep(0.5) # Kurze Pause, damit das Scrollen abgeschlossen ist
# Button wirklich klicken
self.driver.execute_script("arguments[0].click();", next_button) self.driver.execute_script("arguments[0].click();", next_button)
logger.info("Klick auf Weiter-Button ausgeführt.")
# Warten, bis die erste Zeile eine andere ID hat (also wirklich neue Seite geladen ist) # Warten, bis die erste Zeile eine andere ID hat (also wirklich neue Seite geladen ist)
if first_row_id: if first_row_id:
self.wait.until( self.wait.until(
@@ -196,6 +203,15 @@ class DealfrontScraper:
time.sleep(2) # Fallback, falls keine ID gefunden wurde time.sleep(2) # Fallback, falls keine ID gefunden wurde
except Exception as e: except Exception as e:
logger.error(f"Fehler beim Klicken auf den Weiter-Button oder beim Warten auf neue Seite: {e}") logger.error(f"Fehler beim Klicken auf den Weiter-Button oder beim Warten auf neue Seite: {e}")
# Optional: Screenshot und HTML speichern
try:
timestamp = time.strftime("%Y%m%d-%H%M%S")
self.driver.save_screenshot(f"/app/output/pagination_error_{timestamp}.png")
with open(f"/app/output/pagination_error_{timestamp}.html", "w", encoding="utf-8") as f:
f.write(self.driver.page_source)
logger.info(f"Screenshot und HTML der Seite nach Pagination-Fehler gespeichert.")
except Exception as ee:
logger.error(f"Fehler beim Speichern von Screenshot/HTML: {ee}")
break break
return all_companies return all_companies