dealfront_enrichment.py aktualisiert

dealfront_enrichment.py

@@ -185,7 +185,14 @@ class DealfrontScraper:
             logger.info("Klicke auf 'Weiter'-Button...")
 
             try:
+                # Button ins Sichtfeld scrollen!
+                self.driver.execute_script("arguments[0].scrollIntoView({block: 'center'});", next_button)
+                time.sleep(0.5)  # Kurze Pause, damit das Scrollen abgeschlossen ist
+
+                # Button wirklich klicken
                 self.driver.execute_script("arguments[0].click();", next_button)
+                logger.info("Klick auf Weiter-Button ausgeführt.")
+
                 # Warten, bis die erste Zeile eine andere ID hat (also wirklich neue Seite geladen ist)
                 if first_row_id:
                     self.wait.until(
@@ -196,6 +203,15 @@ class DealfrontScraper:
                     time.sleep(2)  # Fallback, falls keine ID gefunden wurde
             except Exception as e:
                 logger.error(f"Fehler beim Klicken auf den Weiter-Button oder beim Warten auf neue Seite: {e}")
+                # Optional: Screenshot und HTML speichern
+                try:
+                    timestamp = time.strftime("%Y%m%d-%H%M%S")
+                    self.driver.save_screenshot(f"/app/output/pagination_error_{timestamp}.png")
+                    with open(f"/app/output/pagination_error_{timestamp}.html", "w", encoding="utf-8") as f:
+                        f.write(self.driver.page_source)
+                    logger.info(f"Screenshot und HTML der Seite nach Pagination-Fehler gespeichert.")
+                except Exception as ee:
+                    logger.error(f"Fehler beim Speichern von Screenshot/HTML: {ee}")
                 break
 
         return all_companies