From e4eddbc24fd7c47db40782b3d3b7a3e729013f5c Mon Sep 17 00:00:00 2001 From: Floke Date: Sun, 13 Jul 2025 15:24:27 +0000 Subject: [PATCH] dealfront_enrichment.py aktualisiert --- dealfront_enrichment.py | 42 ++++++++++++++++++++--------------------- 1 file changed, 21 insertions(+), 21 deletions(-) diff --git a/dealfront_enrichment.py b/dealfront_enrichment.py index 34668ad2..bc5f5e22 100644 --- a/dealfront_enrichment.py +++ b/dealfront_enrichment.py @@ -201,28 +201,28 @@ class DealfrontScraper: def page_changed(driver): try: except Exception as e: - logger.error(f"Fehler beim Klicken auf den Weiter-Button oder beim Warten auf neue Seite: {e}") - # Screenshot und HTML speichern - try: - timestamp = time.strftime("%Y%m%d-%H%M%S") - self.driver.save_screenshot(f"/app/output/pagination_error_{timestamp}.png") - with open(f"/app/output/pagination_error_{timestamp}.html", "w", encoding="utf-8") as f: - f.write(self.driver.page_source) - logger.info(f"Screenshot und HTML der Seite nach Pagination-Fehler gespeichert.") - except Exception as ee: - logger.error(f"Fehler beim Speichern von Screenshot/HTML: {ee}") - # Zusätzlich: Logge alle Zeilen nach dem Fehler (nur Text und HTML-Start) - try: - all_rows = self.driver.find_elements(By.CSS_SELECTOR, "table#t-result-table tbody tr") - except Exception as eee: - logger.error(f"Fehler beim Finden der Tabellenzeilen nach Fehler: {eee}") - all_rows = [] + logger.error(f"Fehler beim Klicken auf den Weiter-Button oder beim Warten auf neue Seite: {e}") + # Screenshot und HTML speichern + try: + timestamp = time.strftime("%Y%m%d-%H%M%S") + self.driver.save_screenshot(f"/app/output/pagination_error_{timestamp}.png") + with open(f"/app/output/pagination_error_{timestamp}.html", "w", encoding="utf-8") as f: + f.write(self.driver.page_source) + logger.info(f"Screenshot und HTML der Seite nach Pagination-Fehler gespeichert.") + except Exception as ee: + logger.error(f"Fehler beim Speichern von Screenshot/HTML: {ee}") + # Zusätzlich: Logge alle Zeilen nach dem Fehler (nur Text und HTML-Start) + try: + all_rows = self.driver.find_elements(By.CSS_SELECTOR, "table#t-result-table tbody tr") + except Exception as eee: + logger.error(f"Fehler beim Finden der Tabellenzeilen nach Fehler: {eee}") + all_rows = [] - logger.info(f"Nach Pagination-Fehler: Es sind {len(all_rows)} Zeilen im DOM.") - for i, r in enumerate(all_rows): - html_snippet = r.get_attribute('outerHTML')[:120].replace('\n', ' ') - logger.info(f"Zeile {i}: Text='{r.text.strip()}', HTML-Start={html_snippet}...") - break + logger.info(f"Nach Pagination-Fehler: Es sind {len(all_rows)} Zeilen im DOM.") + for i, r in enumerate(all_rows): + html_snippet = r.get_attribute('outerHTML')[:120].replace('\n', ' ') + logger.info(f"Zeile {i}: Text='{r.text.strip()}', HTML-Start={html_snippet}...") + break return all_companies