diff --git a/dealfront_enrichment.py b/dealfront_enrichment.py index 4bb1b6d4..1e13f5e1 100644 --- a/dealfront_enrichment.py +++ b/dealfront_enrichment.py @@ -141,28 +141,6 @@ class DealfrontScraper: self._save_debug_artifacts() return False - def navigate_to_target(self): - """Navigiert direkt zur Target-URL und wartet auf Bestätigung.""" - try: - logger.info(f"Navigiere direkt zur Target-URL: {Config.DEALFRONT_TARGET_URL}") - self.driver.get(Config.DEALFRONT_TARGET_URL) - - # Warten, bis die URL sich tatsächlich ändert. - self.wait.until(EC.url_contains("/t/prospector/")) - logger.info(f"URL-Wechsel bestätigt. Aktuelle URL: {self.driver.current_url}") - - # Warten, bis die Seite gerendert ist. - verification_selector = (By.XPATH, "//button[normalize-space()='+ Neue Suche']") - self.wait.until(EC.visibility_of_element_located(verification_selector)) - - logger.info("'Target'-Seite erfolgreich und vollständig geladen.") - return True - - except Exception as e: - logger.critical(f"Navigation zur 'Target'-Seite fehlgeschlagen: {type(e).__name__}", exc_info=True) - self._save_debug_artifacts() - return False - def navigate_to_target(self): """ Navigiert zum 'Target'-Bereich und verifiziert den Erfolg in drei Schritten. @@ -192,6 +170,33 @@ class DealfrontScraper: self._save_debug_artifacts() return False + def handle_overlays(self): + """Sucht nach bekannten Popups/Overlays und schließt sie.""" + try: + # Wir geben der Seite einen Moment, um mögliche Popups zu laden. + # Timeout auf 5 Sekunden gesetzt, da wir nicht ewig warten wollen. + short_wait = WebDriverWait(self.driver, 5) + + # Selektor für den Schließen-Button (das 'x') des CRM-Popups + # Der XPath sucht nach einem beliebigen Button, der ein SVG-Icon mit einer passenden "d"-Path-Definition enthält. + # Dies ist sehr robust gegen Klassen-Änderungen. + close_button_xpath = "//button[@aria-label='Schließen' or @aria-label='Close'] | //div[contains(@class, 't-prospector-backdrop')]//button" + + logger.info("Suche nach bekannten Overlays/Popups...") + close_button = short_wait.until(EC.element_to_be_clickable((By.XPATH, close_button_xpath))) + + logger.info("Schließen-Button für Overlay gefunden. Klicke darauf.") + close_button.click() + time.sleep(1) # Kurze Pause, damit das Overlay verschwindet. + + except TimeoutException: + # Das ist der Normalfall, wenn kein Popup da ist. + logger.info("Kein Overlay/Popup gefunden. Fahre fort.") + except Exception as e: + logger.warning(f"Fehler beim Schließen des Overlays, ignoriere und fahre fort: {e}") + self._save_debug_artifacts() + + def load_search(self, search_name): """Lädt eine vordefinierte Suche anhand ihres Namens.""" try: @@ -293,6 +298,8 @@ if __name__ == "__main__": # Ab hier geht es weiter wie geplant... if not scraper.load_search(Config.TARGET_SEARCH_NAME): raise Exception(f"Laden der Suche '{Config.TARGET_SEARCH_NAME}' fehlgeschlagen.") + + scraper.handle_overlays() companies = scraper.extract_current_page_results() if companies: