dealfront_enrichment.py aktualisiert

dealfront_enrichment.py

@@ -141,28 +141,6 @@ class DealfrontScraper:
             self._save_debug_artifacts()
             return False
 
-    def navigate_to_target(self):
-        """Navigiert direkt zur Target-URL und wartet auf Bestätigung."""
-        try:
-            logger.info(f"Navigiere direkt zur Target-URL: {Config.DEALFRONT_TARGET_URL}")
-            self.driver.get(Config.DEALFRONT_TARGET_URL)
-
-            # Warten, bis die URL sich tatsächlich ändert.
-            self.wait.until(EC.url_contains("/t/prospector/"))
-            logger.info(f"URL-Wechsel bestätigt. Aktuelle URL: {self.driver.current_url}")
-
-            # Warten, bis die Seite gerendert ist.
-            verification_selector = (By.XPATH, "//button[normalize-space()='+ Neue Suche']")
-            self.wait.until(EC.visibility_of_element_located(verification_selector))
-            
-            logger.info("'Target'-Seite erfolgreich und vollständig geladen.")
-            return True
-            
-        except Exception as e:
-            logger.critical(f"Navigation zur 'Target'-Seite fehlgeschlagen: {type(e).__name__}", exc_info=True)
-            self._save_debug_artifacts()
-            return False
-
     def navigate_to_target(self):
         """
         Navigiert zum 'Target'-Bereich und verifiziert den Erfolg in drei Schritten.
@@ -192,6 +170,33 @@ class DealfrontScraper:
             self._save_debug_artifacts()
             return False
 
+    def handle_overlays(self):
+        """Sucht nach bekannten Popups/Overlays und schließt sie."""
+        try:
+            # Wir geben der Seite einen Moment, um mögliche Popups zu laden.
+            # Timeout auf 5 Sekunden gesetzt, da wir nicht ewig warten wollen.
+            short_wait = WebDriverWait(self.driver, 5)
+            
+            # Selektor für den Schließen-Button (das 'x') des CRM-Popups
+            # Der XPath sucht nach einem beliebigen Button, der ein SVG-Icon mit einer passenden "d"-Path-Definition enthält.
+            # Dies ist sehr robust gegen Klassen-Änderungen.
+            close_button_xpath = "//button[@aria-label='Schließen' or @aria-label='Close'] | //div[contains(@class, 't-prospector-backdrop')]//button"
+            
+            logger.info("Suche nach bekannten Overlays/Popups...")
+            close_button = short_wait.until(EC.element_to_be_clickable((By.XPATH, close_button_xpath)))
+            
+            logger.info("Schließen-Button für Overlay gefunden. Klicke darauf.")
+            close_button.click()
+            time.sleep(1) # Kurze Pause, damit das Overlay verschwindet.
+            
+        except TimeoutException:
+            # Das ist der Normalfall, wenn kein Popup da ist.
+            logger.info("Kein Overlay/Popup gefunden. Fahre fort.")
+        except Exception as e:
+            logger.warning(f"Fehler beim Schließen des Overlays, ignoriere und fahre fort: {e}")
+            self._save_debug_artifacts()
+
+
     def load_search(self, search_name):
         """Lädt eine vordefinierte Suche anhand ihres Namens."""
         try:
@@ -294,6 +299,8 @@ if __name__ == "__main__":
         if not scraper.load_search(Config.TARGET_SEARCH_NAME):
             raise Exception(f"Laden der Suche '{Config.TARGET_SEARCH_NAME}' fehlgeschlagen.")
 
+        scraper.handle_overlays()
+        
         companies = scraper.extract_current_page_results()
         if companies:
             df = pd.DataFrame(companies)