dealfront_enrichment.py aktualisiert

dealfront_enrichment.py

@@ -117,11 +117,10 @@ class DealfrontScraper:
 
     def extract_current_page_results(self):
         """
-        Extrahiert Daten mit einem schnellen, zeilen-fokussierten Ansatz.
+        Extrahiert Daten mit einem schnellen, direkten Ansatz, der Geister-Zeilen ignoriert.
-        Ignoriert "Geister"-Zeilen und verhindert Timeouts.
         """
         try:
-            logger.info("Extrahiere Ergebnisse mit dem finalen, optimierten Ansatz...")
+            logger.info("Extrahiere Ergebnisse mit dem finalen, direkten Selektor-Ansatz...")
             results = []
             
             # 1. Warten, bis die erste Daten-Zelle (Firmenname) sichtbar ist.
@@ -129,28 +128,25 @@ class DealfrontScraper:
             first_company_link_selector = (By.CSS_SELECTOR, "td.sticky-column a.t-highlight-text")
             self.wait.until(EC.visibility_of_element_located(first_company_link_selector))
             
-            # 2. Finde NUR die Zeilen, die tatsächlich einen sichtbaren Firmennamen-Link enthalten.
+            # 2. Finde ALLE Firmen-Links und ALLE Website-Links auf der Seite auf einmal.
-            # Dieser XPath ist extrem robust.
+            # Das ist extrem schnell, da es nur zwei Suchbefehle an den Browser sind.
-            rows_with_data_selector = (By.XPATH, "//table[@id='t-result-table']/tbody/tr[.//a[contains(@class, 't-highlight-text')]]")
+            company_elements = self.driver.find_elements(By.CSS_SELECTOR, "td.sticky-column a.t-highlight-text")
-            rows = self.driver.find_elements(*rows_with_data_selector)
+            website_elements = self.driver.find_elements(By.CSS_SELECTOR, "a.text-gray-400.t-highlight-text")
-            logger.info(f"{len(rows)} gültige Datenzeilen zur Verarbeitung gefunden.")
 
-            for row in rows:
+            logger.info(f"{len(company_elements)} Firmennamen und {len(website_elements)} Webseiten-Elemente gefunden.")
-                try:
-                    # Innerhalb dieser garantiert validen Zeilen können wir nun sicher extrahieren.
-                    company_name = row.find_element(By.CSS_SELECTOR, ".sticky-column a.t-highlight-text").get_attribute("title").strip()
 
-                    # Versuche, die Webseite zu finden. Wenn nicht vorhanden, wird sie "N/A".
+            # 3. Ordne die Ergebnisse anhand ihrer Reihenfolge im DOM zu.
-                    try:
+            if not company_elements:
-                        website = row.find_element(By.CSS_SELECTOR, "a.text-gray-400.t-highlight-text").text.strip()
+                logger.warning("Keine Firmen mit dem angegebenen Selektor gefunden.")
-                    except NoSuchElementException:
+                self._save_debug_artifacts()
-                        website = "N/A"
+                return []
 
-                    results.append({'name': company_name, 'website': website})
+            for i in range(len(company_elements)):
-                except Exception as e:
+                company_name = company_elements[i].get_attribute("title").strip()
-                    # Dieser Fall sollte jetzt kaum noch auftreten.
+                # Wir ordnen die Webseite anhand des Indexes zu.
-                    logger.warning(f"Konnte Daten aus einer scheinbar validen Zeile nicht extrahieren: {e}")
+                # Wenn es weniger Webseiten als Firmen gibt, fangen wir das ab.
-                    continue
+                website = website_elements[i].text.strip() if i < len(website_elements) else "N/A"
+                results.append({'name': company_name, 'website': website})
             
             logger.info(f"Extraktion abgeschlossen. {len(results)} Firmen verarbeitet.")
             return results