dealfront_enrichment.py aktualisiert

dealfront_enrichment.py

@@ -108,26 +108,45 @@ class DealfrontScraper:
 
     # --- METHODE AUS DEM LETZTEN ERFOLGREICHEN VERSUCH ---
     def extract_current_page_results(self):
+        """
+        Extrahiert Daten NUR aus den sichtbaren Ergebniszeilen und optimiert die Wartezeiten.
+        """
         try:
-            logger.info("Extrahiere Daten von der aktuellen Seite...")
+            logger.info("Extrahiere Ergebnisse mit dem finalen, präzisen Selektor...")
             results = []
-            rows_with_data_selector = (By.XPATH, "//table[@id='t-result-table']/tbody/tr[.//a[contains(@class, 't-highlight-text')]]")
-            data_rows = self.wait.until(EC.presence_of_all_elements_located(rows_with_data_selector))
             
-            for row in data_rows:
+            # 1. Warten, bis die erste Daten-Zelle (Firmenname) sichtbar ist.
+            first_company_link_selector = (By.CSS_SELECTOR, "td.sticky-column a.t-highlight-text")
+            self.wait.until(EC.visibility_of_element_located(first_company_link_selector))
+            
+            # 2. Finde NUR die Zeilen, die tatsächlich einen Firmennamen-Link enthalten.
+            # Dieser XPath ist extrem robust und filtert "Geister"-Zeilen heraus.
+            rows_with_data_selector = (By.XPATH, "//table[@id='t-result-table']/tbody/tr[.//a[contains(@class, 't-highlight-text')]]")
+            rows = self.driver.find_elements(*rows_with_data_selector)
+            logger.info(f"{len(rows)} gültige Datenzeilen zur Verarbeitung gefunden.")
+
+            for row in rows:
                 try:
-                    name = row.find_element(By.CSS_SELECTOR, ".sticky-column a.t-highlight-text").get_attribute("title").strip()
+                    # Innerhalb dieser garantiert validen Zeilen können wir nun sicher extrahieren.
-                    website = "N/A"
+                    company_name = row.find_element(By.CSS_SELECTOR, ".sticky-column a.t-highlight-text").get_attribute("title").strip()
+                    
+                    # Versuche, die Webseite zu finden. Wenn nicht vorhanden, wird sie "N/A".
                     try:
                         website = row.find_element(By.CSS_SELECTOR, "a.text-gray-400.t-highlight-text").text.strip()
                     except NoSuchElementException:
-                        pass
+                        website = "N/A"
-                    results.append({'name': name, 'website': website})
+                        
-                except NoSuchElementException:
+                    results.append({'name': company_name, 'website': website})
-                    continue
-            return results
                 except Exception as e:
-            logger.error("Fehler bei der Extraktion.", exc_info=True)
+                    # Dieser Fall sollte jetzt kaum noch auftreten.
+                    logger.warning(f"Konnte Daten aus einer validen Zeile nicht extrahieren: {e}")
+                    continue
+            
+            logger.info(f"Extraktion abgeschlossen. {len(results)} Firmen verarbeitet.")
+            return results
+            
+        except Exception as e:
+            logger.error(f"Schwerwiegender Fehler bei der Extraktion: {type(e).__name__}", exc_info=True)
             self._save_debug_artifacts()
             return []