dealfront_enrichment.py aktualisiert

dealfront_enrichment.py

@@ -99,36 +99,31 @@ class DealfrontScraper:
             return False
 
     def scrape_all_pages(self, max_pages=6):
+        """
+        Scrollt die Seite schrittweise nach unten und extrahiert neue Daten,
+        bis keine neuen Firmen mehr geladen werden oder das Seitenlimit erreicht ist.
+        """
+        logger.info("Starte finalen Scroll- und Extraktionsprozess...")
         all_companies = {}
+        last_found_count = 0
         
-        for page_number in range(1, max_pages + 1):
-            logger.info(f"--- Verarbeite Seite {page_number} ---")
-            
-            # Scrollen, um alle 20 Zeilen zu laden
-            scroll_container = self.wait.until(EC.visibility_of_element_located((By.CSS_SELECTOR, ".scroll-viewport")))
-            self.driver.execute_script("arguments[0].scrollTo(0, arguments[0].scrollHeight);", scroll_container)
-            time.sleep(2) # Pause für das Rendern
-            
-            # Extraktion
-            rows = self.driver.find_elements(By.XPATH, "//table[@id='t-result-table']/tbody/tr")
-            logger.info(f"Finde {len(rows)} <tr>-Elemente. Extrahiere Daten...")
-            
-            for row in rows:
-                try:
-                    name = row.find_element(By.CSS_SELECTOR, ".sticky-column a.t-highlight-text").get_attribute("title").strip()
-                    website = "N/A"
-                    try:
-                        website = row.find_element(By.CSS_SELECTOR, "a.text-gray-400.t-highlight-text").text.strip()
-                    except NoSuchElementException:
-                        pass
-                    
-                    if name not in [c['name'] for c in all_companies.values()]:
-                         all_companies[name] = {'name': name, 'website': website}
+        for i in range(max_pages * 5): # Mache maximal 5 Scroll-Versuche pro Seite
+            page_results = self.extract_current_page_results()
+            for company in page_results:
+                unique_key = (company.get('name'), company.get('website'))
+                all_companies[unique_key] = company
 
-                except NoSuchElementException:
-                    continue # Ignoriert leere "Geister"-Zeilen
-
-            logger.info(f"Seite {page_number} verarbeitet. Gesamt einzigartig: {len(all_companies)}")
+            # Prüfen, ob neue Firmen hinzugekommen sind
+            if len(all_companies) > last_found_count:
+                logger.info(f"Scrolle... {len(all_companies)} einzigartige Firmen gefunden.")
+                last_found_count = len(all_companies)
+                self.driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
+                time.sleep(3) # Wartezeit für das Nachladen
+            else:
+                logger.info("Keine neuen Firmen nach dem Scrollen gefunden. Paginierung scheint abgeschlossen.")
+                break # Die Schleife beenden, wenn Scrollen keine neuen Ergebnisse bringt
+        
+        return list(all_companies.values())
 
             # Paginierung
             try: