diff --git a/dealfront_enrichment.py b/dealfront_enrichment.py
index 83e0d415..6d36c432 100644
--- a/dealfront_enrichment.py
+++ b/dealfront_enrichment.py
@@ -99,36 +99,31 @@ class DealfrontScraper:
return False
def scrape_all_pages(self, max_pages=6):
+ """
+ Scrollt die Seite schrittweise nach unten und extrahiert neue Daten,
+ bis keine neuen Firmen mehr geladen werden oder das Seitenlimit erreicht ist.
+ """
+ logger.info("Starte finalen Scroll- und Extraktionsprozess...")
all_companies = {}
+ last_found_count = 0
- for page_number in range(1, max_pages + 1):
- logger.info(f"--- Verarbeite Seite {page_number} ---")
-
- # Scrollen, um alle 20 Zeilen zu laden
- scroll_container = self.wait.until(EC.visibility_of_element_located((By.CSS_SELECTOR, ".scroll-viewport")))
- self.driver.execute_script("arguments[0].scrollTo(0, arguments[0].scrollHeight);", scroll_container)
- time.sleep(2) # Pause für das Rendern
-
- # Extraktion
- rows = self.driver.find_elements(By.XPATH, "//table[@id='t-result-table']/tbody/tr")
- logger.info(f"Finde {len(rows)}
-Elemente. Extrahiere Daten...")
-
- for row in rows:
- try:
- name = row.find_element(By.CSS_SELECTOR, ".sticky-column a.t-highlight-text").get_attribute("title").strip()
- website = "N/A"
- try:
- website = row.find_element(By.CSS_SELECTOR, "a.text-gray-400.t-highlight-text").text.strip()
- except NoSuchElementException:
- pass
-
- if name not in [c['name'] for c in all_companies.values()]:
- all_companies[name] = {'name': name, 'website': website}
+ for i in range(max_pages * 5): # Mache maximal 5 Scroll-Versuche pro Seite
+ page_results = self.extract_current_page_results()
+ for company in page_results:
+ unique_key = (company.get('name'), company.get('website'))
+ all_companies[unique_key] = company
- except NoSuchElementException:
- continue # Ignoriert leere "Geister"-Zeilen
-
- logger.info(f"Seite {page_number} verarbeitet. Gesamt einzigartig: {len(all_companies)}")
+ # Prüfen, ob neue Firmen hinzugekommen sind
+ if len(all_companies) > last_found_count:
+ logger.info(f"Scrolle... {len(all_companies)} einzigartige Firmen gefunden.")
+ last_found_count = len(all_companies)
+ self.driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
+ time.sleep(3) # Wartezeit für das Nachladen
+ else:
+ logger.info("Keine neuen Firmen nach dem Scrollen gefunden. Paginierung scheint abgeschlossen.")
+ break # Die Schleife beenden, wenn Scrollen keine neuen Ergebnisse bringt
+
+ return list(all_companies.values())
# Paginierung
try: