diff --git a/dealfront_enrichment.py b/dealfront_enrichment.py index 83e0d415..6d36c432 100644 --- a/dealfront_enrichment.py +++ b/dealfront_enrichment.py @@ -99,36 +99,31 @@ class DealfrontScraper: return False def scrape_all_pages(self, max_pages=6): + """ + Scrollt die Seite schrittweise nach unten und extrahiert neue Daten, + bis keine neuen Firmen mehr geladen werden oder das Seitenlimit erreicht ist. + """ + logger.info("Starte finalen Scroll- und Extraktionsprozess...") all_companies = {} + last_found_count = 0 - for page_number in range(1, max_pages + 1): - logger.info(f"--- Verarbeite Seite {page_number} ---") - - # Scrollen, um alle 20 Zeilen zu laden - scroll_container = self.wait.until(EC.visibility_of_element_located((By.CSS_SELECTOR, ".scroll-viewport"))) - self.driver.execute_script("arguments[0].scrollTo(0, arguments[0].scrollHeight);", scroll_container) - time.sleep(2) # Pause für das Rendern - - # Extraktion - rows = self.driver.find_elements(By.XPATH, "//table[@id='t-result-table']/tbody/tr") - logger.info(f"Finde {len(rows)} -Elemente. Extrahiere Daten...") - - for row in rows: - try: - name = row.find_element(By.CSS_SELECTOR, ".sticky-column a.t-highlight-text").get_attribute("title").strip() - website = "N/A" - try: - website = row.find_element(By.CSS_SELECTOR, "a.text-gray-400.t-highlight-text").text.strip() - except NoSuchElementException: - pass - - if name not in [c['name'] for c in all_companies.values()]: - all_companies[name] = {'name': name, 'website': website} + for i in range(max_pages * 5): # Mache maximal 5 Scroll-Versuche pro Seite + page_results = self.extract_current_page_results() + for company in page_results: + unique_key = (company.get('name'), company.get('website')) + all_companies[unique_key] = company - except NoSuchElementException: - continue # Ignoriert leere "Geister"-Zeilen - - logger.info(f"Seite {page_number} verarbeitet. Gesamt einzigartig: {len(all_companies)}") + # Prüfen, ob neue Firmen hinzugekommen sind + if len(all_companies) > last_found_count: + logger.info(f"Scrolle... {len(all_companies)} einzigartige Firmen gefunden.") + last_found_count = len(all_companies) + self.driver.execute_script("window.scrollTo(0, document.body.scrollHeight);") + time.sleep(3) # Wartezeit für das Nachladen + else: + logger.info("Keine neuen Firmen nach dem Scrollen gefunden. Paginierung scheint abgeschlossen.") + break # Die Schleife beenden, wenn Scrollen keine neuen Ergebnisse bringt + + return list(all_companies.values()) # Paginierung try: