diff --git a/dealfront_enrichment.py b/dealfront_enrichment.py index de3eb403..bc674945 100644 --- a/dealfront_enrichment.py +++ b/dealfront_enrichment.py @@ -126,43 +126,61 @@ class DealfrontScraper: continue return results - def scrape_all_pages(self): - all_companies = {} - page_number = 1 - while True: - logger.info(f"--- Verarbeite Seite {page_number} ---") + def scrape_all_pages(self, max_pages=10): # Sicherheitslimit für Seiten + """ + Iteriert durch alle Ergebnisseiten, indem auf den 'Weiter'-Button geklickt wird. + Scrollt vor jeder Extraktion, um alle Elemente zu laden. + """ + all_companies = {} - self.wait.until(EC.visibility_of_element_located((By.CSS_SELECTOR, "table#t-result-table"))) - - try: - first_row_id = self.driver.find_element(By.CSS_SELECTOR, "table#t-result-table tbody tr[id]").get_attribute("id") - except NoSuchElementException: - logger.warning("Konnte keine Datenzeilen auf der Seite finden. Beende Paginierung.") - break - - page_results = self.extract_current_page_results() - if not page_results and page_number > 1: - logger.info("Keine weiteren Ergebnisse auf der Seite extrahiert. Paginierung abgeschlossen.") - break + for page_number in range(1, max_pages + 1): + logger.info(f"--- Verarbeite Seite {page_number} ---") - for company in page_results: - if company.get('website') != 'N/A' and company.get('website'): - all_companies[company['website']] = company - - logger.info(f"Seite {page_number}: {len(page_results)} Firmen gefunden. Gesamt einzigartig: {len(all_companies)}") - - try: - next_button = self.wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, "a.eb-pagination-button:not(.disabled) svg[data-icon='angle-right']"))) - self.driver.execute_script("arguments[0].click();", next_button) - page_number += 1 + # 1. Warten, bis die Tabelle grundsätzlich geladen ist + table_selector = (By.CSS_SELECTOR, "table#t-result-table tbody") + self.wait.until(EC.visibility_of_element_located(table_selector)) - # Warten, bis die alte erste Zeile verschwunden ist - self.wait.until(EC.staleness_of(self.driver.find_element(By.ID, first_row_id))) - except TimeoutException: - logger.info("Kein klickbarer 'Weiter'-Button mehr gefunden. Paginierung abgeschlossen.") - break - - return list(all_companies.values()) + # 2. SCROLLEN: Scrolle die Seite nach unten, um alle Zeilen zu laden + logger.info("Scrolle nach unten, um alle Zeilen der Seite zu laden...") + self.driver.execute_script("window.scrollTo(0, document.body.scrollHeight);") + time.sleep(2) # Kurze Pause, damit die neuen Zeilen rendern können + self.driver.execute_script("window.scrollTo(0, 0);") # Optional: wieder nach oben scrollen + time.sleep(1) + + # 3. DATEN EXTRAHIEREN + page_results = self.extract_current_page_results() + if not page_results: + logger.info("Keine Ergebnisse auf dieser Seite extrahiert. Breche ab.") + break + + for company in page_results: + # Verwende eine Kombination aus Name und Webseite als eindeutigen Schlüssel + unique_key = (company.get('name'), company.get('website')) + if unique_key not in all_companies: + all_companies[unique_key] = company + + logger.info(f"Seite {page_number}: {len(page_results)} Firmen gefunden. Gesamt einzigartig: {len(all_companies)}") + + # 4. PAGINIERUNG + try: + # Robusterer Selektor für den "Weiter"-Button + next_button_selector = (By.XPATH, "//a[contains(@class, 'eb-pagination-button') and not(contains(@class, 'disabled'))][last()]") + next_button = self.driver.find_element(*next_button_selector) + + # Prüfen, ob der gefundene Button der "Weiter"-Button ist (enthält Pfeil nach rechts) + if "fa-angle-right" not in next_button.get_attribute('innerHTML'): + logger.info("Letzte Seite erreicht (kein 'Weiter'-Pfeil im letzten Button).") + break + + logger.info("Klicke auf 'Weiter'...") + self.driver.execute_script("arguments[0].click();", next_button) + time.sleep(4) # Feste Wartezeit für den Seitenwechsel + + except NoSuchElementException: + logger.info("Kein klickbarer 'Weiter'-Button mehr gefunden. Paginierung abgeschlossen.") + break + + return list(all_companies.values()) def close(self): if self.driver: