diff --git a/dealfront_enrichment.py b/dealfront_enrichment.py index ee952257..69d95a73 100644 --- a/dealfront_enrichment.py +++ b/dealfront_enrichment.py @@ -151,46 +151,102 @@ class DealfrontScraper: return [] # --- NEUE METHODE FÜR PAGINIERUNG --- - def scrape_all_pages(self): + def scrape_all_pages(self): + """ + Iteriert durch alle Ergebnisseiten, indem auf den 'Weiter'-Button geklickt wird. + """ all_companies = [] page_number = 1 + while True: logger.info(f"--- Verarbeite Seite {page_number} ---") - # Warten, bis die Tabelle sichtbar ist - self.wait.until(EC.visibility_of_element_located((By.CSS_SELECTOR, "table#t-result-table"))) + # Warten auf die erste Datenzeile auf der aktuellen Seite + company_name_selector = (By.CSS_SELECTOR, "td.sticky-column a.t-highlight-text") + self.wait.until(EC.visibility_of_element_located(company_name_selector)) - try: - first_row_id = self.driver.find_element(By.CSS_SELECTOR, "table#t-result-table tbody tr[id]").get_attribute("id") - except NoSuchElementException: - logger.info("Keine weiteren Datenzeilen auf der Seite gefunden. Beende Paginierung.") - break - + # Daten der aktuellen Seite extrahieren page_results = self.extract_current_page_results() if not page_results: - logger.info("Keine Ergebnisse auf dieser Seite extrahiert. Paginierung abgeschlossen.") - break + logger.warning("Konnte keine Ergebnisse auf der aktuellen Seite extrahieren.") + break # Stoppen, wenn keine Daten gefunden wurden + all_companies.extend(page_results) - logger.info(f"Bisher {len(all_companies)} Firmen insgesamt gefunden.") + logger.info(f"Seite {page_number}: {len(page_results)} Firmen gefunden. Gesamt: {len(all_companies)}") + # Weiter-Button finden + # Wir suchen nach einem Link, der ein SVG-Icon mit der Klasse 'fa-angle-right' enthält. + next_page_button_selector = (By.CSS_SELECTOR, "a.eb-pagination-button:not([disabled]) > svg.fa-angle-right") + try: - next_button = self.driver.find_element(By.XPATH, "//a[@class='eb-pagination-button' and .//svg[contains(@class, 'fa-angle-right')]]") - if "disabled" in next_button.get_attribute("class"): - logger.info("Letzte Seite erreicht.") + next_button = self.wait.until(EC.element_to_be_clickable(next_page_button_selector)) + + # Prüfen, ob der Button wirklich klickbar ist und nicht nur vorhanden + if next_button.is_displayed() and next_button.is_enabled(): + logger.info("Weiter-Button gefunden und klickbar. Klicke auf Weiter...") + self.driver.execute_script("arguments[0].click();", next_button) + page_number += 1 + + # Nach dem Klicken auf "Weiter" warten wir wieder auf das Erscheinen des ersten Elements der NEUEN Seite. + # Das ist robuster als eine feste Zeit. + self.wait.until(EC.visibility_of_element_located(company_name_selector)) + logger.info("Neue Seite geladen.") + else: + logger.info("Weiter-Button ist vorhanden, aber deaktiviert. Letzte Seite erreicht.") break - - next_button.click() - page_number += 1 - - # Warten, bis die alte erste Zeile verschwunden ist - old_first_row = self.driver.find_element(By.ID, first_row_id) - self.wait.until(EC.staleness_of(old_first_row)) - except NoSuchElementException: - logger.info("Kein 'Weiter'-Button mehr gefunden. Paginierung abgeschlossen.") + except TimeoutException: + logger.info("Kein klickbarer 'Weiter'-Button gefunden. Letzte Seite erreicht.") break - + except NoSuchElementException: + logger.info("Kein 'Weiter'-Button gefunden. Letzte Seite erreicht.") + break + except Exception as e: + logger.error(f"Unerwarteter Fehler beim Navigieren zur nächsten Seite: {e}") + self._save_debug_artifacts() + break + return all_companies + # Die extract_current_page_results Methode bleibt, wie sie zuletzt war, mit den robusten Selektoren + def extract_current_page_results(self): + """ + Extrahiert Daten NUR aus den sichtbaren Ergebniszeilen und optimiert die Wartezeiten. + """ + try: + logger.info("Extrahiere Ergebnisse von der aktuellen Seite...") + results = [] + + first_company_link_selector = (By.CSS_SELECTOR, "td.sticky-column a.t-highlight-text") + self.wait.until(EC.visibility_of_element_located(first_company_link_selector)) + + rows_with_data_selector = (By.XPATH, "//table[@id='t-result-table']/tbody/tr[.//a[contains(@class, 't-highlight-text')]]") + rows = self.driver.find_elements(*rows_with_data_selector) + + if not rows: + logger.warning("Keine gültigen Datenzeilen gefunden.") + return [] + + for row in rows: + try: + company_name = row.find_element(By.CSS_SELECTOR, ".sticky-column a.t-highlight-text").get_attribute("title").strip() + website = "N/A" + try: + website = row.find_element(By.CSS_SELECTOR, "a.text-gray-400.t-highlight-text").text.strip() + except NoSuchElementException: + pass + results.append({'name': company_name, 'website': website}) + except NoSuchElementException: + logger.warning("Konnte Daten aus einer Zeile nicht extrahieren.") + continue + + logger.info(f"{len(results)} Firmen extrahiert.") + return results + + except Exception as e: + logger.error(f"Fehler bei der Extraktion: {type(e).__name__}", exc_info=True) + self._save_debug_artifacts() + return [] + def close(self): if self.driver: self.driver.quit()