From afeae03f5950acea13e2f3166c1962fbbb2a9815 Mon Sep 17 00:00:00 2001 From: Floke Date: Fri, 11 Jul 2025 07:55:17 +0000 Subject: [PATCH] die letzte Version hat endlich mal mehr Ergebnisse geliefert, war aber noch nicht perfekt. --- dealfront_enrichment.py | 112 ++++++++++++++++++++++++++++++++++------ 1 file changed, 96 insertions(+), 16 deletions(-) diff --git a/dealfront_enrichment.py b/dealfront_enrichment.py index b2d72a5b..c7110b3e 100644 --- a/dealfront_enrichment.py +++ b/dealfront_enrichment.py @@ -105,34 +105,114 @@ class DealfrontScraper: return results + def scrape_all_pages(self): + """ + Iteriert durch alle Ergebnisseiten, extrahiert die Daten und gibt eine Gesamtliste zurück. + """ + all_companies = [] + page_number = 1 + + while True: + logger.info(f"--- Verarbeite Seite {page_number} ---") + + # Warten, bis die Tabelle sichtbar ist + table_selector = (By.CSS_SELECTOR, "table#t-result-table") + self.wait.until(EC.visibility_of_element_located(table_selector)) + + # ID des ersten Eintrags merken, um Seitenwechsel zu verifizieren + try: + first_row_id = self.driver.find_element(By.CSS_SELECTOR, "table#t-result-table tbody tr").get_attribute("id") + except NoSuchElementException: + logger.warning("Konnte keine Datenzeilen auf der Seite finden. Beende Paginierung.") + break + + # Daten von der aktuellen Seite extrahieren + page_results = self.extract_current_page_results() + if not page_results: + logger.info("Keine weiteren Ergebnisse auf der Seite gefunden. Paginierung abgeschlossen.") + break + all_companies.extend(page_results) + logger.info(f"Bisher {len(all_companies)} Firmen insgesamt gefunden.") + + # "Weiter"-Button finden und prüfen, ob er deaktiviert ist + try: + next_button_selector = (By.XPATH, "//a[@class='eb-pagination-button'][.//svg[contains(@class, 'fa-angle-right')]]") + next_button = self.driver.find_element(*next_button_selector) + + if "disabled" in next_button.get_attribute("class"): + logger.info("'Weiter'-Button ist deaktiviert. Letzte Seite erreicht.") + break + + # Auf den "Weiter"-Button klicken + next_button.click() + logger.info(f"Auf Seite {page_number + 1} geblättert. Warte auf neue Inhalte...") + page_number += 1 + + # Warten, bis die alte erste Zeile verschwunden ist (Staleness) + # Dies ist der robusteste Weg, um zu bestätigen, dass die Seite neu geladen wurde. + old_first_row = self.driver.find_element(By.ID, first_row_id) + self.wait.until(EC.staleness_of(old_first_row)) + + except NoSuchElementException: + logger.info("Kein 'Weiter'-Button mehr gefunden. Paginierung abgeschlossen.") + break + + return all_companies + def close(self): if self.driver: self.driver.quit() if __name__ == "__main__": + logger.info("Starte Dealfront Automatisierung - Paginierungstest") scraper = None try: scraper = DealfrontScraper() - companies = scraper.run() + if not scraper.login(): raise Exception("Login-Phase fehlgeschlagen") - if companies: - df = pd.DataFrame(companies) - pd.set_option('display.max_rows', None) - pd.set_option('display.max_columns', None) - pd.set_option('display.width', 120) - pd.set_option('display.max_colwidth', None) + if not scraper.navigate_and_load_search(Config.SEARCH_NAME): + raise Exception("Navigation und Laden der Suche fehlgeschlagen.") + + # Ruft die neue Methode auf, die durch alle Seiten blättert + all_companies = scraper.scrape_all_pages() + + if all_companies: + df = pd.DataFrame(all_companies) + logger.info(f"===== Insgesamt {len(df)} Firmen auf allen Seiten extrahiert =====") - print("\n" + "="*80) - print(" EXTRAHIERTE FIRMEN (ERSTE SEITE) ".center(80, "=")) - print("="*80) - print(df.to_string(index=False)) - print("="*80 + "\n") - logger.info("Workflow erfolgreich abgeschlossen.") + # Optionale Ausgabe der kompletten Liste in der Konsole + # pd.set_option('display.max_rows', None) + # pd.set_option('display.width', 120) + # print(df.to_string(index=False)) + + # Speichere die Ergebnisse in einer CSV-Datei im Output-Ordner + output_csv_path = os.path.join(Config.OUTPUT_DIR, f"dealfront_results_{time.strftime('%Y%m%d-%H%M%S')}.csv") + df.to_csv(output_csv_path, index=False, sep=';', encoding='utf-8-sig') + logger.info(f"Ergebnisse erfolgreich in '{output_csv_path}' gespeichert.") + else: - logger.warning("Keine Firmen konnten extrahiert werden. Bitte Debug-Artefakte prüfen.") + logger.warning("Keine Firmen konnten extrahiert werden.") except Exception as e: - logger.critical(f"Ein kritischer Fehler ist im Hauptprozess aufgetreten: {e}", exc_info=False) + logger.critical(f"Ein kritischer Fehler ist im Hauptprozess aufgetreten: {e}", exc_info=True) finally: if scraper: scraper.close() - logger.info("Dealfront Automatisierung beendet.") \ No newline at end of file + + logger.info("Dealfront Automatisierung beendet.")``` + +### Zusammenfassung der Änderungen + +* **Paginierungslogik:** Die neue Methode `scrape_all_pages` kümmert sich um das Durchblättern der Seiten. +* **Stabiles Warten:** Anstatt fester `time.sleep`-Pausen warten wir nun mit `EC.staleness_of`, bis die alten Daten verschwunden sind. Das ist schnell und zuverlässig. +* **CSV-Export:** Die Ausgabe in der Konsole kann sehr lang werden. Daher werden die Ergebnisse jetzt direkt in eine **CSV-Datei** im `output`-Ordner gespeichert. Das ist sauberer und besser für die Weiterverarbeitung. + +### Nächster Schritt + +1. **Code ändern:** Fügen Sie die neue Methode hinzu und ersetzen Sie den `__main__`-Block. +2. **Testlauf in der Container-Shell:** + ```bash + python3 dealfront_enrichment.py + ``` + +**Erwartetes Ergebnis:** +Das Skript wird Seite für Seite durchgehen und die Logs entsprechend ausgeben. Am Ende finden Sie eine neue CSV-Datei in Ihrem `output`-Ordner, die alle extrahierten Firmennamen und Webseiten enthält. \ No newline at end of file