From e6775ca6baf8949cf6a10be390698eb3fed8e3a4 Mon Sep 17 00:00:00 2001 From: Floke Date: Thu, 10 Jul 2025 13:54:13 +0000 Subject: [PATCH] dealfront_enrichment.py aktualisiert --- dealfront_enrichment.py | 75 ++++++++++++++++++----------------------- 1 file changed, 32 insertions(+), 43 deletions(-) diff --git a/dealfront_enrichment.py b/dealfront_enrichment.py index a3f9e93a..88a78fff 100644 --- a/dealfront_enrichment.py +++ b/dealfront_enrichment.py @@ -84,39 +84,39 @@ class DealfrontScraper: logger.error(f"Konnte Debug-Artefakte nicht speichern: {e}") def login_and_find_list(self, search_name): - try: - # Schritt 1: Login - logger.info(f"Navigiere zur Login-Seite: {TempConfig.DEALFRONT_LOGIN_URL}") - self.driver.get(TempConfig.DEALFRONT_LOGIN_URL) - self.wait.until(EC.visibility_of_element_located((By.NAME, "email"))).send_keys(self.username) - self.driver.find_element(By.CSS_SELECTOR, "input[type='password']").send_keys(self.password) - self.driver.find_element(By.XPATH, "//button[normalize-space()='Log in']").click() - logger.info("Login-Befehl gesendet.") + """ + Führt den gesamten Prozess vom Login bis zum Auffinden der Suchergebnisliste durch. + """ + try: + logger.info(f"Navigiere zur Login-Seite: {TempConfig.DEALFRONT_LOGIN_URL}") + self.driver.get(TempConfig.DEALFRONT_LOGIN_URL) + self.wait.until(EC.visibility_of_element_located((By.NAME, "email"))).send_keys(self.username) + self.driver.find_element(By.CSS_SELECTOR, "input[type='password']").send_keys(self.password) + self.driver.find_element(By.XPATH, "//button[normalize-space()='Log in']").click() + logger.info("Login-Befehl gesendet.") + + logger.info("Warte auf Dashboard und den 'Prospects finden' Quick-Link...") + prospects_link_selector = (By.XPATH, "//a[@data-test-target-product-tile]") + prospects_link = self.wait.until(EC.element_to_be_clickable(prospects_link_selector)) + prospects_link.click() + logger.info("'Prospects finden' geklickt.") - # Schritt 2: Navigation zur Target-Seite via Klick auf den Quick-Link - logger.info("Warte auf Dashboard und den 'Prospects finden' Quick-Link...") - prospects_link_selector = (By.XPATH, "//a[@data-test-target-product-tile]") - prospects_link = self.wait.until(EC.element_to_be_clickable(prospects_link_selector)) - prospects_link.click() - logger.info("'Prospects finden' geklickt.") - - # Schritt 3: Vordefinierte Suche laden - logger.info(f"Warte auf die Liste der Suchen und klicke auf '{search_name}'...") - search_item_selector = (By.XPATH, f"//div[contains(@class, 'truncate') and normalize-space()='{search_name}']") - self.wait.until(EC.element_to_be_clickable(search_item_selector)).click() - - # Schritt 4: Erfolg verifizieren durch Warten auf die Tabelle - logger.info(f"Suche '{search_name}' geladen. Warte auf das Rendern der Ergebnistabelle.") - first_row_locator = (By.CSS_SELECTOR, "table#t-result-table tbody tr[id]") - self.wait.until(EC.visibility_of_element_located(first_row_locator)) - - logger.info("Zielseite mit Ergebnissen erfolgreich erreicht.") - return True - except Exception as e: - logger.critical(f"Der Prozess bis zum Laden der Liste ist fehlgeschlagen: {type(e).__name__}", exc_info=True) - self._save_debug_artifacts() - return False + logger.info(f"Warte auf die Liste der Suchen und klicke auf '{search_name}'...") + search_item_selector = (By.XPATH, f"//div[contains(@class, 'truncate') and normalize-space()='{search_name}']") + self.wait.until(EC.element_to_be_clickable(search_item_selector)).click() + + logger.info(f"Suche '{search_name}' geladen. Warte auf Ergebnisse.") + first_row_locator = (By.CSS_SELECTOR, "td.sticky-after-checkbox a.t-highlight-text") + self.wait.until(EC.visibility_of_element_located(first_row_locator)) + + logger.info("Zielseite mit Ergebnissen erfolgreich erreicht.") + return True + except Exception as e: + logger.critical(f"Prozess bis zum Laden der Liste fehlgeschlagen: {type(e).__name__}", exc_info=True) + self._save_debug_artifacts() + return False + # HIER IST DIE KORREKTE EINRÜCKUNG def extract_current_page_results(self): """ Extrahiert Daten mit einem schnellen, direkten Ansatz, der Geister-Zeilen ignoriert. @@ -125,29 +125,18 @@ class DealfrontScraper: logger.info("Extrahiere Ergebnisse mit dem finalen, direkten Selektor-Ansatz...") results = [] - # 1. Warten, bis die erste Daten-Zelle (Firmenname) sichtbar ist. - # Dies ist unser einziger Wartepunkt und bestätigt, dass die Daten geladen sind. - first_company_link_selector = (By.CSS_SELECTOR, "td.sticky-column a.t-highlight-text") - self.wait.until(EC.visibility_of_element_located(first_company_link_selector)) - - # 2. Finde ALLE Firmen-Links und ALLE Website-Links auf der Seite auf einmal. - # Das ist extrem schnell, da es nur zwei Suchbefehle an den Browser sind. + # 1. Wir wissen, dass die Seite geladen ist, und können direkt suchen. company_elements = self.driver.find_elements(By.CSS_SELECTOR, "td.sticky-column a.t-highlight-text") website_elements = self.driver.find_elements(By.CSS_SELECTOR, "a.text-gray-400.t-highlight-text") logger.info(f"{len(company_elements)} Firmennamen und {len(website_elements)} Webseiten-Elemente gefunden.") - # 3. Ordne die Ergebnisse anhand ihrer Reihenfolge im DOM zu. - # Wir gehen davon aus, dass die Anzahl übereinstimmt. if not company_elements: logger.warning("Keine Firmen mit dem angegebenen Selektor gefunden.") - self._save_debug_artifacts() return [] for i in range(len(company_elements)): company_name = company_elements[i].get_attribute("title").strip() - # Wir ordnen die Webseite anhand des Indexes zu. - # Wenn es weniger Webseiten als Firmen gibt, fangen wir das ab. website = website_elements[i].text.strip() if i < len(website_elements) else "N/A" results.append({'name': company_name, 'website': website})