From 3183a7f7960f10d5920fb2a01376f8fc8634ed1b Mon Sep 17 00:00:00 2001 From: Floke Date: Thu, 10 Jul 2025 13:23:25 +0000 Subject: [PATCH] dealfront_enrichment.py aktualisiert --- dealfront_enrichment.py | 92 ++++++++++++++++++++++------------------- 1 file changed, 49 insertions(+), 43 deletions(-) diff --git a/dealfront_enrichment.py b/dealfront_enrichment.py index bbecbaee..c1c75ded 100644 --- a/dealfront_enrichment.py +++ b/dealfront_enrichment.py @@ -84,85 +84,91 @@ class DealfrontScraper: logger.error(f"Konnte Debug-Artefakte nicht speichern: {e}") def login_and_find_list(self, search_name): + """ + Führt den gesamten Prozess vom Login bis zum Auffinden der Suchergebnisliste durch. + Diese Methode ist für Geschwindigkeit und Stabilität optimiert. + """ try: + # Schritt 1: Login logger.info(f"Navigiere zur Login-Seite: {TempConfig.DEALFRONT_LOGIN_URL}") self.driver.get(TempConfig.DEALFRONT_LOGIN_URL) self.wait.until(EC.visibility_of_element_located((By.NAME, "email"))).send_keys(self.username) self.driver.find_element(By.CSS_SELECTOR, "input[type='password']").send_keys(self.password) self.driver.find_element(By.XPATH, "//button[normalize-space()='Log in']").click() - logger.info("Login-Befehl gesendet. Warte auf Navigation...") - + logger.info("Login-Befehl gesendet.") + + # Schritt 2: Navigation zur Target-Seite via Klick auf den Quick-Link + logger.info("Warte auf Dashboard und den 'Prospects finden' Quick-Link...") prospects_link_selector = (By.XPATH, "//a[@data-test-target-product-tile]") prospects_link = self.wait.until(EC.element_to_be_clickable(prospects_link_selector)) prospects_link.click() - logger.info("'Prospects finden' geklickt. Lade Suchliste...") + logger.info("'Prospects finden' geklickt.") + # Schritt 3: Vordefinierte Suche laden + logger.info(f"Warte auf die Liste der Suchen und klicke auf '{search_name}'...") search_item_selector = (By.XPATH, f"//div[contains(@class, 'truncate') and normalize-space()='{search_name}']") self.wait.until(EC.element_to_be_clickable(search_item_selector)).click() - logger.info(f"Suche '{search_name}' geladen. Warte auf Ergebnisse.") + # Schritt 4: Erfolg verifizieren durch Warten auf die Tabelle + logger.info(f"Suche '{search_name}' geladen. Warte auf das Rendern der Ergebnistabelle.") first_row_locator = (By.CSS_SELECTOR, "table#t-result-table tbody tr[id]") self.wait.until(EC.visibility_of_element_located(first_row_locator)) + logger.info("Zielseite mit Ergebnissen erfolgreich erreicht.") return True except Exception as e: - logger.critical(f"Prozess bis zum Laden der Liste fehlgeschlagen: {type(e).__name__}", exc_info=True) + logger.critical(f"Der Prozess bis zum Laden der Liste ist fehlgeschlagen: {type(e).__name__}", exc_info=True) self._save_debug_artifacts() return False - def extract_current_page_results(self): - """ - Extrahiert Daten NUR aus den sichtbaren Ergebniszeilen und optimiert die Wartezeiten. - """ - try: - logger.info("Extrahiere Ergebnisse mit dem finalen, präzisen Selektor...") - results = [] - - # 1. Warten, bis die erste Daten-Zelle (Firmenname) sichtbar ist. - first_company_link_selector = (By.CSS_SELECTOR, "td.sticky-after-checkbox a.t-highlight-text") - self.wait.until(EC.visibility_of_element_located(first_company_link_selector)) - - # 2. Finde NUR die Zeilen, die tatsächlich einen Firmennamen-Link enthalten. - rows_with_data_selector = (By.XPATH, "//table[@id='t-result-table']/tbody/tr[.//a[contains(@class, 't-highlight-text')]]") - rows = self.driver.find_elements(*rows_with_data_selector) - logger.info(f"{len(rows)} gültige Datenzeilen zur Verarbeitung gefunden.") + def extract_current_page_results(self): + """ + Extrahiert Daten NUR aus den sichtbaren Ergebniszeilen und optimiert die Wartezeiten. + """ + try: + logger.info("Extrahiere Ergebnisse mit dem finalen, präzisen Selektor...") + results = [] + + # 1. Da die vorige Methode schon gewartet hat, können wir hier direkt suchen. + # Der XPath findet NUR Zeilen, die einen Firmen-Link enthalten, und ignoriert Geister-Zeilen. + rows_with_data_selector = (By.XPATH, "//table[@id='t-result-table']/tbody/tr[.//a[contains(@class, 't-highlight-text')]]") + rows = self.driver.find_elements(*rows_with_data_selector) + logger.info(f"{len(rows)} gültige Datenzeilen zur Verarbeitung gefunden.") - if not rows: - logger.warning("Konnte keine gültigen Datenzeilen extrahieren.") - self._save_debug_artifacts() - return [] + if not rows: + logger.warning("Konnte keine gültigen Datenzeilen extrahieren.") + self._save_debug_artifacts() + return [] - for row in rows: + for row in rows: + try: + # Innerhalb dieser garantiert validen Zeilen können wir nun sicher extrahieren. + company_name = row.find_element(By.CSS_SELECTOR, ".sticky-column a.t-highlight-text").get_attribute("title").strip() + + # Versuche, die Webseite zu finden. Wenn nicht vorhanden, wird sie "N/A". try: - # Innerhalb dieser garantiert validen Zeilen können wir nun sicher extrahieren. - company_name = row.find_element(By.CSS_SELECTOR, ".sticky-column a.t-highlight-text").get_attribute("title").strip() + website = row.find_element(By.CSS_SELECTOR, "a.text-gray-400.t-highlight-text").text.strip() + except NoSuchElementException: + website = "N/A" - # Versuche, die Webseite zu finden. Wenn nicht vorhanden, wird sie "N/A". - try: - website = row.find_element(By.CSS_SELECTOR, "a.text-gray-400.t-highlight-text").text.strip() - except NoSuchElementException: - website = "N/A" - - results.append({'name': company_name, 'website': website}) - except NoSuchElementException as e: - logger.warning(f"Konnte Daten aus einer validen Zeile nicht extrahieren: {e}") - continue - - logger.info(f"Extraktion abgeschlossen. {len(results)} Firmen verarbeitet.") - return results + results.append({'name': company_name, 'website': website}) + except NoSuchElementException as e: + logger.warning(f"Konnte Daten aus einer validen Zeile nicht extrahieren: {e}") + continue + + logger.info(f"Extraktion abgeschlossen. {len(results)} Firmen verarbeitet.") + return results except Exception as e: logger.error(f"Schwerwiegender Fehler bei der Extraktion: {type(e).__name__}", exc_info=True) self._save_debug_artifacts() return [] - def close(self): if self.driver: logger.info("Schließe den WebDriver.") self.driver.quit() - if __name__ == "__main__": logger.info("Starte Dealfront Automatisierung - DEBUG-MODUS") scraper = None