From 257e7c52b91cf93b6e7b2a09aa43574b552d0def Mon Sep 17 00:00:00 2001 From: Floke Date: Thu, 10 Jul 2025 13:15:55 +0000 Subject: [PATCH] dealfront_enrichment.py aktualisiert --- dealfront_enrichment.py | 88 ++++++++++++++++++++--------------------- 1 file changed, 44 insertions(+), 44 deletions(-) diff --git a/dealfront_enrichment.py b/dealfront_enrichment.py index 265e350c..07646c88 100644 --- a/dealfront_enrichment.py +++ b/dealfront_enrichment.py @@ -111,54 +111,54 @@ class DealfrontScraper: return False def extract_current_page_results(self): - """ - Extrahiert Daten NUR aus den sichtbaren Ergebniszeilen und optimiert die Wartezeiten. - """ - try: - logger.info("Extrahiere Ergebnisse mit dem finalen, präzisen Selektor...") - results = [] - - # 1. Warten, bis die erste Daten-Zelle (Firmenname) sichtbar ist. - # Das ist unser Anker, dass die Daten geladen sind. - first_company_link_selector = (By.CSS_SELECTOR, "td.sticky-after-checkbox a.t-highlight-text") - self.wait.until(EC.visibility_of_element_located(first_company_link_selector)) - - # 2. Finde NUR die Zeilen, die tatsächlich einen sichtbaren Firmennamen-Link enthalten. - # Dieser XPath ist extrem robust und filtert "Geister"-Zeilen heraus. - rows_with_data_selector = (By.XPATH, "//table[@id='t-result-table']/tbody/tr[.//a[contains(@class, 't-highlight-text')]]") - rows = self.driver.find_elements(*rows_with_data_selector) - logger.info(f"{len(rows)} gültige Datenzeilen zur Verarbeitung gefunden.") + """ + Extrahiert Daten NUR aus den sichtbaren Ergebniszeilen und optimiert die Wartezeiten. + """ + try: + logger.info("Extrahiere Ergebnisse mit dem finalen, präzisen Selektor...") + results = [] + + # 1. Warten, bis die erste Daten-Zelle (Firmenname) sichtbar ist. + # Das ist unser Anker, dass die Daten geladen sind. + first_company_link_selector = (By.CSS_SELECTOR, "td.sticky-after-checkbox a.t-highlight-text") + self.wait.until(EC.visibility_of_element_located(first_company_link_selector)) + + # 2. Finde NUR die Zeilen, die tatsächlich einen sichtbaren Firmennamen-Link enthalten. + # Dieser XPath ist extrem robust und filtert "Geister"-Zeilen heraus. + rows_with_data_selector = (By.XPATH, "//table[@id='t-result-table']/tbody/tr[.//a[contains(@class, 't-highlight-text')]]") + rows = self.driver.find_elements(*rows_with_data_selector) + logger.info(f"{len(rows)} gültige Datenzeilen zur Verarbeitung gefunden.") - if not rows: - logger.warning("Konnte keine gültigen Datenzeilen extrahieren.") - self._save_debug_artifacts() - return [] - - for row in rows: - try: - # Innerhalb dieser garantiert validen Zeilen können wir nun sicher extrahieren. - company_name = row.find_element(By.CSS_SELECTOR, ".sticky-column a.t-highlight-text").get_attribute("title").strip() - - # Versuche, die Webseite zu finden. Wenn nicht vorhanden, wird sie "N/A". - try: - website = row.find_element(By.CSS_SELECTOR, "a.text-gray-400.t-highlight-text").text.strip() - except NoSuchElementException: - website = "N/A" - - results.append({'name': company_name, 'website': website}) - except NoSuchElementException as e: - # Dieser Fall sollte jetzt kaum noch auftreten. - logger.warning(f"Konnte Daten aus einer validen Zeile nicht extrahieren: {e}") - continue - - logger.info(f"Extraktion abgeschlossen. {len(results)} Firmen verarbeitet.") - return results - - except Exception as e: - logger.error(f"Schwerwiegender Fehler bei der Extraktion: {type(e).__name__}", exc_info=True) + if not rows: + logger.warning("Konnte keine gültigen Datenzeilen extrahieren.") self._save_debug_artifacts() return [] + for row in rows: + try: + # Innerhalb dieser garantiert validen Zeilen können wir nun sicher extrahieren. + company_name = row.find_element(By.CSS_SELECTOR, ".sticky-column a.t-highlight-text").get_attribute("title").strip() + + # Versuche, die Webseite zu finden. Wenn nicht vorhanden, wird sie "N/A". + try: + website = row.find_element(By.CSS_SELECTOR, "a.text-gray-400.t-highlight-text").text.strip() + except NoSuchElementException: + website = "N/A" + + results.append({'name': company_name, 'website': website}) + except NoSuchElementException as e: + # Dieser Fall sollte jetzt kaum noch auftreten. + logger.warning(f"Konnte Daten aus einer validen Zeile nicht extrahieren: {e}") + continue + + logger.info(f"Extraktion abgeschlossen. {len(results)} Firmen verarbeitet.") + return results + + except Exception as e: + logger.error(f"Schwerwiegender Fehler bei der Extraktion: {type(e).__name__}", exc_info=True) + self._save_debug_artifacts() + return [] + def close(self): if self.driver: