diff --git a/dealfront_enrichment.py b/dealfront_enrichment.py index 58aba988..79098f9a 100644 --- a/dealfront_enrichment.py +++ b/dealfront_enrichment.py @@ -116,27 +116,47 @@ class DealfrontScraper: return False def extract_current_page_results(self): + """ + Extrahiert Daten mit einem schnellen, zeilen-fokussierten Ansatz. + Ignoriert "Geister"-Zeilen und verhindert Timeouts. + """ try: - logger.info("Extrahiere Ergebnisse von der aktuellen Seite...") + logger.info("Extrahiere Ergebnisse mit dem finalen, optimierten Ansatz...") results = [] + + # 1. Warten, bis die erste Daten-Zelle (Firmenname) sichtbar ist. + # Das ist unser einziger Wartepunkt und bestätigt, dass die Daten geladen sind. + first_company_link_selector = (By.CSS_SELECTOR, "td.sticky-column a.t-highlight-text") + self.wait.until(EC.visibility_of_element_located(first_company_link_selector)) + + # 2. Finde NUR die Zeilen, die tatsächlich einen sichtbaren Firmennamen-Link enthalten. + # Dieser XPath ist extrem robust. rows_with_data_selector = (By.XPATH, "//table[@id='t-result-table']/tbody/tr[.//a[contains(@class, 't-highlight-text')]]") - rows = self.wait.until(EC.presence_of_all_elements_located(rows_with_data_selector)) - logger.info(f"{len(rows)} gültige Firmen-Datenzeilen gefunden.") + rows = self.driver.find_elements(*rows_with_data_selector) + logger.info(f"{len(rows)} gültige Datenzeilen zur Verarbeitung gefunden.") for row in rows: try: + # Innerhalb dieser garantiert validen Zeilen können wir nun sicher extrahieren. company_name = row.find_element(By.CSS_SELECTOR, ".sticky-column a.t-highlight-text").get_attribute("title").strip() - website = "N/A" + + # Versuche, die Webseite zu finden. Wenn nicht vorhanden, wird sie "N/A". try: website = row.find_element(By.CSS_SELECTOR, "a.text-gray-400.t-highlight-text").text.strip() except NoSuchElementException: - pass # Bleibt N/A, wenn keine Webseite gefunden wird + website = "N/A" + results.append({'name': company_name, 'website': website}) except Exception as e: - logger.warning(f"Konnte eine Zeile nicht verarbeiten: {e}") + # Dieser Fall sollte jetzt kaum noch auftreten. + logger.warning(f"Konnte Daten aus einer scheinbar validen Zeile nicht extrahieren: {e}") + continue + + logger.info(f"Extraktion abgeschlossen. {len(results)} Firmen verarbeitet.") return results + except Exception as e: - logger.error(f"Fehler bei der Extraktion.", exc_info=True) + logger.error(f"Schwerwiegender Fehler bei der Extraktion: {type(e).__name__}", exc_info=True) self._save_debug_artifacts() return []