diff --git a/dealfront_enrichment.py b/dealfront_enrichment.py index c1c75ded..b7ed9dfb 100644 --- a/dealfront_enrichment.py +++ b/dealfront_enrichment.py @@ -121,40 +121,39 @@ class DealfrontScraper: self._save_debug_artifacts() return False - def extract_current_page_results(self): + def extract_current_page_results(self): """ - Extrahiert Daten NUR aus den sichtbaren Ergebniszeilen und optimiert die Wartezeiten. + Extrahiert Daten mit einem schnellen, direkten Ansatz, der Geister-Zeilen ignoriert. """ try: - logger.info("Extrahiere Ergebnisse mit dem finalen, präzisen Selektor...") + logger.info("Extrahiere Ergebnisse mit dem finalen, direkten Selektor-Ansatz...") results = [] - # 1. Da die vorige Methode schon gewartet hat, können wir hier direkt suchen. - # Der XPath findet NUR Zeilen, die einen Firmen-Link enthalten, und ignoriert Geister-Zeilen. - rows_with_data_selector = (By.XPATH, "//table[@id='t-result-table']/tbody/tr[.//a[contains(@class, 't-highlight-text')]]") - rows = self.driver.find_elements(*rows_with_data_selector) - logger.info(f"{len(rows)} gültige Datenzeilen zur Verarbeitung gefunden.") + # 1. Warten, bis die erste Daten-Zelle (Firmenname) sichtbar ist. + # Dies ist unser einziger Wartepunkt und bestätigt, dass die Daten geladen sind. + first_company_link_selector = (By.CSS_SELECTOR, "td.sticky-column a.t-highlight-text") + self.wait.until(EC.visibility_of_element_located(first_company_link_selector)) + + # 2. Finde ALLE Firmen-Links und ALLE Website-Links auf der Seite auf einmal. + # Das ist extrem schnell, da es nur zwei Suchbefehle an den Browser sind. + company_elements = self.driver.find_elements(By.CSS_SELECTOR, "td.sticky-column a.t-highlight-text") + website_elements = self.driver.find_elements(By.CSS_SELECTOR, "a.text-gray-400.t-highlight-text") - if not rows: - logger.warning("Konnte keine gültigen Datenzeilen extrahieren.") + logger.info(f"{len(company_elements)} Firmennamen und {len(website_elements)} Webseiten-Elemente gefunden.") + + # 3. Ordne die Ergebnisse anhand ihrer Reihenfolge im DOM zu. + # Wir gehen davon aus, dass die Anzahl übereinstimmt. + if not company_elements: + logger.warning("Keine Firmen mit dem angegebenen Selektor gefunden.") self._save_debug_artifacts() return [] - for row in rows: - try: - # Innerhalb dieser garantiert validen Zeilen können wir nun sicher extrahieren. - company_name = row.find_element(By.CSS_SELECTOR, ".sticky-column a.t-highlight-text").get_attribute("title").strip() - - # Versuche, die Webseite zu finden. Wenn nicht vorhanden, wird sie "N/A". - try: - website = row.find_element(By.CSS_SELECTOR, "a.text-gray-400.t-highlight-text").text.strip() - except NoSuchElementException: - website = "N/A" - - results.append({'name': company_name, 'website': website}) - except NoSuchElementException as e: - logger.warning(f"Konnte Daten aus einer validen Zeile nicht extrahieren: {e}") - continue + for i in range(len(company_elements)): + company_name = company_elements[i].get_attribute("title").strip() + # Wir ordnen die Webseite anhand des Indexes zu. + # Wenn es weniger Webseiten als Firmen gibt, fangen wir das ab. + website = website_elements[i].text.strip() if i < len(website_elements) else "N/A" + results.append({'name': company_name, 'website': website}) logger.info(f"Extraktion abgeschlossen. {len(results)} Firmen verarbeitet.") return results