dealfront_enrichment.py aktualisiert
This commit is contained in:
@@ -84,85 +84,91 @@ class DealfrontScraper:
|
||||
logger.error(f"Konnte Debug-Artefakte nicht speichern: {e}")
|
||||
|
||||
def login_and_find_list(self, search_name):
|
||||
"""
|
||||
Führt den gesamten Prozess vom Login bis zum Auffinden der Suchergebnisliste durch.
|
||||
Diese Methode ist für Geschwindigkeit und Stabilität optimiert.
|
||||
"""
|
||||
try:
|
||||
# Schritt 1: Login
|
||||
logger.info(f"Navigiere zur Login-Seite: {TempConfig.DEALFRONT_LOGIN_URL}")
|
||||
self.driver.get(TempConfig.DEALFRONT_LOGIN_URL)
|
||||
self.wait.until(EC.visibility_of_element_located((By.NAME, "email"))).send_keys(self.username)
|
||||
self.driver.find_element(By.CSS_SELECTOR, "input[type='password']").send_keys(self.password)
|
||||
self.driver.find_element(By.XPATH, "//button[normalize-space()='Log in']").click()
|
||||
logger.info("Login-Befehl gesendet. Warte auf Navigation...")
|
||||
|
||||
logger.info("Login-Befehl gesendet.")
|
||||
|
||||
# Schritt 2: Navigation zur Target-Seite via Klick auf den Quick-Link
|
||||
logger.info("Warte auf Dashboard und den 'Prospects finden' Quick-Link...")
|
||||
prospects_link_selector = (By.XPATH, "//a[@data-test-target-product-tile]")
|
||||
prospects_link = self.wait.until(EC.element_to_be_clickable(prospects_link_selector))
|
||||
prospects_link.click()
|
||||
logger.info("'Prospects finden' geklickt. Lade Suchliste...")
|
||||
logger.info("'Prospects finden' geklickt.")
|
||||
|
||||
# Schritt 3: Vordefinierte Suche laden
|
||||
logger.info(f"Warte auf die Liste der Suchen und klicke auf '{search_name}'...")
|
||||
search_item_selector = (By.XPATH, f"//div[contains(@class, 'truncate') and normalize-space()='{search_name}']")
|
||||
self.wait.until(EC.element_to_be_clickable(search_item_selector)).click()
|
||||
|
||||
logger.info(f"Suche '{search_name}' geladen. Warte auf Ergebnisse.")
|
||||
# Schritt 4: Erfolg verifizieren durch Warten auf die Tabelle
|
||||
logger.info(f"Suche '{search_name}' geladen. Warte auf das Rendern der Ergebnistabelle.")
|
||||
first_row_locator = (By.CSS_SELECTOR, "table#t-result-table tbody tr[id]")
|
||||
self.wait.until(EC.visibility_of_element_located(first_row_locator))
|
||||
|
||||
logger.info("Zielseite mit Ergebnissen erfolgreich erreicht.")
|
||||
return True
|
||||
except Exception as e:
|
||||
logger.critical(f"Prozess bis zum Laden der Liste fehlgeschlagen: {type(e).__name__}", exc_info=True)
|
||||
logger.critical(f"Der Prozess bis zum Laden der Liste ist fehlgeschlagen: {type(e).__name__}", exc_info=True)
|
||||
self._save_debug_artifacts()
|
||||
return False
|
||||
|
||||
def extract_current_page_results(self):
|
||||
"""
|
||||
Extrahiert Daten NUR aus den sichtbaren Ergebniszeilen und optimiert die Wartezeiten.
|
||||
"""
|
||||
try:
|
||||
logger.info("Extrahiere Ergebnisse mit dem finalen, präzisen Selektor...")
|
||||
results = []
|
||||
|
||||
# 1. Warten, bis die erste Daten-Zelle (Firmenname) sichtbar ist.
|
||||
first_company_link_selector = (By.CSS_SELECTOR, "td.sticky-after-checkbox a.t-highlight-text")
|
||||
self.wait.until(EC.visibility_of_element_located(first_company_link_selector))
|
||||
|
||||
# 2. Finde NUR die Zeilen, die tatsächlich einen Firmennamen-Link enthalten.
|
||||
rows_with_data_selector = (By.XPATH, "//table[@id='t-result-table']/tbody/tr[.//a[contains(@class, 't-highlight-text')]]")
|
||||
rows = self.driver.find_elements(*rows_with_data_selector)
|
||||
logger.info(f"{len(rows)} gültige Datenzeilen zur Verarbeitung gefunden.")
|
||||
def extract_current_page_results(self):
|
||||
"""
|
||||
Extrahiert Daten NUR aus den sichtbaren Ergebniszeilen und optimiert die Wartezeiten.
|
||||
"""
|
||||
try:
|
||||
logger.info("Extrahiere Ergebnisse mit dem finalen, präzisen Selektor...")
|
||||
results = []
|
||||
|
||||
# 1. Da die vorige Methode schon gewartet hat, können wir hier direkt suchen.
|
||||
# Der XPath findet NUR Zeilen, die einen Firmen-Link enthalten, und ignoriert Geister-Zeilen.
|
||||
rows_with_data_selector = (By.XPATH, "//table[@id='t-result-table']/tbody/tr[.//a[contains(@class, 't-highlight-text')]]")
|
||||
rows = self.driver.find_elements(*rows_with_data_selector)
|
||||
logger.info(f"{len(rows)} gültige Datenzeilen zur Verarbeitung gefunden.")
|
||||
|
||||
if not rows:
|
||||
logger.warning("Konnte keine gültigen Datenzeilen extrahieren.")
|
||||
self._save_debug_artifacts()
|
||||
return []
|
||||
if not rows:
|
||||
logger.warning("Konnte keine gültigen Datenzeilen extrahieren.")
|
||||
self._save_debug_artifacts()
|
||||
return []
|
||||
|
||||
for row in rows:
|
||||
for row in rows:
|
||||
try:
|
||||
# Innerhalb dieser garantiert validen Zeilen können wir nun sicher extrahieren.
|
||||
company_name = row.find_element(By.CSS_SELECTOR, ".sticky-column a.t-highlight-text").get_attribute("title").strip()
|
||||
|
||||
# Versuche, die Webseite zu finden. Wenn nicht vorhanden, wird sie "N/A".
|
||||
try:
|
||||
# Innerhalb dieser garantiert validen Zeilen können wir nun sicher extrahieren.
|
||||
company_name = row.find_element(By.CSS_SELECTOR, ".sticky-column a.t-highlight-text").get_attribute("title").strip()
|
||||
website = row.find_element(By.CSS_SELECTOR, "a.text-gray-400.t-highlight-text").text.strip()
|
||||
except NoSuchElementException:
|
||||
website = "N/A"
|
||||
|
||||
# Versuche, die Webseite zu finden. Wenn nicht vorhanden, wird sie "N/A".
|
||||
try:
|
||||
website = row.find_element(By.CSS_SELECTOR, "a.text-gray-400.t-highlight-text").text.strip()
|
||||
except NoSuchElementException:
|
||||
website = "N/A"
|
||||
|
||||
results.append({'name': company_name, 'website': website})
|
||||
except NoSuchElementException as e:
|
||||
logger.warning(f"Konnte Daten aus einer validen Zeile nicht extrahieren: {e}")
|
||||
continue
|
||||
|
||||
logger.info(f"Extraktion abgeschlossen. {len(results)} Firmen verarbeitet.")
|
||||
return results
|
||||
results.append({'name': company_name, 'website': website})
|
||||
except NoSuchElementException as e:
|
||||
logger.warning(f"Konnte Daten aus einer validen Zeile nicht extrahieren: {e}")
|
||||
continue
|
||||
|
||||
logger.info(f"Extraktion abgeschlossen. {len(results)} Firmen verarbeitet.")
|
||||
return results
|
||||
|
||||
except Exception as e:
|
||||
logger.error(f"Schwerwiegender Fehler bei der Extraktion: {type(e).__name__}", exc_info=True)
|
||||
self._save_debug_artifacts()
|
||||
return []
|
||||
|
||||
|
||||
def close(self):
|
||||
if self.driver:
|
||||
logger.info("Schließe den WebDriver.")
|
||||
self.driver.quit()
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
logger.info("Starte Dealfront Automatisierung - DEBUG-MODUS")
|
||||
scraper = None
|
||||
|
||||
Reference in New Issue
Block a user