Floke/Brancheneinstufung2
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

dealfront_enrichment.py aktualisiert

Browse Source
This commit is contained in:
Floke
2025-07-03 12:00:22 +00:00
parent 63770a46c8
commit cfd2de2a5a
1 changed files with 37 additions and 28 deletions
Download Patch File Download Diff File Expand all files Collapse all files

61
dealfront_enrichment.py
View File

@@ -232,45 +232,54 @@ class DealfrontScraper:
self.driver.quit() self.driver.quit()
if __name__ == "__main__": if __name__ == "__main__":
logger.info("Starte Dealfront Automatisierung - Phase 2a: Suche und Extraktion") logger.info("Starte Dealfront Automatisierung - MAXIMALER DEBUG-MODUS")
scraper = None scraper = None
try: try:
scraper = DealfrontScraper() scraper = DealfrontScraper()
if scraper.driver: if not scraper.driver:
# Schritt 1: Login raise Exception("WebDriver konnte nicht initialisiert werden.")
if not scraper.login():
raise Exception("Login fehlgeschlagen.")
logger.info("Login erfolgreich. Pausiere kurz vor der Navigation.") # --- SCHRITT 1: LOGIN ---
time.sleep(3) if not scraper.login():
raise Exception("Login fehlgeschlagen.")
logger.info(f"Login erfolgreich abgeschlossen. Aktuelle URL: {scraper.driver.current_url}")
logger.info("Warte 5 Sekunden, um den Dashboard-Zustand zu stabilisieren...")
time.sleep(5)
# Schritt 2: Navigation # --- SCHRITT 2: NAVIGATION ZUR TARGET URL ---
if not scraper.navigate_to_target(): logger.info(f"Versuche jetzt, zur Target-URL zu navigieren: {Config.DEALFRONT_TARGET_URL}")
raise Exception("Navigation zur Target-Seite fehlgeschlagen.") scraper.driver.get(Config.DEALFRONT_TARGET_URL)
logger.info("Navigationsbefehl zur Target-URL wurde gesendet.")
logger.info("Warte 5 Sekunden, damit die Navigation wirken kann...")
time.sleep(5)
# Schritt 3: Suche laden logger.info(f"URL nach Navigationsversuch: {scraper.driver.current_url}")
if not scraper.load_search(Config.TARGET_SEARCH_NAME): logger.info("Speichere Debug-Artefakte NACH dem Navigationsversuch...")
raise Exception(f"Laden der Suche '{Config.TARGET_SEARCH_NAME}' fehlgeschlagen.") scraper._save_debug_artifacts() # Wir erzwingen hier einen Dump, um den Zustand zu sehen
# Schritt 4: Ergebnisse extrahieren # --- SCHRITT 3: VERIFIZIERUNG VERSUCHEN ---
companies = scraper.extract_current_page_results() logger.info("Versuche jetzt, die Target-Seite zu verifizieren...")
if companies: # Warten, bis die URL sich tatsächlich ändert.
logger.info("===== Extrahierte Firmen (erste Seite) =====") url_part_to_wait_for = "/t/prospector/"
for company in companies: logger.info(f"Warte explizit, bis die URL '{url_part_to_wait_for}' enthält...")
logger.info(f" - Name: {company['name']}, Webseite: {company['website']}") scraper.wait.until(EC.url_contains(url_part_to_wait_for))
logger.info("===========================================") logger.info(f"URL-Wechsel bestätigt! Aktuelle URL: {scraper.driver.current_url}")
else:
logger.warning("Keine Firmen auf der ersten Seite extrahiert.")
logger.info("Phase 2a Test erfolgreich abgeschlossen. Warte vor dem Schließen...") # Warten auf sichtbares Element auf der neuen Seite.
time.sleep(10) verification_selector = (By.XPATH, "//button[normalize-space()='+ Neue Suche']")
logger.info(f"Warte auf Sichtbarkeit des Verifizierungs-Elements: {verification_selector}")
scraper.wait.until(EC.visibility_of_element_located(verification_selector))
logger.info("Verifizierung der Target-Seite ERFOLGREICH!")
except Exception as e: except Exception as e:
logger.critical(f"Ein kritischer Fehler ist im Hauptprozess aufgetreten: {e}", exc_info=False) logger.critical(f"Ein kritischer Fehler ist im Hauptprozess aufgetreten: {type(e).__name__} - {e}", exc_info=True)
# Der Screenshot wird schon in der Methode oder im try-Block gespeichert.
finally: finally:
if scraper: if scraper:
logger.info("Warte 10 Sekunden vor dem Schließen des Browsers...")
time.sleep(10)
scraper.close() scraper.close()
logger.info("Dealfront Automatisierung beendet.") logger.info("Dealfront Debugging-Lauf beendet.")