Floke/Brancheneinstufung2
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

bugfix

Browse Source
This commit is contained in:
Floke
2025-07-03 11:52:40 +00:00
parent 5d1ece87d8
commit dee462c8eb
1 changed files with 23 additions and 9 deletions
Download Patch File Download Diff File Expand all files Collapse all files

32
dealfront_enrichment.py
View File

@@ -136,20 +136,34 @@ class DealfrontScraper:
def navigate_to_target(self):
"""Navigiert direkt zur URL des 'Target'-Bereichs."""
"""
Navigiert zum 'Target'-Bereich und verifiziert den Erfolg in drei Schritten.
Dieser Ansatz ist maximal robust gegen Timing-Probleme von SPAs.
"""
try:
logger.info(f"Navigiere direkt zur Target-URL: {Config.DEALFRONT_TARGET_URL}")
# SCHRITT 1: Befehl zur Navigation geben
logger.info(f"Gebe Navigationsbefehl zur Target-URL: {Config.DEALFRONT_TARGET_URL}")
self.driver.get(Config.DEALFRONT_TARGET_URL)
# SCHRITT 2: Warten, bis die URL in der Adresszeile sich tatsächlich ändert.
# Das ist der kritischste Schritt, um zu bestätigen, dass der Navigations-Request
# vom Browser verarbeitet wurde. Wir suchen nach dem Teil "/t/prospector/".
url_part_to_wait_for = "/t/prospector/"
logger.info(f"Warte, bis die Browser-URL '{url_part_to_wait_for}' enthält...")
self.wait.until(EC.url_contains(url_part_to_wait_for))
logger.info(f"URL-Wechsel bestätigt. Aktuelle URL: {self.driver.current_url}")
# SCHRITT 3: ERST JETZT auf ein sichtbares Element auf der neuen Seite warten.
# Dies bestätigt, dass die Seite nicht nur navigiert, sondern auch gerendert wurde.
verification_selector = (By.XPATH, "//button[normalize-space()='+ Neue Suche']")
logger.info(f"Warte auf Sichtbarkeit des Verifizierungs-Elements auf der Target-Seite: {verification_selector}")
self.wait.until(EC.visibility_of_element_located(verification_selector))
# Verifizieren, dass die Seite geladen ist, indem wir auf den "+ Neue Suche"-Button warten.
# Dieser Selektor ist von unserer ursprünglichen Strategie und sollte hier funktionieren.
new_search_button_selector = (By.XPATH, "//button[normalize-space()='+ Neue Suche']")
self.wait.until(EC.visibility_of_element_located(new_search_button_selector))
logger.info("'Target'-Seite erfolgreich via URL-Aufruf geladen.")
logger.info("'Target'-Seite erfolgreich und vollständig geladen.")
return True
except Exception as e:
logger.critical(f"Direkte Navigation zur 'Target'-Seite fehlgeschlagen: {type(e).__name__}", exc_info=True)
logger.critical(f"Navigation zur 'Target'-Seite endgültig fehlgeschlagen: {type(e).__name__}", exc_info=True)
self._save_debug_artifacts()
return False