Floke/Brancheneinstufung2
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

dealfront_enrichment.py aktualisiert

Browse Source
This commit is contained in:
Floke
2025-07-03 19:41:20 +00:00
parent 5ddd7c05db
commit 4947b38d0c
1 changed files with 41 additions and 12 deletions
Download Patch File Download Diff File Expand all files Collapse all files

53
dealfront_enrichment.py
View File

@@ -148,33 +148,62 @@ class DealfrontScraper:
self._save_debug_artifacts()
return False
def extract_current_page_results(self):
# (Diese Methode bleibt vorerst unverändert)
logger.info("Extrahiere Ergebnisse von der aktuellen Seite...")
results = []
def extract_current_page_results(self):
"""
Extrahiert die Firmennamen und Webseiten von der aktuellen Ergebnisseite
unter Verwendung der verifizierten CSS-Selektoren.
"""
try:
rows_selector = (By.XPATH, "//tbody/tr")
logger.info("Extrahiere Ergebnisse von der aktuellen Seite...")
results = []
# 1. Finde alle Zeilen der Tabelle. Ein `tr` mit einer ID ist ein sehr guter Anker.
rows_selector = (By.CSS_SELECTOR, "tbody > tr[id]")
# Wir warten explizit, bis mindestens eine Zeile geladen ist.
self.wait.until(EC.presence_of_all_elements_located(rows_selector))
rows = self.driver.find_elements(*rows_selector)
if not rows:
logger.warning("Keine Ergebniszeilen auf der Seite gefunden.")
logger.warning("Keine Ergebniszeilen auf der Seite gefunden, obwohl darauf gewartet wurde.")
self._save_debug_artifacts()
return []
logger.info(f"{len(rows)} Ergebniszeilen gefunden.")
for row in rows:
logger.info(f"{len(rows)} Ergebniszeilen zur Verarbeitung gefunden.")
# 2. Iteriere durch jede Zeile und extrahiere die Daten.
for i, row in enumerate(rows):
company_name = ""
website = ""
try:
company_name = row.find_element(By.XPATH, ".//td[2]//a").text.strip()
website = row.find_element(By.XPATH, ".//td[3]//a").text.strip()
# Firmenname extrahieren
# Selektor: .sticky-column a.t-highlight-text
company_name_selector = (By.CSS_SELECTOR, ".sticky-column a.t-highlight-text")
company_name_element = row.find_element(*company_name_selector)
company_name = company_name_element.text.strip()
# Webseite extrahieren
# Selektor: td a.text-gray-400.t-highlight-text
# Wir suchen nach der dritten Tabellenzelle (td) und dann dem Link darin
website_selector = (By.CSS_SELECTOR, "td:nth-of-type(3) a")
website_element = row.find_element(*website_selector)
website = website_element.text.strip()
if company_name and website:
results.append({'name': company_name, 'website': website})
else:
logger.warning(f"Zeile {i+1}: Unvollständige Daten (Name: '{company_name}', Webseite: '{website}').")
except NoSuchElementException:
logger.warning("Konnte Name oder Webseite in einer Zeile nicht finden, überspringe Zeile.")
logger.warning(f"Zeile {i+1}: Ein erwartetes Element (Name oder Webseite) wurde nicht gefunden. Überspringe diese Zeile.")
# Optional: HTML der problematischen Zeile ausgeben für tiefere Analyse
# logger.debug(f"HTML der fehlerhaften Zeile: {row.get_attribute('outerHTML')}")
continue
logger.info(f"{len(results)} Firmen erfolgreich extrahiert.")
return results
except Exception as e:
logger.error(f"Fehler bei der Extraktion der Ergebnisse: {type(e).__name__}", exc_info=True)
logger.error(f"Ein schwerwiegender Fehler ist bei der Extraktion der Ergebnisse aufgetreten: {type(e).__name__}", exc_info=True)
self._save_debug_artifacts()
return []