Floke/Brancheneinstufung2
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

bugfix

Browse Source
This commit is contained in:
Floke
2025-07-08 09:23:20 +00:00
parent ad614c4147
commit 9aba6bbcb2
1 changed files with 25 additions and 30 deletions
Download Patch File Download Diff File Expand all files Collapse all files

55
dealfront_enrichment.py
View File

@@ -228,48 +228,43 @@ class DealfrontScraper:
def extract_current_page_results(self):
"""
Extrahiert Firmennamen und Webseiten direkt von der Seite
mithilfe der präzisen, von Ihnen verifizierten CSS-Selektoren.
Extrahiert die Firmennamen und Webseiten. Wenn keine Zeilen gefunden werden,
wird der komplette Seitenquelltext für die Analyse gespeichert.
"""
try:
logger.info("Extrahiere Ergebnisse mit direkten CSS-Selektoren...")
logger.info("Extrahiere Ergebnisse von der aktuellen Seite...")
results = []
# Warten, bis das erste Element, das wir suchen, vorhanden ist.
# Das ist ein guter Indikator, dass die Liste geladen ist.
company_name_selector = ".sticky-column a.t-highlight-text"
self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, company_name_selector)))
time.sleep(3) # Kurze Pause, um sicherzustellen, dass alle Elemente gerendert sind.
# Warten, bis ein stabiles Element der Seite geladen ist, z.B. die Tabellenüberschrift.
header_selector = (By.XPATH, "//th[normalize-space()='Firma']")
self.wait.until(EC.visibility_of_element_located(header_selector))
logger.info("Tabellen-Header gefunden. Warte kurz, damit die Datenzeilen rendern können...")
time.sleep(5) # Großzügige Wartezeit für das Rendern der Daten
# === DIREKTE EXTRAKTION MIT IHREN SELEKTOREN ===
company_elements = self.driver.find_elements(By.CSS_SELECTOR, company_name_selector)
website_elements = self.driver.find_elements(By.CSS_SELECTOR, "a.text-gray-400.t-highlight-text")
# Wir versuchen es erneut mit dem präzisesten Selektor für die Zeilen.
rows_selector = (By.CSS_SELECTOR, "table#t-result-table tbody tr[id]")
rows = self.driver.find_elements(*rows_selector)
logger.info(f"{len(company_elements)} Firmennamen und {len(website_elements)} Webseiten-Elemente gefunden.")
# Wir gehen davon aus, dass die Anzahl der Elemente übereinstimmt und iterieren
# über die kürzere der beiden Listen, um Fehler zu vermeiden.
num_results = min(len(company_elements), len(website_elements))
if num_results == 0:
logger.warning("Keine Firmen oder Webseiten mit den angegebenen Selektoren gefunden.")
if not rows:
logger.warning("Keine Ergebniszeilen (tr[id]) gefunden. Speichere den kompletten Seiten-Quelltext für die Analyse.")
# RUFE DIE DEBUG-FUNKTION AUF, UM DEN FEHLER ZU FINDEN
self._save_debug_artifacts()
logger.warning("HTML-Dump wurde erstellt. Breche die Extraktion ab.")
return []
for i in range(num_results):
logger.info(f"{len(rows)} Firmen-Datenzeilen zur Verarbeitung gefunden.")
# (Der Rest der Extraktionslogik bleibt wie zuvor)
for i, row in enumerate(rows, 1):
try:
company_name = company_elements[i].get_attribute("title").strip()
website = website_elements[i].text.strip()
if company_name and website:
results.append({'name': company_name, 'website': website})
else:
logger.warning(f"Element {i+1}: Unvollständige Daten.")
except Exception as e:
logger.warning(f"Fehler bei der Verarbeitung von Element {i+1}: {e}")
company_name = row.find_element(By.CSS_SELECTOR, ".sticky-column a.t-highlight-text").get_attribute("title").strip()
website = row.find_element(By.CSS_SELECTOR, "a.text-gray-400.t-highlight-text").text.strip()
results.append({'name': company_name, 'website': website})
except NoSuchElementException:
logger.warning(f"Zeile {i}: Konnte Name oder Webseite nicht extrahieren. Überspringe.")
continue
logger.info(f"Extraktion abgeschlossen. {len(results)} Firmen erfolgreich zugeordnet.")
logger.info(f"Extraktion abgeschlossen. {len(results)} Firmen gefunden.")
return results
except Exception as e: