Floke/Brancheneinstufung2
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

dealfront_enrichment.py aktualisiert

Browse Source
This commit is contained in:
Floke
2025-07-10 12:53:46 +00:00
parent 0f9bb84ece
commit 3e17f4b267
1 changed files with 29 additions and 21 deletions
Download Patch File Download Diff File Expand all files Collapse all files

50
dealfront_enrichment.py
View File

@@ -115,35 +115,43 @@ class DealfrontScraper:
Extrahiert Daten NUR aus den sichtbaren Ergebniszeilen und optimiert die Wartezeiten.
"""
try:
logger.info("Extrahiere Ergebnisse von der aktuellen Seite (optimierter Ansatz)...")
logger.info("Extrahiere Ergebnisse mit dem finalen, präzisen Selektor...")
results = []
# Warten, bis die erste Daten-Zelle (Firmenname) sichtbar ist. Das ist unser Anker.
first_company_cell_selector = (By.CSS_SELECTOR, "td.sticky-after-checkbox a.t-highlight-text")
self.wait.until(EC.visibility_of_element_located(first_company_cell_selector))
# 1. Warten, bis die erste Daten-Zeile (bzw. deren Firmen-Link) sichtbar ist.
# Das ist unser Anker, dass die Daten geladen sind.
first_company_link_selector = (By.CSS_SELECTOR, "td.sticky-after-checkbox a.t-highlight-text")
self.wait.until(EC.visibility_of_element_located(first_company_link_selector))
# Finde alle Tabellenzeilen.
all_rows = self.driver.find_elements(By.CSS_SELECTOR, "table#t-result-table tbody tr")
logger.info(f"Insgesamt {len(all_rows)} <tr>-Elemente im tbody gefunden. Filtere nach sichtbaren Datenzeilen...")
# 2. Finde NUR die Zeilen, die tatsächlich einen Firmennamen-Link enthalten.
# Dieser XPath ist extrem robust.
rows_with_data_selector = (By.XPATH, "//table[@id='t-result-table']/tbody/tr[.//a[contains(@class, 't-highlight-text')]]")
rows = self.driver.find_elements(*rows_with_data_selector)
logger.info(f"{len(rows)} gültige Firmen-Datenzeilen gefunden.")
for i, row in enumerate(all_rows, 1):
if not rows:
logger.warning("Konnte keine gültigen Datenzeilen extrahieren.")
self._save_debug_artifacts()
return []
for row in rows:
try:
# Wir prüfen pro Zeile, ob sie die benötigten Elemente enthält.
# Das ist viel robuster als alle Elemente auf einmal zu suchen.
company_name_element = row.find_element(By.CSS_SELECTOR, "td.sticky-after-checkbox a.t-highlight-text")
company_name = company_name_element.get_attribute("title").strip()
website_element = row.find_element(By.CSS_SELECTOR, "td:nth-of-type(3) a")
website = website_element.text.strip()
# Innerhalb dieser garantiert validen Zeilen können wir nun sicher extrahieren.
company_name = row.find_element(By.CSS_SELECTOR, ".sticky-column a.t-highlight-text").get_attribute("title").strip()
if company_name:
results.append({'name': company_name, 'website': website or "N/A"})
except NoSuchElementException:
# Das ist jetzt erwartet für "Geister"-Zeilen. Wir loggen das nicht mehr als Warning.
# Versuche, die Webseite zu finden. Wenn nicht vorhanden, wird sie "N/A".
try:
website = row.find_element(By.CSS_SELECTOR, "a.text-gray-400.t-highlight-text").text.strip()
except NoSuchElementException:
website = "N/A"
results.append({'name': company_name, 'website': website})
except NoSuchElementException as e:
# Dieser Fall sollte jetzt kaum noch auftreten.
logger.warning(f"Konnte Daten aus einer Zeile nicht extrahieren, obwohl sie valide schien: {e}")
continue
logger.info(f"Extraktion abgeschlossen. {len(results)} gültige Firmen gefunden.")
logger.info(f"Extraktion abgeschlossen. {len(results)} Firmen verarbeitet.")
return results
except Exception as e: