Floke/Brancheneinstufung2
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

claudes Move

Browse Source
This commit is contained in:
Floke
2025-07-10 17:05:48 +00:00
parent 7f7a222448
commit 04834ae515
1 changed files with 20 additions and 28 deletions
Download Patch File Download Diff File Expand all files Collapse all files

48
dealfront_enrichment.py
View File

@@ -116,43 +116,35 @@ class DealfrontScraper:
return False
def extract_current_page_results(self):
"""
Extrahiert Daten mit einem schnellen, direkten Ansatz, der Geister-Zeilen ignoriert.
"""
try:
logger.info("Extrahiere Ergebnisse mit dem finalen, direkten Selektor-Ansatz...")
logger.info("Extrahiere Ergebnisse zeilenweise...")
results = []
# 1. Warten, bis die erste Daten-Zelle (Firmenname) sichtbar ist.
# Das ist unser einziger Wartepunkt und bestätigt, dass die Daten geladen sind.
first_company_link_selector = (By.CSS_SELECTOR, "td.sticky-column a.t-highlight-text")
self.wait.until(EC.visibility_of_element_located(first_company_link_selector))
# 2. Finde ALLE Firmen-Links und ALLE Website-Links auf der Seite auf einmal.
# Das ist extrem schnell, da es nur zwei Suchbefehle an den Browser sind.
company_elements = self.driver.find_elements(By.CSS_SELECTOR, "td.sticky-column a.t-highlight-text")
website_elements = self.driver.find_elements(By.CSS_SELECTOR, "a.text-gray-400.t-highlight-text")
# Warte auf das Laden der Tabelle
table_rows = self.driver.find_elements(By.CSS_SELECTOR, "table#t-result-table tbody tr[id]")
logger.info(f"{len(table_rows)} Tabellenzeilen gefunden.")
logger.info(f"{len(company_elements)} Firmennamen und {len(website_elements)} Webseiten-Elemente gefunden.")
for row in table_rows:
# Firmenname extrahieren
try:
company_elem = row.find_element(By.CSS_SELECTOR, "td.sticky-column a.t-highlight-text")
company_name = company_elem.get_attribute("title").strip()
except NoSuchElementException:
company_name = "N/A"
# 3. Ordne die Ergebnisse anhand ihrer Reihenfolge im DOM zu.
if not company_elements:
logger.warning("Keine Firmen mit dem angegebenen Selektor gefunden.")
self._save_debug_artifacts()
return []
# Webseite extrahieren (kann fehlen)
try:
website_elem = row.find_element(By.CSS_SELECTOR, "a.text-gray-400.t-highlight-text")
website = website_elem.text.strip()
except NoSuchElementException:
website = "N/A"
for i in range(len(company_elements)):
company_name = company_elements[i].get_attribute("title").strip()
# Wir ordnen die Webseite anhand des Indexes zu.
# Wenn es weniger Webseiten als Firmen gibt, fangen wir das ab.
website = website_elements[i].text.strip() if i < len(website_elements) else "N/A"
results.append({'name': company_name, 'website': website})
logger.info(f"Extraktion abgeschlossen. {len(results)} Firmen verarbeitet.")
return results
except Exception as e:
logger.error(f"Schwerwiegender Fehler bei der Extraktion: {type(e).__name__}", exc_info=True)
logger.error(f"Fehler bei der zeilenweisen Extraktion: {type(e).__name__}", exc_info=True)
self._save_debug_artifacts()
return []