Floke/Brancheneinstufung2
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

dealfront_enrichment.py aktualisiert

Browse Source
This commit is contained in:
Floke
2025-07-04 05:13:24 +00:00
parent 4a0fa3e35a
commit 0e81da2b5e
1 changed files with 33 additions and 26 deletions
Download Patch File Download Diff File Expand all files Collapse all files

57
dealfront_enrichment.py
View File

@@ -221,47 +221,54 @@ class DealfrontScraper:
self._save_debug_artifacts() self._save_debug_artifacts()
return False return False
def extract_current_page_results(self): def extract_current_page_results(self):
""" """
Extrahiert die Firmennamen und Webseiten von der aktuellen Ergebnisseite Extrahiert Firmennamen und Webseiten direkt von der Seite
mit einem finalen, robusten XPath-Selektor für die Datenzeilen. mithilfe der präzisen, von Ihnen verifizierten CSS-Selektoren.
""" """
try: try:
logger.info("Extrahiere Ergebnisse von der aktuellen Seite...") logger.info("Extrahiere Ergebnisse mit direkten CSS-Selektoren...")
results = [] results = []
# Warten, bis die Tabelle (bzw. ihr Body) da ist # Warten, bis das erste Element, das wir suchen, vorhanden ist.
table_body_selector = (By.CSS_SELECTOR, "table#t-result-table tbody") # Das ist ein guter Indikator, dass die Liste geladen ist.
self.wait.until(EC.presence_of_element_located(table_body_selector)) company_name_selector = ".sticky-column a.t-highlight-text"
time.sleep(3) # Letzte Pause, um das JS-Rendering abzuwarten self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, company_name_selector)))
time.sleep(3) # Kurze Pause, um sicherzustellen, dass alle Elemente gerendert sind.
# Finaler, robuster Selektor für die Datenzeilen: # === DIREKTE EXTRAKTION MIT IHREN SELEKTOREN ===
# Wir suchen alle `tr`-Elemente innerhalb des `tbody`, die eine `id` haben. company_elements = self.driver.find_elements(By.CSS_SELECTOR, company_name_selector)
rows_selector = (By.CSS_SELECTOR, "table#t-result-table tbody tr[id]") website_elements = self.driver.find_elements(By.CSS_SELECTOR, "a.text-gray-400.t-highlight-text")
rows = self.driver.find_elements(*rows_selector)
if not rows: logger.info(f"{len(company_elements)} Firmennamen und {len(website_elements)} Webseiten-Elemente gefunden.")
logger.warning("Keine Ergebniszeilen (tr[id]) auf der Seite gefunden. HTML-Struktur hat sich möglicherweise geändert.")
# Wir gehen davon aus, dass die Anzahl der Elemente übereinstimmt und iterieren
# über die kürzere der beiden Listen, um Fehler zu vermeiden.
num_results = min(len(company_elements), len(website_elements))
if num_results == 0:
logger.warning("Keine Firmen oder Webseiten mit den angegebenen Selektoren gefunden.")
self._save_debug_artifacts() self._save_debug_artifacts()
return [] return []
logger.info(f"{len(rows)} Firmen-Datenzeilen zur Verarbeitung gefunden.") for i in range(num_results):
for i, row in enumerate(rows, 1):
try: try:
# Wir verwenden die stabilen Selektoren, die Sie identifiziert haben. company_name = company_elements[i].get_attribute("title").strip()
company_name = row.find_element(By.CSS_SELECTOR, ".sticky-column a.t-highlight-text").get_attribute("title").strip() website = website_elements[i].text.strip()
website = row.find_element(By.CSS_SELECTOR, "a.text-gray-400.t-highlight-text").text.strip()
results.append({'name': company_name, 'website': website}) if company_name and website:
except NoSuchElementException: results.append({'name': company_name, 'website': website})
logger.warning(f"Zeile {i}: Konnte Name oder Webseite nicht extrahieren. Überspringe.") else:
logger.warning(f"Element {i+1}: Unvollständige Daten.")
except Exception as e:
logger.warning(f"Fehler bei der Verarbeitung von Element {i+1}: {e}")
continue continue
logger.info(f"Extraktion abgeschlossen. {len(results)} Firmen gefunden.") logger.info(f"Extraktion abgeschlossen. {len(results)} Firmen erfolgreich zugeordnet.")
return results return results
except Exception as e: except Exception as e:
logger.error(f"Schwerwiegender Fehler bei der Extraktion: {type(e).__name__}", exc_info=True) logger.error(f"Ein schwerwiegender Fehler ist bei der Extraktion der Ergebnisse aufgetreten: {type(e).__name__}", exc_info=True)
self._save_debug_artifacts() self._save_debug_artifacts()
return [] return []