Floke/Brancheneinstufung2
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

dealfront_enrichment.py aktualisiert

Browse Source
This commit is contained in:
Floke
2025-07-10 14:41:39 +00:00
parent c97137aaca
commit b6cb642a0b
1 changed files with 27 additions and 7 deletions
Download Patch File Download Diff File Expand all files Collapse all files

34
dealfront_enrichment.py
View File

@@ -116,27 +116,47 @@ class DealfrontScraper:
return False return False
def extract_current_page_results(self): def extract_current_page_results(self):
"""
Extrahiert Daten mit einem schnellen, zeilen-fokussierten Ansatz.
Ignoriert "Geister"-Zeilen und verhindert Timeouts.
"""
try: try:
logger.info("Extrahiere Ergebnisse von der aktuellen Seite...") logger.info("Extrahiere Ergebnisse mit dem finalen, optimierten Ansatz...")
results = [] results = []
# 1. Warten, bis die erste Daten-Zelle (Firmenname) sichtbar ist.
# Das ist unser einziger Wartepunkt und bestätigt, dass die Daten geladen sind.
first_company_link_selector = (By.CSS_SELECTOR, "td.sticky-column a.t-highlight-text")
self.wait.until(EC.visibility_of_element_located(first_company_link_selector))
# 2. Finde NUR die Zeilen, die tatsächlich einen sichtbaren Firmennamen-Link enthalten.
# Dieser XPath ist extrem robust.
rows_with_data_selector = (By.XPATH, "//table[@id='t-result-table']/tbody/tr[.//a[contains(@class, 't-highlight-text')]]") rows_with_data_selector = (By.XPATH, "//table[@id='t-result-table']/tbody/tr[.//a[contains(@class, 't-highlight-text')]]")
rows = self.wait.until(EC.presence_of_all_elements_located(rows_with_data_selector)) rows = self.driver.find_elements(*rows_with_data_selector)
logger.info(f"{len(rows)} gültige Firmen-Datenzeilen gefunden.") logger.info(f"{len(rows)} gültige Datenzeilen zur Verarbeitung gefunden.")
for row in rows: for row in rows:
try: try:
# Innerhalb dieser garantiert validen Zeilen können wir nun sicher extrahieren.
company_name = row.find_element(By.CSS_SELECTOR, ".sticky-column a.t-highlight-text").get_attribute("title").strip() company_name = row.find_element(By.CSS_SELECTOR, ".sticky-column a.t-highlight-text").get_attribute("title").strip()
website = "N/A"
# Versuche, die Webseite zu finden. Wenn nicht vorhanden, wird sie "N/A".
try: try:
website = row.find_element(By.CSS_SELECTOR, "a.text-gray-400.t-highlight-text").text.strip() website = row.find_element(By.CSS_SELECTOR, "a.text-gray-400.t-highlight-text").text.strip()
except NoSuchElementException: except NoSuchElementException:
pass # Bleibt N/A, wenn keine Webseite gefunden wird website = "N/A"
results.append({'name': company_name, 'website': website}) results.append({'name': company_name, 'website': website})
except Exception as e: except Exception as e:
logger.warning(f"Konnte eine Zeile nicht verarbeiten: {e}") # Dieser Fall sollte jetzt kaum noch auftreten.
logger.warning(f"Konnte Daten aus einer scheinbar validen Zeile nicht extrahieren: {e}")
continue
logger.info(f"Extraktion abgeschlossen. {len(results)} Firmen verarbeitet.")
return results return results
except Exception as e: except Exception as e:
logger.error(f"Fehler bei der Extraktion.", exc_info=True) logger.error(f"Schwerwiegender Fehler bei der Extraktion: {type(e).__name__}", exc_info=True)
self._save_debug_artifacts() self._save_debug_artifacts()
return [] return []