Floke/Brancheneinstufung2
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

dealfront_enrichment.py aktualisiert

Browse Source
This commit is contained in:
Floke
2025-07-03 20:02:22 +00:00
parent 844424d036
commit 625de084aa
1 changed files with 15 additions and 13 deletions
Download Patch File Download Diff File Expand all files Collapse all files

28
dealfront_enrichment.py
View File

@@ -152,20 +152,23 @@ class DealfrontScraper:
def extract_current_page_results(self): def extract_current_page_results(self):
""" """
Extrahiert die Firmennamen und Webseiten von der aktuellen Ergebnisseite Extrahiert die Firmennamen und Webseiten von der aktuellen Ergebnisseite
unter Verwendung der verifizierten CSS-Selektoren. unter Verwendung der verifizierten HTML-Struktur.
""" """
try: try:
logger.info("Extrahiere Ergebnisse von der aktuellen Seite...") logger.info("Extrahiere Ergebnisse von der aktuellen Seite...")
results = [] results = []
# 1. Finde alle Zeilen der Tabelle. Ein `tr` mit einer ID ist ein sehr guter Anker. # 1. Finde alle Zeilen der Tabelle.
rows_selector = (By.CSS_SELECTOR, "tbody > tr[id]") # Jede Zeile ist ein `<tr>`-Element mit einer ID innerhalb des `<tbody>`.
rows_selector = (By.CSS_SELECTOR, "table#t-result-table tbody > tr[id]")
# Wir warten explizit, bis mindestens eine Zeile geladen ist. # Wir warten explizit, bis mindestens eine Zeile geladen ist.
self.wait.until(EC.presence_of_all_elements_located(rows_selector)) self.wait.until(EC.presence_of_element_located(rows_selector))
time.sleep(2) # Kurze zusätzliche Pause, um sicherzustellen, dass JS die Tabelle vollständig rendert.
rows = self.driver.find_elements(*rows_selector) rows = self.driver.find_elements(*rows_selector)
if not rows: if not rows:
logger.warning("Keine Ergebniszeilen auf der Seite gefunden, obwohl darauf gewartet wurde.") logger.warning("Keine Ergebniszeilen (tr[id]) auf der Seite gefunden.")
self._save_debug_artifacts() self._save_debug_artifacts()
return [] return []
@@ -176,15 +179,16 @@ class DealfrontScraper:
company_name = "" company_name = ""
website = "" website = ""
try: try:
# Firmenname extrahieren # Firmenname extrahieren:
# Selektor: .sticky-column a.t-highlight-text # Wir suchen nach dem Link innerhalb der Zelle mit der CSS-Klasse 'sticky-after-checkbox'
company_name_selector = (By.CSS_SELECTOR, ".sticky-column a.t-highlight-text") company_name_selector = (By.CSS_SELECTOR, "td.sticky-after-checkbox a.t-highlight-text")
company_name_element = row.find_element(*company_name_selector) company_name_element = row.find_element(*company_name_selector)
company_name = company_name_element.text.strip() company_name = company_name_element.text.strip()
# Webseite extrahieren # Webseite extrahieren:
# Selektor: td a.text-gray-400.t-highlight-text # Wir suchen nach dem Link in der Zelle, die direkt auf die 'countryCode'-Zelle folgt.
# Wir suchen nach der dritten Tabellenzelle (td) und dann dem Link darin # Dies ist eine Annahme basierend auf der Spaltenreihenfolge. Eine bessere Methode wäre, die Spalten dynamisch zuzuordnen.
# Fürs Erste probieren wir es mit der Spaltenposition (dritte td).
website_selector = (By.CSS_SELECTOR, "td:nth-of-type(3) a") website_selector = (By.CSS_SELECTOR, "td:nth-of-type(3) a")
website_element = row.find_element(*website_selector) website_element = row.find_element(*website_selector)
website = website_element.text.strip() website = website_element.text.strip()
@@ -196,8 +200,6 @@ class DealfrontScraper:
except NoSuchElementException: except NoSuchElementException:
logger.warning(f"Zeile {i+1}: Ein erwartetes Element (Name oder Webseite) wurde nicht gefunden. Überspringe diese Zeile.") logger.warning(f"Zeile {i+1}: Ein erwartetes Element (Name oder Webseite) wurde nicht gefunden. Überspringe diese Zeile.")
# Optional: HTML der problematischen Zeile ausgeben für tiefere Analyse
# logger.debug(f"HTML der fehlerhaften Zeile: {row.get_attribute('outerHTML')}")
continue continue
logger.info(f"{len(results)} Firmen erfolgreich extrahiert.") logger.info(f"{len(results)} Firmen erfolgreich extrahiert.")