Floke/Brancheneinstufung2
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

dealfront_enrichment.py aktualisiert

Browse Source
This commit is contained in:
Floke
2025-07-03 20:14:06 +00:00
parent 53840f8499
commit fd54bc8e62
1 changed files with 9 additions and 12 deletions
Download Patch File Download Diff File Expand all files Collapse all files

21
dealfront_enrichment.py
View File

@@ -152,19 +152,19 @@ class DealfrontScraper:
def extract_current_page_results(self): def extract_current_page_results(self):
""" """
Extrahiert die Firmennamen und Webseiten von der aktuellen Ergebnisseite Extrahiert die Firmennamen und Webseiten von der aktuellen Ergebnisseite
unter Verwendung der verifizierten HTML-Struktur. unter Verwendung der verifizierten und präzisen CSS-Selektoren.
""" """
try: try:
logger.info("Extrahiere Ergebnisse von der aktuellen Seite...") logger.info("Extrahiere Ergebnisse von der aktuellen Seite...")
results = [] results = []
# 1. Finde alle Zeilen der Tabelle. # 1. Finde alle Zeilen der Tabelle.
# Jede Zeile ist ein `<tr>`-Element mit einer ID innerhalb des `<tbody>`. # Jede Zeile ist ein `<tr>`-Element mit einer einzigartigen ID.
rows_selector = (By.CSS_SELECTOR, "table#t-result-table tbody > tr[id]") rows_selector = (By.CSS_SELECTOR, "table#t-result-table tbody > tr[id]")
# Wir warten explizit, bis mindestens eine Zeile geladen ist. # Wir warten explizit, bis mindestens eine Zeile geladen ist.
self.wait.until(EC.presence_of_element_located(rows_selector)) self.wait.until(EC.presence_of_element_located(rows_selector))
time.sleep(2) # Kurze zusätzliche Pause, um sicherzustellen, dass JS die Tabelle vollständig rendert. time.sleep(3) # Kurze zusätzliche Pause, um sicherzustellen, dass JS die Tabelle vollständig rendert.
rows = self.driver.find_elements(*rows_selector) rows = self.driver.find_elements(*rows_selector)
if not rows: if not rows:
@@ -179,17 +179,14 @@ class DealfrontScraper:
company_name = "" company_name = ""
website = "" website = ""
try: try:
# Firmenname extrahieren: # --- KORRIGIERTER FIRMENNAMEN-SELEKTOR ---
# Wir suchen nach dem Link innerhalb der Zelle mit der CSS-Klasse 'sticky-after-checkbox' company_name_selector = (By.CSS_SELECTOR, ".sticky-column a.t-highlight-text")
company_name_selector = (By.CSS_SELECTOR, "td.sticky-after-checkbox a.t-highlight-text")
company_name_element = row.find_element(*company_name_selector) company_name_element = row.find_element(*company_name_selector)
company_name = company_name_element.text.strip() # Wir holen uns das 'title'-Attribut, da der Text abgeschnitten sein könnte.
company_name = company_name_element.get_attribute("title").strip()
# Webseite extrahieren: # --- KORRIGIERTER WEBSEITEN-SELEKTOR ---
# Wir suchen nach dem Link in der Zelle, die direkt auf die 'countryCode'-Zelle folgt. website_selector = (By.CSS_SELECTOR, "a.text-gray-400.t-highlight-text")
# Dies ist eine Annahme basierend auf der Spaltenreihenfolge. Eine bessere Methode wäre, die Spalten dynamisch zuzuordnen.
# Fürs Erste probieren wir es mit der Spaltenposition (dritte td).
website_selector = (By.CSS_SELECTOR, "td:nth-of-type(3) a")
website_element = row.find_element(*website_selector) website_element = row.find_element(*website_selector)
website = website_element.text.strip() website = website_element.text.strip()