Floke/Brancheneinstufung2
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

dealfront_enrichment.py aktualisiert

Browse Source
This commit is contained in:
Floke
2025-07-11 08:58:09 +00:00
parent b141fa987d
commit d3ca3d2d3b
1 changed files with 49 additions and 49 deletions
Download Patch File Download Diff File Expand all files Collapse all files

98
dealfront_enrichment.py
View File

@@ -152,60 +152,60 @@ class DealfrontScraper:
# --- NEUE METHODE FÜR PAGINIERUNG --- # --- NEUE METHODE FÜR PAGINIERUNG ---
def scrape_all_pages(self): def scrape_all_pages(self):
""" """
Iteriert durch alle Ergebnisseiten, indem auf den 'Weiter'-Button geklickt wird. Iteriert durch alle Ergebnisseiten, indem auf den 'Weiter'-Button geklickt wird.
""" """
all_companies = [] all_companies = []
page_number = 1 page_number = 1
while True:
logger.info(f"--- Verarbeite Seite {page_number} ---")
# Warten auf die erste Datenzeile auf der aktuellen Seite while True:
company_name_selector = (By.CSS_SELECTOR, "td.sticky-column a.t-highlight-text") logger.info(f"--- Verarbeite Seite {page_number} ---")
self.wait.until(EC.visibility_of_element_located(company_name_selector))
# Warten auf die erste Datenzeile auf der aktuellen Seite
# Daten der aktuellen Seite extrahieren company_name_selector = (By.CSS_SELECTOR, "td.sticky-column a.t-highlight-text")
page_results = self.extract_current_page_results() self.wait.until(EC.visibility_of_element_located(company_name_selector))
if not page_results:
logger.warning("Konnte keine Ergebnisse auf der aktuellen Seite extrahieren.") # Daten der aktuellen Seite extrahieren
break # Stoppen, wenn keine Daten gefunden wurden page_results = self.extract_current_page_results()
if not page_results:
all_companies.extend(page_results) logger.warning("Konnte keine Ergebnisse auf der aktuellen Seite extrahieren.")
logger.info(f"Seite {page_number}: {len(page_results)} Firmen gefunden. Gesamt: {len(all_companies)}") break # Stoppen, wenn keine Daten gefunden wurden
all_companies.extend(page_results)
logger.info(f"Seite {page_number}: {len(page_results)} Firmen gefunden. Gesamt: {len(all_companies)}")
# Weiter-Button finden # Weiter-Button finden
# Wir suchen nach einem Link, der ein SVG-Icon mit der Klasse 'fa-angle-right' enthält. # Wir suchen nach einem Link, der ein SVG-Icon mit der Klasse 'fa-angle-right' enthält.
next_page_button_selector = (By.CSS_SELECTOR, "a.eb-pagination-button:not([disabled]) > svg.fa-angle-right") next_page_button_selector = (By.CSS_SELECTOR, "a.eb-pagination-button:not([disabled]) > svg.fa-angle-right")
try:
next_button = self.wait.until(EC.element_to_be_clickable(next_page_button_selector))
# Prüfen, ob der Button wirklich klickbar ist und nicht nur vorhanden try:
if next_button.is_displayed() and next_button.is_enabled(): next_button = self.wait.until(EC.element_to_be_clickable(next_page_button_selector))
logger.info("Weiter-Button gefunden und klickbar. Klicke auf Weiter...")
self.driver.execute_script("arguments[0].click();", next_button)
page_number += 1
# Nach dem Klicken auf "Weiter" warten wir wieder auf das Erscheinen des ersten Elements der NEUEN Seite. # Prüfen, ob der Button wirklich klickbar ist und nicht nur vorhanden
# Das ist robuster als eine feste Zeit. if next_button.is_displayed() and next_button.is_enabled():
self.wait.until(EC.visibility_of_element_located(company_name_selector)) logger.info("Weiter-Button gefunden und klickbar. Klicke auf Weiter...")
logger.info("Neue Seite geladen.") self.driver.execute_script("arguments[0].click();", next_button)
else: page_number += 1
logger.info("Weiter-Button ist vorhanden, aber deaktiviert. Letzte Seite erreicht.")
# Nach dem Klicken auf "Weiter" warten wir wieder auf das Erscheinen des ersten Elements der NEUEN Seite.
# Das ist robuster als eine feste Zeit.
self.wait.until(EC.visibility_of_element_located(company_name_selector))
logger.info("Neue Seite geladen.")
else:
logger.info("Weiter-Button ist vorhanden, aber deaktiviert. Letzte Seite erreicht.")
break
except TimeoutException:
logger.info("Kein klickbarer 'Weiter'-Button gefunden. Letzte Seite erreicht.")
break break
except TimeoutException: except NoSuchElementException:
logger.info("Kein klickbarer 'Weiter'-Button gefunden. Letzte Seite erreicht.") logger.info("Kein 'Weiter'-Button gefunden. Letzte Seite erreicht.")
break break
except NoSuchElementException: except Exception as e:
logger.info("Kein 'Weiter'-Button gefunden. Letzte Seite erreicht.") logger.error(f"Unerwarteter Fehler beim Navigieren zur nächsten Seite: {e}")
break self._save_debug_artifacts()
except Exception as e: break
logger.error(f"Unerwarteter Fehler beim Navigieren zur nächsten Seite: {e}")
self._save_debug_artifacts() return all_companies
break
return all_companies
# Die extract_current_page_results Methode bleibt, wie sie zuletzt war, mit den robusten Selektoren # Die extract_current_page_results Methode bleibt, wie sie zuletzt war, mit den robusten Selektoren
def extract_current_page_results(self): def extract_current_page_results(self):