Floke/Brancheneinstufung2
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

dealfront_enrichment.py aktualisiert

Browse Source
This commit is contained in:
Floke
2025-07-11 08:58:09 +00:00
parent 8368ab42d0
commit fd001f020b
1 changed files with 49 additions and 49 deletions
Download Patch File Download Diff File Expand all files Collapse all files

98
dealfront_enrichment.py
View File

@@ -152,60 +152,60 @@ class DealfrontScraper:
# --- NEUE METHODE FÜR PAGINIERUNG ---
def scrape_all_pages(self):
"""
Iteriert durch alle Ergebnisseiten, indem auf den 'Weiter'-Button geklickt wird.
"""
all_companies = []
page_number = 1
while True:
logger.info(f"--- Verarbeite Seite {page_number} ---")
"""
Iteriert durch alle Ergebnisseiten, indem auf den 'Weiter'-Button geklickt wird.
"""
all_companies = []
page_number = 1
# Warten auf die erste Datenzeile auf der aktuellen Seite
company_name_selector = (By.CSS_SELECTOR, "td.sticky-column a.t-highlight-text")
self.wait.until(EC.visibility_of_element_located(company_name_selector))
# Daten der aktuellen Seite extrahieren
page_results = self.extract_current_page_results()
if not page_results:
logger.warning("Konnte keine Ergebnisse auf der aktuellen Seite extrahieren.")
break # Stoppen, wenn keine Daten gefunden wurden
all_companies.extend(page_results)
logger.info(f"Seite {page_number}: {len(page_results)} Firmen gefunden. Gesamt: {len(all_companies)}")
while True:
logger.info(f"--- Verarbeite Seite {page_number} ---")
# Warten auf die erste Datenzeile auf der aktuellen Seite
company_name_selector = (By.CSS_SELECTOR, "td.sticky-column a.t-highlight-text")
self.wait.until(EC.visibility_of_element_located(company_name_selector))
# Daten der aktuellen Seite extrahieren
page_results = self.extract_current_page_results()
if not page_results:
logger.warning("Konnte keine Ergebnisse auf der aktuellen Seite extrahieren.")
break # Stoppen, wenn keine Daten gefunden wurden
all_companies.extend(page_results)
logger.info(f"Seite {page_number}: {len(page_results)} Firmen gefunden. Gesamt: {len(all_companies)}")
# Weiter-Button finden
# Wir suchen nach einem Link, der ein SVG-Icon mit der Klasse 'fa-angle-right' enthält.
next_page_button_selector = (By.CSS_SELECTOR, "a.eb-pagination-button:not([disabled]) > svg.fa-angle-right")
try:
next_button = self.wait.until(EC.element_to_be_clickable(next_page_button_selector))
# Weiter-Button finden
# Wir suchen nach einem Link, der ein SVG-Icon mit der Klasse 'fa-angle-right' enthält.
next_page_button_selector = (By.CSS_SELECTOR, "a.eb-pagination-button:not([disabled]) > svg.fa-angle-right")
# Prüfen, ob der Button wirklich klickbar ist und nicht nur vorhanden
if next_button.is_displayed() and next_button.is_enabled():
logger.info("Weiter-Button gefunden und klickbar. Klicke auf Weiter...")
self.driver.execute_script("arguments[0].click();", next_button)
page_number += 1
try:
next_button = self.wait.until(EC.element_to_be_clickable(next_page_button_selector))
# Nach dem Klicken auf "Weiter" warten wir wieder auf das Erscheinen des ersten Elements der NEUEN Seite.
# Das ist robuster als eine feste Zeit.
self.wait.until(EC.visibility_of_element_located(company_name_selector))
logger.info("Neue Seite geladen.")
else:
logger.info("Weiter-Button ist vorhanden, aber deaktiviert. Letzte Seite erreicht.")
# Prüfen, ob der Button wirklich klickbar ist und nicht nur vorhanden
if next_button.is_displayed() and next_button.is_enabled():
logger.info("Weiter-Button gefunden und klickbar. Klicke auf Weiter...")
self.driver.execute_script("arguments[0].click();", next_button)
page_number += 1
# Nach dem Klicken auf "Weiter" warten wir wieder auf das Erscheinen des ersten Elements der NEUEN Seite.
# Das ist robuster als eine feste Zeit.
self.wait.until(EC.visibility_of_element_located(company_name_selector))
logger.info("Neue Seite geladen.")
else:
logger.info("Weiter-Button ist vorhanden, aber deaktiviert. Letzte Seite erreicht.")
break
except TimeoutException:
logger.info("Kein klickbarer 'Weiter'-Button gefunden. Letzte Seite erreicht.")
break
except TimeoutException:
logger.info("Kein klickbarer 'Weiter'-Button gefunden. Letzte Seite erreicht.")
break
except NoSuchElementException:
logger.info("Kein 'Weiter'-Button gefunden. Letzte Seite erreicht.")
break
except Exception as e:
logger.error(f"Unerwarteter Fehler beim Navigieren zur nächsten Seite: {e}")
self._save_debug_artifacts()
break
return all_companies
except NoSuchElementException:
logger.info("Kein 'Weiter'-Button gefunden. Letzte Seite erreicht.")
break
except Exception as e:
logger.error(f"Unerwarteter Fehler beim Navigieren zur nächsten Seite: {e}")
self._save_debug_artifacts()
break
return all_companies
# Die extract_current_page_results Methode bleibt, wie sie zuletzt war, mit den robusten Selektoren
def extract_current_page_results(self):