From eaf9929dd1d53f6a4f5ebc5eb6cf838f1ffa87c5 Mon Sep 17 00:00:00 2001 From: Floke Date: Sun, 13 Jul 2025 13:57:01 +0000 Subject: [PATCH] dealfront_enrichment.py aktualisiert --- dealfront_enrichment.py | 104 ++++++++++++++++++++++++++-------------- 1 file changed, 69 insertions(+), 35 deletions(-) diff --git a/dealfront_enrichment.py b/dealfront_enrichment.py index 24f508ae..98a80496 100644 --- a/dealfront_enrichment.py +++ b/dealfront_enrichment.py @@ -25,7 +25,7 @@ logging.getLogger("selenium.webdriver.remote").setLevel(logging.WARNING) logger = logging.getLogger(__name__) os.makedirs(Config.OUTPUT_DIR, exist_ok=True) -log_filepath = os.path.join(Config.OUTPUT_DIR, f"dealfront_run_{time.strftime('%Y%m%d-%H%M%S')}.txt") +log_filepath = os.path.join(Config.OUTPUT_DIR, f"dealfront_run_{time.strftime('%Y%m%d-%H%M%S')}.log") file_handler = logging.FileHandler(log_filepath, mode='w', encoding='utf-8') file_handler.setFormatter(logging.Formatter(LOG_FORMAT)) logging.getLogger().addHandler(file_handler) @@ -82,12 +82,13 @@ class DealfrontScraper: logger.info("Login-Befehl gesendet. Warte 5 Sekunden auf Session-Etablierung.") time.sleep(5) # Verifizierung, dass wir nicht mehr auf der Login-Seite sind - if "login" in self.driver.current_url: - raise Exception("Weiterleitung nach Login fehlgeschlagen.") - logger.info("Login erfolgreich.") - return True + if "login" not in self.driver.current_url: + logger.info("Login erfolgreich, URL hat sich geändert.") + return True + self._save_debug_artifacts("login_stuck") + return False except Exception as e: - logger.critical(f"Login-Prozess fehlgeschlagen.", exc_info=True) + logger.critical("Login-Prozess fehlgeschlagen.", exc_info=True) self._save_debug_artifacts("login_exception") return False @@ -130,41 +131,74 @@ class DealfrontScraper: return results - def scrape_all_pages(self, max_pages=6): - all_companies = {} + def scrape_all_pages(self, max_pages=10): + """ + Iteriert durch alle Ergebnisseiten, wartet nach jedem Paginieren explizit auf neue Daten, + und sammelt alle Firmenzeilen seitengetreu (keine Deduplizierung). + """ + all_companies = [] for page_number in range(1, max_pages + 1): logger.info(f"--- Verarbeite Seite {page_number} ---") - self.wait.until(EC.visibility_of_element_located((By.CSS_SELECTOR, "table#t-result-table"))) - - # Scrollen, um alle 20 Zeilen zu laden - logger.info("Scrolle Seite nach unten, um alle Zeilen zu laden...") - self.driver.execute_script("window.scrollTo(0, document.body.scrollHeight);") - time.sleep(2) # Pause für das Rendern - - page_results = self.extract_current_page_results() - for company in page_results: - unique_key = (company.get('name'), company.get('website')) - all_companies[unique_key] = company - - logger.info(f"Seite {page_number}: {len(page_results)} Firmen extrahiert. Gesamt einzigartig: {len(all_companies)}") + # Vor dem Klick: Erste Zeilen-ID merken (oder Text, falls keine ID vorhanden) try: - # Eindeutiger XPath für den "Weiter"-Pfeil-Button, der nicht deaktiviert ist - next_button_selector = (By.XPATH, "//nav//a[not(contains(@class, 'disabled')) and .//svg[contains(@class, 'fa-angle-right')]]") - next_button = self.driver.find_element(*next_button_selector) - - self.driver.execute_script("arguments[0].scrollIntoView(true);", next_button) - time.sleep(1) - next_button.click() - - logger.info(f"Auf Seite {page_number + 1} geblättert. Warte auf neue Inhalte...") - time.sleep(4) # Feste Wartezeit für Seitenwechsel - except NoSuchElementException: + first_row_element = self.driver.find_element(By.CSS_SELECTOR, "table#t-result-table tbody tr[id]") + first_row_id = first_row_element.get_attribute("id") + logger.debug(f"Vor Pagination: Erste Zeilen-ID ist {first_row_id}") + except Exception: + first_row_id = None + logger.debug("Vor Pagination: Keine Zeilen-ID gefunden.") + + # Extrahiere aktuelle Seite + page_results = self.extract_current_page_results() + logger.info(f"Seite {page_number}: {len(page_results)} Firmen gefunden. Gesamt bisher: {len(all_companies) + len(page_results)}") + all_companies.extend(page_results) + + # Pagination-Buttons loggen + try: + pagination_nav = self.driver.find_element(By.CSS_SELECTOR, "nav.eb-pagination") + buttons = pagination_nav.find_elements(By.CSS_SELECTOR, "a.eb-pagination-button") + logger.info(f"Gefundene Paginierungs-Buttons auf Seite {page_number}: {len(buttons)}") + for idx, btn in enumerate(buttons): + btn_text = btn.text.strip() + btn_classes = btn.get_attribute('class') + btn_html = btn.get_attribute('outerHTML') + has_svg = "svg" in btn_html + logger.info(f"Button {idx}: Text='{btn_text}', Klassen='{btn_classes}', SVG={has_svg}, HTML={btn_html}") + except Exception as e: + logger.warning(f"Konnte Pagination-Buttons nicht vollständig loggen: {e}") + buttons = [] + + # Suche nach dem Weiter-Button + next_button = None + for btn in buttons: + btn_html = btn.get_attribute('outerHTML') + if ("svg" in btn_html) and ("disabled" not in btn.get_attribute('class')) and (btn.text.strip() == ""): + next_button = btn + break + + if not next_button: logger.info("Kein klickbarer 'Weiter'-Button mehr gefunden. Paginierung abgeschlossen.") break - - return list(all_companies.values()) + + logger.info("Klicke auf 'Weiter'-Button...") + + try: + self.driver.execute_script("arguments[0].click();", next_button) + # Warten, bis die erste Zeile eine andere ID hat (also wirklich neue Seite geladen ist) + if first_row_id: + self.wait.until( + lambda d: d.find_element(By.CSS_SELECTOR, "table#t-result-table tbody tr[id]").get_attribute("id") != first_row_id + ) + logger.info("Seitenwechsel erfolgreich verifiziert (erste Zeile hat neue ID).") + else: + time.sleep(2) # Fallback, falls keine ID gefunden wurde + except Exception as e: + logger.error(f"Fehler beim Klicken auf den Weiter-Button oder beim Warten auf neue Seite: {e}") + break + + return all_companies def close(self): if self.driver: @@ -177,7 +211,7 @@ if __name__ == "__main__": if not scraper.login(): raise Exception("Login fehlgeschlagen") if not scraper.navigate_and_load_search(Config.SEARCH_NAME): raise Exception("Navigation/Suche fehlgeschlagen") - all_companies = scraper.scrape_all_pages(max_pages=6) + all_companies = scraper.scrape_all_pages(max_pages=6) # Limitiere auf 6 Seiten if all_companies: df = pd.DataFrame(all_companies)