dealfront_enrichment.py aktualisiert

dealfront_enrichment.py

@@ -25,7 +25,7 @@ logging.getLogger("selenium.webdriver.remote").setLevel(logging.WARNING)
 logger = logging.getLogger(__name__)
 
 os.makedirs(Config.OUTPUT_DIR, exist_ok=True)
-log_filepath = os.path.join(Config.OUTPUT_DIR, f"dealfront_run_{time.strftime('%Y%m%d-%H%M%S')}.txt")
+log_filepath = os.path.join(Config.OUTPUT_DIR, f"dealfront_run_{time.strftime('%Y%m%d-%H%M%S')}.log")
 file_handler = logging.FileHandler(log_filepath, mode='w', encoding='utf-8')
 file_handler.setFormatter(logging.Formatter(LOG_FORMAT))
 logging.getLogger().addHandler(file_handler)
@@ -82,12 +82,13 @@ class DealfrontScraper:
             logger.info("Login-Befehl gesendet. Warte 5 Sekunden auf Session-Etablierung.")
             time.sleep(5)
             # Verifizierung, dass wir nicht mehr auf der Login-Seite sind
-            if "login" in self.driver.current_url:
+            if "login" not in self.driver.current_url:
-                raise Exception("Weiterleitung nach Login fehlgeschlagen.")
+                logger.info("Login erfolgreich, URL hat sich geändert.")
-            logger.info("Login erfolgreich.")
+                return True
-            return True
+            self._save_debug_artifacts("login_stuck")
+            return False
         except Exception as e:
-            logger.critical(f"Login-Prozess fehlgeschlagen.", exc_info=True)
+            logger.critical("Login-Prozess fehlgeschlagen.", exc_info=True)
             self._save_debug_artifacts("login_exception")
             return False
 
@@ -130,41 +131,74 @@ class DealfrontScraper:
 
         return results
 
-    def scrape_all_pages(self, max_pages=6):
+    def scrape_all_pages(self, max_pages=10):
-        all_companies = {}
+        """
+        Iteriert durch alle Ergebnisseiten, wartet nach jedem Paginieren explizit auf neue Daten,
+        und sammelt alle Firmenzeilen seitengetreu (keine Deduplizierung).
+        """
+        all_companies = []
         for page_number in range(1, max_pages + 1):
             logger.info(f"--- Verarbeite Seite {page_number} ---")
-            
             self.wait.until(EC.visibility_of_element_located((By.CSS_SELECTOR, "table#t-result-table")))
-            
-            # Scrollen, um alle 20 Zeilen zu laden
-            logger.info("Scrolle Seite nach unten, um alle Zeilen zu laden...")
-            self.driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
-            time.sleep(2) # Pause für das Rendern
-            
-            page_results = self.extract_current_page_results()
-            for company in page_results:
-                unique_key = (company.get('name'), company.get('website'))
-                all_companies[unique_key] = company
-
-            logger.info(f"Seite {page_number}: {len(page_results)} Firmen extrahiert. Gesamt einzigartig: {len(all_companies)}")
 
+            # Vor dem Klick: Erste Zeilen-ID merken (oder Text, falls keine ID vorhanden)
             try:
-                # Eindeutiger XPath für den "Weiter"-Pfeil-Button, der nicht deaktiviert ist
+                first_row_element = self.driver.find_element(By.CSS_SELECTOR, "table#t-result-table tbody tr[id]")
-                next_button_selector = (By.XPATH, "//nav//a[not(contains(@class, 'disabled')) and .//svg[contains(@class, 'fa-angle-right')]]")
+                first_row_id = first_row_element.get_attribute("id")
-                next_button = self.driver.find_element(*next_button_selector)
+                logger.debug(f"Vor Pagination: Erste Zeilen-ID ist {first_row_id}")
-                
+            except Exception:
-                self.driver.execute_script("arguments[0].scrollIntoView(true);", next_button)
+                first_row_id = None
-                time.sleep(1)
+                logger.debug("Vor Pagination: Keine Zeilen-ID gefunden.")
-                next_button.click()
+
-                
+            # Extrahiere aktuelle Seite
-                logger.info(f"Auf Seite {page_number + 1} geblättert. Warte auf neue Inhalte...")
+            page_results = self.extract_current_page_results()
-                time.sleep(4) # Feste Wartezeit für Seitenwechsel
+            logger.info(f"Seite {page_number}: {len(page_results)} Firmen gefunden. Gesamt bisher: {len(all_companies) + len(page_results)}")
-            except NoSuchElementException:
+            all_companies.extend(page_results)
+
+            # Pagination-Buttons loggen
+            try:
+                pagination_nav = self.driver.find_element(By.CSS_SELECTOR, "nav.eb-pagination")
+                buttons = pagination_nav.find_elements(By.CSS_SELECTOR, "a.eb-pagination-button")
+                logger.info(f"Gefundene Paginierungs-Buttons auf Seite {page_number}: {len(buttons)}")
+                for idx, btn in enumerate(buttons):
+                    btn_text = btn.text.strip()
+                    btn_classes = btn.get_attribute('class')
+                    btn_html = btn.get_attribute('outerHTML')
+                    has_svg = "svg" in btn_html
+                    logger.info(f"Button {idx}: Text='{btn_text}', Klassen='{btn_classes}', SVG={has_svg}, HTML={btn_html}")
+            except Exception as e:
+                logger.warning(f"Konnte Pagination-Buttons nicht vollständig loggen: {e}")
+                buttons = []
+
+            # Suche nach dem Weiter-Button
+            next_button = None
+            for btn in buttons:
+                btn_html = btn.get_attribute('outerHTML')
+                if ("svg" in btn_html) and ("disabled" not in btn.get_attribute('class')) and (btn.text.strip() == ""):
+                    next_button = btn
+                    break
+
+            if not next_button:
                 logger.info("Kein klickbarer 'Weiter'-Button mehr gefunden. Paginierung abgeschlossen.")
                 break
-        
+
-        return list(all_companies.values())
+            logger.info("Klicke auf 'Weiter'-Button...")
+
+            try:
+                self.driver.execute_script("arguments[0].click();", next_button)
+                # Warten, bis die erste Zeile eine andere ID hat (also wirklich neue Seite geladen ist)
+                if first_row_id:
+                    self.wait.until(
+                        lambda d: d.find_element(By.CSS_SELECTOR, "table#t-result-table tbody tr[id]").get_attribute("id") != first_row_id
+                    )
+                    logger.info("Seitenwechsel erfolgreich verifiziert (erste Zeile hat neue ID).")
+                else:
+                    time.sleep(2)  # Fallback, falls keine ID gefunden wurde
+            except Exception as e:
+                logger.error(f"Fehler beim Klicken auf den Weiter-Button oder beim Warten auf neue Seite: {e}")
+                break
+
+    return all_companies
 
     def close(self):
         if self.driver:
@@ -177,7 +211,7 @@ if __name__ == "__main__":
         if not scraper.login(): raise Exception("Login fehlgeschlagen")
         if not scraper.navigate_and_load_search(Config.SEARCH_NAME): raise Exception("Navigation/Suche fehlgeschlagen")
         
-        all_companies = scraper.scrape_all_pages(max_pages=6)
+        all_companies = scraper.scrape_all_pages(max_pages=6) # Limitiere auf 6 Seiten
 
         if all_companies:
             df = pd.DataFrame(all_companies)