scrape_fotograf.py aktualisiert

scrape_fotograf.py

@@ -17,12 +17,12 @@ OUTPUT_FILE = os.path.join(OUTPUT_DIR, 'nutzer_ohne_logins.csv')
 LOGIN_URL = 'https://app.fotograf.de/login/login'
 
 # --- Selektoren (zentral verwaltet für einfache Anpassung) ---
-# GEÄNDERT: Bessere, spezifischere Selektoren
+# FINALE, KORREKTE VERSION mit Ihren IDs
 SELECTORS = {
-    "cookie_accept_button": "//button[normalize-space()='Allow all']", # NEU: Robuster XPath für den Cookie-Button
+    "cookie_accept_button": "#CybotCookiebotDialogBodyLevelButtonLevelOptinAllowAll",
-    "login_user": "#FotografEmail",
+    "login_user": "#login-email",
-    "login_pass": "#FotografPassword",
+    "login_pass": "#login-password",
-    "login_button": "#login-submit", # GEÄNDERT: Stabiler Selector über die ID
+    "login_button": "#login-submit",
     "job_name": "h1",
     "album_rows": "div.table-row-group > div.table-row",
     "album_link": "a.text-legacy-azure-200",
@@ -32,9 +32,7 @@ SELECTORS = {
     "buyer_email": "div.flex:nth-of-type(4) span"
 }
 
-# NEU: Hilfsfunktion für Screenshots bei Fehlern
 def take_error_screenshot(driver, error_name):
-    """Speichert einen Screenshot des aktuellen Browserfensters in den output-Ordner."""
     os.makedirs(OUTPUT_DIR, exist_ok=True)
     timestamp = datetime.now().strftime("%Y%m%d_%H%M%S")
     filename = f"error_{error_name}_{timestamp}.png"
@@ -46,11 +44,8 @@ def take_error_screenshot(driver, error_name):
         print(f"!!! Konnte keinen Screenshot speichern: {e}")
 
 def setup_driver():
-    """Initialisiert und konfiguriert den Chrome WebDriver."""
     print("Initialisiere Chrome WebDriver...")
     options = Options()
-    # Aktivieren Sie die nächste Zeile für die Fehlersuche, um zu sehen, was passiert
-    # options.add_argument('--headless=new') 
     options.add_argument('--headless')
     options.add_argument('--no-sandbox')
     options.add_argument('--disable-dev-shm-usage')
@@ -65,7 +60,6 @@ def setup_driver():
         return None
 
 def load_all_credentials():
-    """Lädt alle Anmeldedaten aus der JSON-Datei."""
     try:
         with open(CREDENTIALS_FILE, 'r') as f:
             return json.load(f)
@@ -76,32 +70,29 @@ def load_all_credentials():
         print(f"Fehler: {CREDENTIALS_FILE} ist keine gültige JSON-Datei.")
         return None
 
-# GEÄNDERT: Die Login-Funktion klickt jetzt den Cookie-Banner weg
 def login(driver, username, password):
-    """Führt den Login-Vorgang auf fotograf.de durch."""
     print("Starte Login-Vorgang...")
     try:
         driver.get(LOGIN_URL)
-        wait = WebDriverWait(driver, 10) # 10 Sekunden sollten reichen
+        wait = WebDriverWait(driver, 10)
 
-        # NEU: Auf den Cookie-Banner warten und ihn akzeptieren
         try:
             print("Suche nach Cookie-Banner...")
-            # Wir verwenden hier XPath, da es für Textsuche sehr gut geeignet ist.
+            cookie_button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, SELECTORS["cookie_accept_button"])))
-            cookie_button = wait.until(EC.element_to_be_clickable((By.XPATH, SELECTORS["cookie_accept_button"])))
             cookie_button.click()
             print("Cookie-Banner akzeptiert.")
-            time.sleep(1) # Kurze Pause, damit der Banner verschwindet
+            time.sleep(1) 
         except TimeoutException:
-            # Wenn der Banner nicht erscheint (z.B. bei späteren Besuchen), ist das auch OK.
             print("Kein Cookie-Banner gefunden, fahre fort.")
 
-        # Warten und Anmeldedaten eingeben
+        print("Fülle Anmeldeformular aus...")
         wait.until(EC.visibility_of_element_located((By.CSS_SELECTOR, SELECTORS["login_user"]))).send_keys(username)
         driver.find_element(By.CSS_SELECTOR, SELECTORS["login_pass"]).send_keys(password)
+        
+        print("Klicke auf Login...")
         driver.find_element(By.CSS_SELECTOR, SELECTORS["login_button"]).click()
         
-        # Warten auf erfolgreichen Login 
+        print("Warte auf die nächste Seite...")
         wait.until(EC.url_contains('/config_dashboard/index'))
         print("Login erfolgreich!")
         return True
@@ -114,10 +105,7 @@ def login(driver, username, password):
         take_error_screenshot(driver, "login_unexpected")
         return False
 
-# ... (der Rest des Skripts bleibt unverändert) ...
-
 def process_job(driver, job_url):
-    """Verarbeitet einen einzelnen Fotoauftrag."""
     print(f"\nVerarbeite Job-URL: {job_url}")
     job_id = job_url.split('/')[-1]
     albums_url = f"https://app.fotograf.de/config_jobs_photos/index/{job_id}"
@@ -130,7 +118,7 @@ def process_job(driver, job_url):
         job_name = wait.until(EC.visibility_of_element_located((By.CSS_SELECTOR, SELECTORS["job_name"]))).text
         print(f"Auftragsname: '{job_name}'")
     except TimeoutException:
-        print("Konnte den Auftragsnamen nicht finden. Überprüfe den Selector oder die Seite.")
+        print("Konnte den Auftragsnamen nicht finden.")
         take_error_screenshot(driver, "job_name_not_found")
         return []
 
@@ -153,7 +141,7 @@ def process_job(driver, job_url):
                 pass
     
     except TimeoutException:
-        print("Keine Alben auf der Seite gefunden oder Timeout beim Warten.")
+        print("Keine Alben auf der Seite gefunden.")
         take_error_screenshot(driver, "album_list_timeout")
         return []
 
@@ -183,16 +171,15 @@ def process_job(driver, job_url):
             time.sleep(1)
 
         except TimeoutException:
-            print(f"    Fehler: Timeout beim Verarbeiten der Detailseite für '{album['child_name']}'.")
+            print(f"    Fehler: Timeout bei '{album['child_name']}'.")
             take_error_screenshot(driver, f"detail_page_timeout_{album['child_name']}")
         except Exception as e:
-            print(f"    Ein unerwarteter Fehler bei '{album['child_name']}': {e}")
+            print(f"    Unerwarteter Fehler bei '{album['child_name']}': {e}")
             take_error_screenshot(driver, f"detail_page_unexpected_{album['child_name']}")
             
     return results
 
 def save_results_to_csv(results):
-    """Speichert die gesammelten Daten in einer CSV-Datei."""
     if not results:
         print("\nKeine Daten zum Speichern vorhanden.")
         return
@@ -205,16 +192,13 @@ def save_results_to_csv(results):
     print("Speichern erfolgreich!")
 
 def get_profile_choice():
-    """Zeigt ein Menü der verfügbaren Profile und gibt die Auswahl des Benutzers zurück."""
     all_credentials = load_all_credentials()
     if not all_credentials:
         return None
-
     profiles = list(all_credentials.keys())
     print("\nBitte wähle das zu verwendende Profil:")
     for i, profile_name in enumerate(profiles):
         print(f"  {i + 1}) {profile_name}")
-    
     while True:
         try:
             choice = int(input(f"Gib eine Zahl zwischen 1 und {len(profiles)} ein: "))
@@ -223,34 +207,28 @@ def get_profile_choice():
                 print(f"Profil '{selected_profile_name}' ausgewählt.")
                 return all_credentials[selected_profile_name]
             else:
-                print("Ungültige Auswahl. Bitte versuche es erneut.")
+                print("Ungültige Auswahl.")
         except ValueError:
-            print("Ungültige Eingabe. Bitte gib eine Zahl ein.")
+            print("Ungültige Eingabe.")
 
 def main():
-    """Hauptfunktion des Skripts."""
     print("--- Fotograf.de Scraper für Nutzer ohne Logins ---")
-    
     credentials = get_profile_choice()
     if not credentials:
         return
-
     job_url = input("Bitte gib die URL des zu bearbeitenden Fotoauftrags ein: ")
     if "fotograf.de/config_jobs_settings/index/" not in job_url:
         print("Dies scheint keine gültige URL für die Auftragseinstellungen zu sein.")
         return
-
     driver = setup_driver()
     if not driver:
         return
-
     try:
         if login(driver, credentials['username'], credentials['password']):
             all_results = process_job(driver, job_url)
             save_results_to_csv(all_results)
         else:
             print("Skript wird beendet, da der Login fehlgeschlagen ist.")
-    
     finally:
         print("\nSkript beendet. Schließe WebDriver.")
         if driver: