From 8623850cd561c1df5a777cbb681c3dc35f84401e Mon Sep 17 00:00:00 2001 From: Floke Date: Wed, 16 Jul 2025 14:38:26 +0000 Subject: [PATCH] scrape_fotograf.py aktualisiert --- scrape_fotograf.py | 58 ++++++++++++++-------------------------------- 1 file changed, 18 insertions(+), 40 deletions(-) diff --git a/scrape_fotograf.py b/scrape_fotograf.py index e3eba23c..73cab2c0 100644 --- a/scrape_fotograf.py +++ b/scrape_fotograf.py @@ -17,12 +17,12 @@ OUTPUT_FILE = os.path.join(OUTPUT_DIR, 'nutzer_ohne_logins.csv') LOGIN_URL = 'https://app.fotograf.de/login/login' # --- Selektoren (zentral verwaltet für einfache Anpassung) --- -# GEÄNDERT: Bessere, spezifischere Selektoren +# FINALE, KORREKTE VERSION mit Ihren IDs SELECTORS = { - "cookie_accept_button": "//button[normalize-space()='Allow all']", # NEU: Robuster XPath für den Cookie-Button - "login_user": "#FotografEmail", - "login_pass": "#FotografPassword", - "login_button": "#login-submit", # GEÄNDERT: Stabiler Selector über die ID + "cookie_accept_button": "#CybotCookiebotDialogBodyLevelButtonLevelOptinAllowAll", + "login_user": "#login-email", + "login_pass": "#login-password", + "login_button": "#login-submit", "job_name": "h1", "album_rows": "div.table-row-group > div.table-row", "album_link": "a.text-legacy-azure-200", @@ -32,9 +32,7 @@ SELECTORS = { "buyer_email": "div.flex:nth-of-type(4) span" } -# NEU: Hilfsfunktion für Screenshots bei Fehlern def take_error_screenshot(driver, error_name): - """Speichert einen Screenshot des aktuellen Browserfensters in den output-Ordner.""" os.makedirs(OUTPUT_DIR, exist_ok=True) timestamp = datetime.now().strftime("%Y%m%d_%H%M%S") filename = f"error_{error_name}_{timestamp}.png" @@ -46,11 +44,8 @@ def take_error_screenshot(driver, error_name): print(f"!!! Konnte keinen Screenshot speichern: {e}") def setup_driver(): - """Initialisiert und konfiguriert den Chrome WebDriver.""" print("Initialisiere Chrome WebDriver...") options = Options() - # Aktivieren Sie die nächste Zeile für die Fehlersuche, um zu sehen, was passiert - # options.add_argument('--headless=new') options.add_argument('--headless') options.add_argument('--no-sandbox') options.add_argument('--disable-dev-shm-usage') @@ -65,7 +60,6 @@ def setup_driver(): return None def load_all_credentials(): - """Lädt alle Anmeldedaten aus der JSON-Datei.""" try: with open(CREDENTIALS_FILE, 'r') as f: return json.load(f) @@ -76,32 +70,29 @@ def load_all_credentials(): print(f"Fehler: {CREDENTIALS_FILE} ist keine gültige JSON-Datei.") return None -# GEÄNDERT: Die Login-Funktion klickt jetzt den Cookie-Banner weg def login(driver, username, password): - """Führt den Login-Vorgang auf fotograf.de durch.""" print("Starte Login-Vorgang...") try: driver.get(LOGIN_URL) - wait = WebDriverWait(driver, 10) # 10 Sekunden sollten reichen + wait = WebDriverWait(driver, 10) - # NEU: Auf den Cookie-Banner warten und ihn akzeptieren try: print("Suche nach Cookie-Banner...") - # Wir verwenden hier XPath, da es für Textsuche sehr gut geeignet ist. - cookie_button = wait.until(EC.element_to_be_clickable((By.XPATH, SELECTORS["cookie_accept_button"]))) + cookie_button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, SELECTORS["cookie_accept_button"]))) cookie_button.click() print("Cookie-Banner akzeptiert.") - time.sleep(1) # Kurze Pause, damit der Banner verschwindet + time.sleep(1) except TimeoutException: - # Wenn der Banner nicht erscheint (z.B. bei späteren Besuchen), ist das auch OK. print("Kein Cookie-Banner gefunden, fahre fort.") - # Warten und Anmeldedaten eingeben + print("Fülle Anmeldeformular aus...") wait.until(EC.visibility_of_element_located((By.CSS_SELECTOR, SELECTORS["login_user"]))).send_keys(username) driver.find_element(By.CSS_SELECTOR, SELECTORS["login_pass"]).send_keys(password) + + print("Klicke auf Login...") driver.find_element(By.CSS_SELECTOR, SELECTORS["login_button"]).click() - # Warten auf erfolgreichen Login + print("Warte auf die nächste Seite...") wait.until(EC.url_contains('/config_dashboard/index')) print("Login erfolgreich!") return True @@ -114,10 +105,7 @@ def login(driver, username, password): take_error_screenshot(driver, "login_unexpected") return False -# ... (der Rest des Skripts bleibt unverändert) ... - def process_job(driver, job_url): - """Verarbeitet einen einzelnen Fotoauftrag.""" print(f"\nVerarbeite Job-URL: {job_url}") job_id = job_url.split('/')[-1] albums_url = f"https://app.fotograf.de/config_jobs_photos/index/{job_id}" @@ -130,7 +118,7 @@ def process_job(driver, job_url): job_name = wait.until(EC.visibility_of_element_located((By.CSS_SELECTOR, SELECTORS["job_name"]))).text print(f"Auftragsname: '{job_name}'") except TimeoutException: - print("Konnte den Auftragsnamen nicht finden. Überprüfe den Selector oder die Seite.") + print("Konnte den Auftragsnamen nicht finden.") take_error_screenshot(driver, "job_name_not_found") return [] @@ -153,7 +141,7 @@ def process_job(driver, job_url): pass except TimeoutException: - print("Keine Alben auf der Seite gefunden oder Timeout beim Warten.") + print("Keine Alben auf der Seite gefunden.") take_error_screenshot(driver, "album_list_timeout") return [] @@ -183,16 +171,15 @@ def process_job(driver, job_url): time.sleep(1) except TimeoutException: - print(f" Fehler: Timeout beim Verarbeiten der Detailseite für '{album['child_name']}'.") + print(f" Fehler: Timeout bei '{album['child_name']}'.") take_error_screenshot(driver, f"detail_page_timeout_{album['child_name']}") except Exception as e: - print(f" Ein unerwarteter Fehler bei '{album['child_name']}': {e}") + print(f" Unerwarteter Fehler bei '{album['child_name']}': {e}") take_error_screenshot(driver, f"detail_page_unexpected_{album['child_name']}") return results def save_results_to_csv(results): - """Speichert die gesammelten Daten in einer CSV-Datei.""" if not results: print("\nKeine Daten zum Speichern vorhanden.") return @@ -205,16 +192,13 @@ def save_results_to_csv(results): print("Speichern erfolgreich!") def get_profile_choice(): - """Zeigt ein Menü der verfügbaren Profile und gibt die Auswahl des Benutzers zurück.""" all_credentials = load_all_credentials() if not all_credentials: return None - profiles = list(all_credentials.keys()) print("\nBitte wähle das zu verwendende Profil:") for i, profile_name in enumerate(profiles): print(f" {i + 1}) {profile_name}") - while True: try: choice = int(input(f"Gib eine Zahl zwischen 1 und {len(profiles)} ein: ")) @@ -223,34 +207,28 @@ def get_profile_choice(): print(f"Profil '{selected_profile_name}' ausgewählt.") return all_credentials[selected_profile_name] else: - print("Ungültige Auswahl. Bitte versuche es erneut.") + print("Ungültige Auswahl.") except ValueError: - print("Ungültige Eingabe. Bitte gib eine Zahl ein.") + print("Ungültige Eingabe.") def main(): - """Hauptfunktion des Skripts.""" print("--- Fotograf.de Scraper für Nutzer ohne Logins ---") - credentials = get_profile_choice() if not credentials: return - job_url = input("Bitte gib die URL des zu bearbeitenden Fotoauftrags ein: ") if "fotograf.de/config_jobs_settings/index/" not in job_url: print("Dies scheint keine gültige URL für die Auftragseinstellungen zu sein.") return - driver = setup_driver() if not driver: return - try: if login(driver, credentials['username'], credentials['password']): all_results = process_job(driver, job_url) save_results_to_csv(all_results) else: print("Skript wird beendet, da der Login fehlgeschlagen ist.") - finally: print("\nSkript beendet. Schließe WebDriver.") if driver: