Floke/Brancheneinstufung2
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

scrape_fotograf.py aktualisiert

Browse Source
This commit is contained in:
Floke
2025-07-16 14:38:26 +00:00
parent 2599db4e49
commit ce99d07f34
1 changed files with 18 additions and 40 deletions
Download Patch File Download Diff File Expand all files Collapse all files

58
scrape_fotograf.py
View File

@@ -17,12 +17,12 @@ OUTPUT_FILE = os.path.join(OUTPUT_DIR, 'nutzer_ohne_logins.csv')
LOGIN_URL = 'https://app.fotograf.de/login/login'
# --- Selektoren (zentral verwaltet für einfache Anpassung) ---
# GEÄNDERT: Bessere, spezifischere Selektoren
# FINALE, KORREKTE VERSION mit Ihren IDs
SELECTORS = {
"cookie_accept_button": "//button[normalize-space()='Allow all']", # NEU: Robuster XPath für den Cookie-Button
"login_user": "#FotografEmail",
"login_pass": "#FotografPassword",
"login_button": "#login-submit", # GEÄNDERT: Stabiler Selector über die ID
"cookie_accept_button": "#CybotCookiebotDialogBodyLevelButtonLevelOptinAllowAll",
"login_user": "#login-email",
"login_pass": "#login-password",
"login_button": "#login-submit",
"job_name": "h1",
"album_rows": "div.table-row-group > div.table-row",
"album_link": "a.text-legacy-azure-200",
@@ -32,9 +32,7 @@ SELECTORS = {
"buyer_email": "div.flex:nth-of-type(4) span"
}
# NEU: Hilfsfunktion für Screenshots bei Fehlern
def take_error_screenshot(driver, error_name):
"""Speichert einen Screenshot des aktuellen Browserfensters in den output-Ordner."""
os.makedirs(OUTPUT_DIR, exist_ok=True)
timestamp = datetime.now().strftime("%Y%m%d_%H%M%S")
filename = f"error_{error_name}_{timestamp}.png"
@@ -46,11 +44,8 @@ def take_error_screenshot(driver, error_name):
print(f"!!! Konnte keinen Screenshot speichern: {e}")
def setup_driver():
"""Initialisiert und konfiguriert den Chrome WebDriver."""
print("Initialisiere Chrome WebDriver...")
options = Options()
# Aktivieren Sie die nächste Zeile für die Fehlersuche, um zu sehen, was passiert
# options.add_argument('--headless=new')
options.add_argument('--headless')
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')
@@ -65,7 +60,6 @@ def setup_driver():
return None
def load_all_credentials():
"""Lädt alle Anmeldedaten aus der JSON-Datei."""
try:
with open(CREDENTIALS_FILE, 'r') as f:
return json.load(f)
@@ -76,32 +70,29 @@ def load_all_credentials():
print(f"Fehler: {CREDENTIALS_FILE} ist keine gültige JSON-Datei.")
return None
# GEÄNDERT: Die Login-Funktion klickt jetzt den Cookie-Banner weg
def login(driver, username, password):
"""Führt den Login-Vorgang auf fotograf.de durch."""
print("Starte Login-Vorgang...")
try:
driver.get(LOGIN_URL)
wait = WebDriverWait(driver, 10) # 10 Sekunden sollten reichen
wait = WebDriverWait(driver, 10)
# NEU: Auf den Cookie-Banner warten und ihn akzeptieren
try:
print("Suche nach Cookie-Banner...")
# Wir verwenden hier XPath, da es für Textsuche sehr gut geeignet ist.
cookie_button = wait.until(EC.element_to_be_clickable((By.XPATH, SELECTORS["cookie_accept_button"])))
cookie_button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, SELECTORS["cookie_accept_button"])))
cookie_button.click()
print("Cookie-Banner akzeptiert.")
time.sleep(1) # Kurze Pause, damit der Banner verschwindet
time.sleep(1)
except TimeoutException:
# Wenn der Banner nicht erscheint (z.B. bei späteren Besuchen), ist das auch OK.
print("Kein Cookie-Banner gefunden, fahre fort.")
# Warten und Anmeldedaten eingeben
print("Fülle Anmeldeformular aus...")
wait.until(EC.visibility_of_element_located((By.CSS_SELECTOR, SELECTORS["login_user"]))).send_keys(username)
driver.find_element(By.CSS_SELECTOR, SELECTORS["login_pass"]).send_keys(password)
print("Klicke auf Login...")
driver.find_element(By.CSS_SELECTOR, SELECTORS["login_button"]).click()
# Warten auf erfolgreichen Login
print("Warte auf die nächste Seite...")
wait.until(EC.url_contains('/config_dashboard/index'))
print("Login erfolgreich!")
return True
@@ -114,10 +105,7 @@ def login(driver, username, password):
take_error_screenshot(driver, "login_unexpected")
return False
# ... (der Rest des Skripts bleibt unverändert) ...
def process_job(driver, job_url):
"""Verarbeitet einen einzelnen Fotoauftrag."""
print(f"\nVerarbeite Job-URL: {job_url}")
job_id = job_url.split('/')[-1]
albums_url = f"https://app.fotograf.de/config_jobs_photos/index/{job_id}"
@@ -130,7 +118,7 @@ def process_job(driver, job_url):
job_name = wait.until(EC.visibility_of_element_located((By.CSS_SELECTOR, SELECTORS["job_name"]))).text
print(f"Auftragsname: '{job_name}'")
except TimeoutException:
print("Konnte den Auftragsnamen nicht finden. Überprüfe den Selector oder die Seite.")
print("Konnte den Auftragsnamen nicht finden.")
take_error_screenshot(driver, "job_name_not_found")
return []
@@ -153,7 +141,7 @@ def process_job(driver, job_url):
pass
except TimeoutException:
print("Keine Alben auf der Seite gefunden oder Timeout beim Warten.")
print("Keine Alben auf der Seite gefunden.")
take_error_screenshot(driver, "album_list_timeout")
return []
@@ -183,16 +171,15 @@ def process_job(driver, job_url):
time.sleep(1)
except TimeoutException:
print(f" Fehler: Timeout beim Verarbeiten der Detailseite für '{album['child_name']}'.")
print(f" Fehler: Timeout bei '{album['child_name']}'.")
take_error_screenshot(driver, f"detail_page_timeout_{album['child_name']}")
except Exception as e:
print(f" Ein unerwarteter Fehler bei '{album['child_name']}': {e}")
print(f" Unerwarteter Fehler bei '{album['child_name']}': {e}")
take_error_screenshot(driver, f"detail_page_unexpected_{album['child_name']}")
return results
def save_results_to_csv(results):
"""Speichert die gesammelten Daten in einer CSV-Datei."""
if not results:
print("\nKeine Daten zum Speichern vorhanden.")
return
@@ -205,16 +192,13 @@ def save_results_to_csv(results):
print("Speichern erfolgreich!")
def get_profile_choice():
"""Zeigt ein Menü der verfügbaren Profile und gibt die Auswahl des Benutzers zurück."""
all_credentials = load_all_credentials()
if not all_credentials:
return None
profiles = list(all_credentials.keys())
print("\nBitte wähle das zu verwendende Profil:")
for i, profile_name in enumerate(profiles):
print(f" {i + 1}) {profile_name}")
while True:
try:
choice = int(input(f"Gib eine Zahl zwischen 1 und {len(profiles)} ein: "))
@@ -223,34 +207,28 @@ def get_profile_choice():
print(f"Profil '{selected_profile_name}' ausgewählt.")
return all_credentials[selected_profile_name]
else:
print("Ungültige Auswahl. Bitte versuche es erneut.")
print("Ungültige Auswahl.")
except ValueError:
print("Ungültige Eingabe. Bitte gib eine Zahl ein.")
print("Ungültige Eingabe.")
def main():
"""Hauptfunktion des Skripts."""
print("--- Fotograf.de Scraper für Nutzer ohne Logins ---")
credentials = get_profile_choice()
if not credentials:
return
job_url = input("Bitte gib die URL des zu bearbeitenden Fotoauftrags ein: ")
if "fotograf.de/config_jobs_settings/index/" not in job_url:
print("Dies scheint keine gültige URL für die Auftragseinstellungen zu sein.")
return
driver = setup_driver()
if not driver:
return
try:
if login(driver, credentials['username'], credentials['password']):
all_results = process_job(driver, job_url)
save_results_to_csv(all_results)
else:
print("Skript wird beendet, da der Login fehlgeschlagen ist.")
finally:
print("\nSkript beendet. Schließe WebDriver.")
if driver: