From 4671f92d290f70a4218222aacf48919dfd45968f Mon Sep 17 00:00:00 2001 From: Floke Date: Fri, 18 Jul 2025 14:49:33 +0000 Subject: [PATCH] helpers.py aktualisiert --- helpers.py | 36 ++++++++++++++++++------------------ 1 file changed, 18 insertions(+), 18 deletions(-) diff --git a/helpers.py b/helpers.py index 288594d1..18c50720 100644 --- a/helpers.py +++ b/helpers.py @@ -1444,26 +1444,26 @@ def get_website_raw(url, max_length=20000): # verify_cert wird entfernt logger.debug(f"Website {url[:100]}... erfolgreich gescrapt. Extrahierter Text (Laenge {len(result)}).") return result if result else "k.A. (Extraktion leer)" else: - logger.warning(f"Kein oder spezifischer Inhaltsbereich gefunden in {url[:100]}...") - return "k.A. (Kein Body gefunden)" + logger.warning(f"Kein oder spezifischer Inhaltsbereich gefunden in {url[:100]}...") + return "k.A. (Kein Body gefunden)" - except Exception as e_parse: - logger.error(f"Fehler beim Parsen von HTML von {url[:100]}...: {type(e_parse).__name__} - {e_parse}") - logger.debug(traceback.format_exc()) - return f"k.A. (Fehler Parsing: {str(e_parse)[:50]}...)" - - # KORREKTUR: Allumfassender Catch-Block für alle restlichen Fehler - except requests.exceptions.RequestException as e: - # Extrahiere Status-Code, falls vorhanden - status_code = e.response.status_code if e.response is not None else "N/A" - error_msg = f"k.A. (Netzwerkfehler: {type(e).__name__}, Status: {status_code})" - logger.warning(f"{error_msg} für URL {url[:100]}") - return error_msg - except Exception as e: - error_msg = f"k.A. (Allg. Fehler: {type(e).__name__})" - logger.error(f"{error_msg} für URL {url[:100]}", exc_info=False) - return error_msg + except Exception as e_parse: + logger.error(f"Fehler beim Parsen von HTML von {url[:100]}...: {type(e_parse).__name__} - {e_parse}") + logger.debug(traceback.format_exc()) + return f"k.A. (Fehler Parsing: {str(e_parse)[:50]}...)" + # --- ENDE: Allumfassender Catch-Block --- + # Fängt alle Netzwerk-, HTTP- und sonstigen Fehler ab, die oben nicht behandelt wurden + except requests.exceptions.RequestException as e: + # Extrahiere Status-Code, falls vorhanden + status_code = e.response.status_code if e.response is not None else "N/A" + error_msg = f"k.A. (Netzwerkfehler: {type(e).__name__}, Status: {status_code})" + logger.warning(f"{error_msg} für URL {url[:100]}") + return error_msg + except Exception as e: + error_msg = f"k.A. (Allg. Fehler: {type(e).__name__})" + logger.error(f"{error_msg} für URL {url[:100]}", exc_info=False) + return error_msg def scrape_website_details(url): """