Floke/Brancheneinstufung2
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

helpers.py aktualisiert

Browse Source
This commit is contained in:
Floke
2025-07-18 14:49:33 +00:00
parent 3497b6f411
commit f9d64e9686
1 changed files with 18 additions and 18 deletions
Download Patch File Download Diff File Expand all files Collapse all files

36
helpers.py
View File

@@ -1444,26 +1444,26 @@ def get_website_raw(url, max_length=20000): # verify_cert wird entfernt
logger.debug(f"Website {url[:100]}... erfolgreich gescrapt. Extrahierter Text (Laenge {len(result)}).")
return result if result else "k.A. (Extraktion leer)"
else:
logger.warning(f"Kein <body> oder spezifischer Inhaltsbereich gefunden in {url[:100]}...")
return "k.A. (Kein Body gefunden)"
logger.warning(f"Kein <body> oder spezifischer Inhaltsbereich gefunden in {url[:100]}...")
return "k.A. (Kein Body gefunden)"
except Exception as e_parse:
logger.error(f"Fehler beim Parsen von HTML von {url[:100]}...: {type(e_parse).__name__} - {e_parse}")
logger.debug(traceback.format_exc())
return f"k.A. (Fehler Parsing: {str(e_parse)[:50]}...)"
# KORREKTUR: Allumfassender Catch-Block für alle restlichen Fehler
except requests.exceptions.RequestException as e:
# Extrahiere Status-Code, falls vorhanden
status_code = e.response.status_code if e.response is not None else "N/A"
error_msg = f"k.A. (Netzwerkfehler: {type(e).__name__}, Status: {status_code})"
logger.warning(f"{error_msg} für URL {url[:100]}")
return error_msg
except Exception as e:
error_msg = f"k.A. (Allg. Fehler: {type(e).__name__})"
logger.error(f"{error_msg} für URL {url[:100]}", exc_info=False)
return error_msg
except Exception as e_parse:
logger.error(f"Fehler beim Parsen von HTML von {url[:100]}...: {type(e_parse).__name__} - {e_parse}")
logger.debug(traceback.format_exc())
return f"k.A. (Fehler Parsing: {str(e_parse)[:50]}...)"
# --- ENDE: Allumfassender Catch-Block ---
# Fängt alle Netzwerk-, HTTP- und sonstigen Fehler ab, die oben nicht behandelt wurden
except requests.exceptions.RequestException as e:
# Extrahiere Status-Code, falls vorhanden
status_code = e.response.status_code if e.response is not None else "N/A"
error_msg = f"k.A. (Netzwerkfehler: {type(e).__name__}, Status: {status_code})"
logger.warning(f"{error_msg} für URL {url[:100]}")
return error_msg
except Exception as e:
error_msg = f"k.A. (Allg. Fehler: {type(e).__name__})"
logger.error(f"{error_msg} für URL {url[:100]}", exc_info=False)
return error_msg
def scrape_website_details(url):
"""