Floke/Brancheneinstufung2
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

bugfix

Browse Source
This commit is contained in:
Floke
2025-05-29 18:04:10 +00:00
parent e82da740a0
commit 10eaecfaf0
1 changed files with 25 additions and 22 deletions
Download Patch File Download Diff File Expand all files Collapse all files

47
brancheneinstufung.py
View File

@@ -2433,32 +2433,35 @@ def scrape_website_details(url):
logger.warning(f"Ausführe 'scrape_website_details' fuer URL {url[:100]}...") # Logge den Start auf Warning
try: # <<< KORREKTE EINRÜCKUNG (auf gleicher Ebene wie logger.warning darüber)
# Hilfsfunktion zum Abrufen des Soup-Objekts mit Retry.
# Nutzt retry_on_failure, requests, BeautifulSoup, Config.
@retry_on_failure
def get_soup_for_details(target_url):
# --- START DES NEUEN/ERSETZTEN BLOCKS ---
if not target_url or not isinstance(target_url, str): # Zusätzliche Prüfung
logger.error(f"get_soup_for_details: Ungültige URL '{target_url}' erhalten.")
# Wirf direkt einen Fehler, der vom @retry_on_failure gefangen wird, falls es eine wiederholbare Ursache haben könnte,
# oder einen spezifischen ValueError, falls es ein permanentes Problem ist.
# Für eine ungültige URL-Struktur ist ValueError oft passender.
raise ValueError(f"Ungültige URL für get_soup_for_details: {target_url}")
try:
# Hilfsfunktion zum Abrufen des Soup-Objekts mit Retry.
# Nutzt retry_on_failure, requests, BeautifulSoup, Config.
@retry_on_failure
def get_soup_for_details(target_url):
# --- START DES NEUEN/ERSETZTEN BLOCKS ---
if not target_url or not isinstance(target_url, str): # Zusätzliche Prüfung
logger.error(f"get_soup_for_details: Ungültige URL '{target_url}' erhalten.")
raise ValueError("Ungültige URL für get_soup_for_details") # Damit retry greift oder als Fehler propagiert wird
if not target_url.lower().startswith(("http://", "https://")):
logger.debug(f"get_soup_for_details: Füge 'https://' zu URL '{target_url}' hinzu.")
target_url = "https://" + target_url
# Der requests.get Call ist jetzt hier
response = requests.get(target_url, timeout=getattr(Config, 'REQUEST_TIMEOUT', 15), verify=True)
response.raise_for_status() # Wirft HTTPError für 4xx/5xx Antworten
response.encoding = response.apparent_encoding # Encoding erraten
return BeautifulSoup(response.text, getattr(Config, 'HTML_PARSER', 'html.parser')) # Parsen
# --- ENDE DES NEUEN/ERSETZTEN BLOCKS ---
if not target_url.lower().startswith(("http://", "https://")):
logger.debug(f"get_soup_for_details: Füge 'https://' zu URL '{target_url}' hinzu.")
target_url = "https://" + target_url
response = requests.get(target_url, timeout=getattr(Config, 'REQUEST_TIMEOUT', 15), verify=True)
response.raise_for_status()
response.encoding = response.apparent_encoding
return BeautifulSoup(response.text, getattr(Config, 'HTML_PARSER', 'html.parser'))
# --- ENDE DES NEUEN/ERSETZTEN BLOCKS ---
# Rufen Sie die Hilfsfunktion auf, um das Soup-Objekt zu erhalten
soup = get_soup_for_details(url) # Der Aufruf von get_soup_for_details
# Rufen Sie die Hilfsfunktion auf, um das Soup-Objekt zu erhalten
soup = get_soup_for_details(url)
# Wenn das Soup-Objekt erfolgreich erhalten wurde
if soup:
# --- Extrahiere spezifische Details ---
# Versuchen Sie, wichtige Meta-Informationen zu extrahieren.
title = soup.find('title') # Titel-Tag