data_processor.py aktualisiert
This commit is contained in:
@@ -2430,18 +2430,19 @@ class DataProcessor:
|
||||
row_num = task_info.get('row_num')
|
||||
self.logger.debug(f" -> Scrape Task gestartet für Zeile {row_num}: {url}")
|
||||
|
||||
raw_text_result = get_website_raw(url)
|
||||
# Wir müssen auch die Meta-Details scrapen, da sie jetzt erwartet werden
|
||||
meta_details_result = scrape_website_details(url)
|
||||
|
||||
return {
|
||||
'row_num': row_num,
|
||||
'raw_text': raw_text_result,
|
||||
'meta_details': meta_details_result,
|
||||
'error': None # Fehler werden jetzt im Text zurückgegeben
|
||||
}
|
||||
try:
|
||||
# Die Aufrufe der Helper-Funktionen sind jetzt im try-Block
|
||||
raw_text_result = get_website_raw(url)
|
||||
meta_details_result = scrape_website_details(url)
|
||||
|
||||
return {
|
||||
'row_num': row_num,
|
||||
'raw_text': raw_text_result,
|
||||
'meta_details': meta_details_result,
|
||||
'error': None
|
||||
}
|
||||
except Exception as e:
|
||||
# Dieser Block ist ein zusätzliches Sicherheitsnetz, falls die Helper doch abstürzen
|
||||
# Dieser Block fängt jetzt Fehler, falls die Helper WIDER ERWARTEN doch abstürzen
|
||||
self.logger.error(f"FATALER FEHLER im Scraping Worker für Zeile {row_num}: {e}", exc_info=True)
|
||||
return {
|
||||
'row_num': row_num,
|
||||
|
||||
Reference in New Issue
Block a user