From 43855e37377d86ee799cdb4bacc44649178d2786 Mon Sep 17 00:00:00 2001 From: Floke Date: Fri, 18 Jul 2025 16:45:22 +0000 Subject: [PATCH] data_processor.py aktualisiert --- data_processor.py | 8 +------- 1 file changed, 1 insertion(+), 7 deletions(-) diff --git a/data_processor.py b/data_processor.py index a9e2e2db..d07a9993 100644 --- a/data_processor.py +++ b/data_processor.py @@ -2316,7 +2316,6 @@ class DataProcessor: batch_sheet_updates = [] # Iteriere über die Ergebnisse des finalen Batches for row_num, result_dict in scraping_results.items(): - # result_dict ist jetzt garantiert ein Dictionary batch_sheet_updates.extend([ {'range': f'{self.sheet_handler._get_col_letter(col_indices["Website Rohtext"] + 1)}{row_num}', 'values': [[result_dict.get('raw_text', 'k.A.')]]}, {'range': f'{self.sheet_handler._get_col_letter(col_indices["Website Meta-Details"] + 1)}{row_num}', 'values': [[result_dict.get('meta_details', 'k.A.')]]}, @@ -2401,7 +2400,6 @@ class DataProcessor: # ANPASSUNG AN NEUE LOGIK for row_num, result_dict in scraping_results.items(): - # result_dict ist jetzt garantiert ein Dictionary batch_sheet_updates.extend([ {'range': f'{self.sheet_handler._get_col_letter(col_indices["Website Rohtext"] + 1)}{row_num}', 'values': [[result_dict.get('raw_text', 'k.A.')]]}, {'range': f'{self.sheet_handler._get_col_letter(col_indices["Website Meta-Details"] + 1)}{row_num}', 'values': [[result_dict.get('meta_details', 'k.A.')]]}, @@ -2424,14 +2422,13 @@ class DataProcessor: def _scrape_raw_text_task(self, task_info, scrape_function): """ - Worker-Funktion. Ruft gehärtete Helper auf und gibt IMMER ein Dictionary zurück. + Worker-Funktion. Ruft die gehärteten Helper auf und gibt IMMER ein Dictionary zurück. """ url = task_info.get('url') row_num = task_info.get('row_num') self.logger.debug(f" -> Scrape Task gestartet für Zeile {row_num}: {url}") try: - # Die Aufrufe der Helper-Funktionen sind jetzt im try-Block raw_text_result = get_website_raw(url) meta_details_result = scrape_website_details(url) @@ -2439,16 +2436,13 @@ class DataProcessor: 'row_num': row_num, 'raw_text': raw_text_result, 'meta_details': meta_details_result, - 'error': None } except Exception as e: - # Dieser Block fängt jetzt Fehler, falls die Helper WIDER ERWARTEN doch abstürzen self.logger.error(f"FATALER FEHLER im Scraping Worker für Zeile {row_num}: {e}", exc_info=True) return { 'row_num': row_num, 'raw_text': f'k.A. (FATALER WORKER FEHLER: {e})', 'meta_details': 'k.A.', - 'error': True }