From 64af032b47489a3cc2cd38bb91192e244ffd504a Mon Sep 17 00:00:00 2001 From: Floke Date: Fri, 30 May 2025 12:47:23 +0000 Subject: [PATCH] bugfix --- brancheneinstufung.py | 400 ++++++++++++++++-------------------------- 1 file changed, 151 insertions(+), 249 deletions(-) diff --git a/brancheneinstufung.py b/brancheneinstufung.py index 3c1bc718..81d6d44c 100644 --- a/brancheneinstufung.py +++ b/brancheneinstufung.py @@ -4682,226 +4682,134 @@ class DataProcessor: # Timestamp für Wikipedia-Extraktion (Z) immer setzen, wenn der Wiki-Schritt lief updates.append({'range': f'{self.sheet_handler._get_col_letter(COLUMN_MAP["Wikipedia Timestamp"] + 1)}{row_num_in_sheet}', 'values': [[now_timestamp]]}) +# Innerhalb von DataProcessor._process_single_row (NEUER Wiki-Block) + # --- 2. Wikipedia Handling (Search, Extraction, Status Reset) ========== run_wiki_step = 'wiki' in steps_to_run - wiki_processing_needed_based_on_status = self._needs_wiki_processing(row_data, force_reeval) # Prüft Z und AC + wiki_processing_needed_based_on_status = self._needs_wiki_processing(row_data, force_reeval) if run_wiki_step and wiki_processing_needed_based_on_status: any_processing_done = True - - grund_message_parts_wiki = [] # Für Logging des Grundes + grund_message_parts_wiki = [] if force_reeval: grund_message_parts_wiki.append('Re-Eval') if not self._get_cell_value_safe(row_data, "Wikipedia Timestamp").strip(): grund_message_parts_wiki.append('Z (Wikipedia Timestamp) leer') if self._get_cell_value_safe(row_data, "Chat Wiki Konsistenzpruefung").strip().upper() == "X (URL COPIED)": grund_message_parts_wiki.append("AC (Chat Wiki Konsistenzpruefung)='X (URL COPIED)'") grund_message_wiki = ", ".join(filter(None, grund_message_parts_wiki)) or "Unbekannter Grund (Wiki)" - self.logger.info(f"Zeile {row_num_in_sheet}: Fuehre WIKI Schritte aus (Grund: {grund_message_wiki})...") # Zeile 4697 + self.logger.info(f"Zeile {row_num_in_sheet}: Fuehre WIKI Schritte aus (Grund: {grund_message_wiki})...") - # Hole aktuellen Wiki-URL der Tochter aus Spalte R - current_wiki_url_in_sheet_for_daughter = self._get_cell_value_safe(row_data, "Wiki URL").strip() + current_wiki_url_r = self._get_cell_value_safe(row_data, "Wiki URL").strip() # Spalte R (Tochter) + system_suggested_parent_o = self._get_cell_value_safe(row_data, "System Vorschlag Parent Account").strip() # Spalte O + parent_name_d = self._get_cell_value_safe(row_data, "Parent Account Name").strip() # Spalte D - url_to_validate_and_extract = None # Die URL, die wir versuchen zu validieren und zu extrahieren - name_for_wiki_article_validation = company_name # Standard: Validiere gegen Tochter-Namen - source_of_wiki_data_origin = "Tochter" - additional_info_for_af_col = "" # Für Spalte AF "Begründung bei Abweichung" - - # --- START: LOGIK FÜR PARENT-ACCOUNT (O) UND WIKI-URL DER TOCHTER (R) --- - if system_suggested_parent_name_o and system_suggested_parent_name_o.lower() != "k.a.": - # Fall 1: Parent (O) ist vorgeschlagen. - if not current_wiki_url_in_sheet_for_daughter or current_wiki_url_in_sheet_for_daughter.lower() == "k.a.": - # Fall 1.1: O gefüllt, R (Tochter-Wiki) leer/k.A. -> Suche Wiki für Parent O - self.logger.info(f" Zeile {row_num_in_sheet}: Parent (O) '{system_suggested_parent_name_o}' vorhanden, Wiki-URL der Tochter (R) leer. Versuche Wiki-Suche für Parent via SerpAPI...") - try: - parent_url_from_serp = serp_wikipedia_lookup(system_suggested_parent_name_o, website=None) # Kein spezifischer Website-Kontext für Parent-Suche - if parent_url_from_serp: - url_to_validate_and_extract = parent_url_from_serp - name_for_wiki_article_validation = system_suggested_parent_name_o # Validierung gegen Parent-Namen - source_of_wiki_data_origin = "Parent (O via SerpAPI)" - self.logger.info(f" -> Wiki-Artikel für Parent '{system_suggested_parent_name_o}' via SerpAPI gefunden: {url_to_validate_and_extract}") - else: - self.logger.warning(f" -> Kein Wiki-Artikel für Parent '{system_suggested_parent_name_o}' via SerpAPI gefunden. Fahre fort mit Standard-Tochter-Suche (falls nötig).") - # url_to_validate_and_extract bleibt None, Standard-Tochter-Suche wird unten getriggert, wenn nötig. - except Exception as e_parent_wiki_search: - self.logger.error(f" -> Fehler bei SerpAPI-Suche nach Wiki für Parent '{system_suggested_parent_name_o}': {e_parent_wiki_search}") - # Standard-Tochter-Suche wird unten getriggert, wenn nötig. - else: - # Fall 1.2: O gefüllt, R (Tochter-Wiki) auch gefüllt. - self.logger.info(f" Zeile {row_num_in_sheet}: Parent (O) '{system_suggested_parent_name_o}' vorhanden, aber auch Wiki-URL der Tochter (R) '{current_wiki_url_in_sheet_for_daughter}'. Tochter-Wiki (R) wird primär für Validierung/Extraktion verwendet, falls nötig.") - url_to_validate_and_extract = current_wiki_url_in_sheet_for_daughter # Nutze die vorhandene Tochter-URL - name_for_wiki_article_validation = company_name # Validierung gegen Tochter-Namen - source_of_wiki_data_origin = "Tochter (aus R, Parent O ignoriert)" - # --- ENDE: LOGIK FÜR PARENT-ACCOUNT (O) UND WIKI-URL DER TOCHTER (R) --- - - # --- START: STANDARD-LOGIK FÜR TOCHTER-WIKI-SUCHE (falls noch keine URL von Parent O bestimmt wurde) --- - if url_to_validate_and_extract is None: # Nur wenn noch keine URL vom Parent oder aus R (Re-Eval) kam - search_for_daughter_wiki_needed = False - status_ac_is_reparse = self._get_cell_value_safe(row_data, "Chat Wiki Konsistenzpruefung").strip().upper() == "X (URL COPIED)" - timestamp_z_is_empty = not self._get_cell_value_safe(row_data, "Wikipedia Timestamp").strip() - r_url_is_valid_looking = current_wiki_url_in_sheet_for_daughter and \ - "wikipedia.org/wiki/" in current_wiki_url_in_sheet_for_daughter.lower() and \ - current_wiki_url_in_sheet_for_daughter.lower() not in ["k.a.", "kein artikel gefunden", "fehler bei suche", "http:"] - - if status_ac_is_reparse: - self.logger.info(f" Zeile {row_num_in_sheet}: Status AC ist 'X (URL COPIED)'. Starte neue Wiki-Suche für Tochter '{company_name}'.") - search_for_daughter_wiki_needed = True - elif force_reeval: # Wenn Re-Eval und keine Parent-URL gefunden wurde - if r_url_is_valid_looking: - self.logger.info(f" Zeile {row_num_in_sheet}: Re-Eval Modus. Nutze vorhandene Tochter-URL (R): {current_wiki_url_in_sheet_for_daughter}") - url_to_validate_and_extract = current_wiki_url_in_sheet_for_daughter - name_for_wiki_article_validation = company_name - source_of_wiki_data_origin = "Tochter (aus R, Re-Eval)" - else: - self.logger.info(f" Zeile {row_num_in_sheet}: Re-Eval Modus. Tochter-URL (R) leer/ungültig. Starte neue Wiki-Suche für Tochter '{company_name}'.") - search_for_daughter_wiki_needed = True - elif timestamp_z_is_empty: # Wikipedia Timestamp (Z) fehlt - if r_url_is_valid_looking: - self.logger.info(f" Zeile {row_num_in_sheet}: Wikipedia Timestamp (Z) fehlt. Validiere vorhandene Tochter-URL (R): {current_wiki_url_in_sheet_for_daughter}") - url_to_validate_and_extract = current_wiki_url_in_sheet_for_daughter - name_for_wiki_article_validation = company_name - source_of_wiki_data_origin = "Tochter (aus R, Z leer)" - else: - self.logger.info(f" Zeile {row_num_in_sheet}: Wikipedia Timestamp (Z) fehlt und Tochter-URL (R) leer/ungültig. Starte neue Wiki-Suche für Tochter '{company_name}'.") - search_for_daughter_wiki_needed = True - elif not r_url_is_valid_looking: # Fallback, wenn Z nicht leer, aber R schlecht ist - self.logger.info(f" Zeile {row_num_in_sheet}: Tochter-URL (R) ist ungültig ('{current_wiki_url_in_sheet_for_daughter}'). Starte neue Wiki-Suche für Tochter '{company_name}'.") - search_for_daughter_wiki_needed = True - - if search_for_daughter_wiki_needed: - self.logger.info(f" -> Suche nach Wikipedia-Artikel für Tochter '{company_name}' (Standard-Suche)...") - daughter_page_object = self.wiki_scraper.search_company_article(company_name=company_name, website=website_url) - if daughter_page_object: - url_to_validate_and_extract = daughter_page_object.url - name_for_wiki_article_validation = company_name - source_of_wiki_data_origin = "Tochter (Standard-Suche)" - self.logger.info(f" -> Suche für Tochter '{company_name}' erfolgreich, gefundene URL: {url_to_validate_and_extract}") - else: - self.logger.warning(f" -> Kein Wiki-Artikel für Tochter '{company_name}' via Standard-Suche gefunden.") - url_to_validate_and_extract = "Kein Artikel gefunden" # Signalwert - final_wiki_data['url'] = url_to_validate_and_extract # Dies wird direkt in R geschrieben - for key_to_clear in ['sitz_stadt', 'sitz_land', 'first_paragraph', 'branche', 'umsatz', 'mitarbeiter', 'categories']: - final_wiki_data[key_to_clear] = 'k.A.' - wiki_data_updated_in_this_run = True + url_for_extraction = None + source_of_wiki_data_origin_log_msg = "Tochter (Standard)" # Für Logging - # Fallback, wenn immer noch keine URL zum Extrahieren, aber R valide war (z.B. bei _needs_wiki_processing=True wegen Z leer, aber R gut) - if url_to_validate_and_extract is None and r_url_is_valid_looking : - url_to_validate_and_extract = current_wiki_url_in_sheet_for_daughter - name_for_wiki_article_validation = company_name - source_of_wiki_data_origin = "Tochter (aus R, Fallback)" - self.logger.info(f" Zeile {row_num_in_sheet}: Fallback, nutze URL aus R: {url_to_validate_and_extract} für Validierung/Extraktion.") - # --- ENDE: STANDARD-LOGIK FÜR TOCHTER-WIKI-SUCHE --- - - # --- START: VALIDIERUNG UND DATENEXTRAKTION DER ERMITTELTEN URL --- - artikel_ist_valide_fuer_extraktion = False # Zurücksetzen für diesen Abschnitt - if url_to_validate_and_extract and isinstance(url_to_validate_and_extract, str) and \ - url_to_validate_and_extract.lower() not in ["k.a.", "kein artikel gefunden"] and \ - not url_to_validate_and_extract.startswith("FEHLER"): - - self.logger.info(f" Zeile {row_num_in_sheet}: Artikel '{url_to_validate_and_extract}' wird nun gegen '{name_for_wiki_article_validation}' validiert (Herkunft: {source_of_wiki_data_origin})...") - page_obj_for_validation = None # Explizit initialisieren + # Priorität 1: Wenn Tochter-URL (R) leer/k.A. UND Parent (D) gesetzt ist + if (not current_wiki_url_r or current_wiki_url_r.lower() == 'k.a.') and \ + (parent_name_d and parent_name_d.lower() != 'k.a.'): + self.logger.info(f" Zeile {row_num_in_sheet}: R leer, D ('{parent_name_d}') gesetzt. Suche Wiki für Parent D.") try: - if url_to_validate_and_extract.startswith("http"): - page_obj_for_validation = wikipedia.page(url=url_to_validate_and_extract, auto_suggest=False, preload=False) - else: # Annahme: Es ist ein Titel - page_obj_for_validation = wikipedia.page(title=url_to_validate_and_extract, auto_suggest=False, preload=False) + url_for_extraction = serp_wikipedia_lookup(parent_name_d, website=None) + if url_for_extraction: + source_of_wiki_data_origin_log_msg = f"Parent D ('{parent_name_d}')" + # Setze AC direkt auf INFO_PARENT_AUS_D, da wir diesem Pfad vertrauen + updates.append({'range': f'{self.sheet_handler._get_col_letter(COLUMN_MAP["Chat Wiki Konsistenzpruefung"] + 1)}{row_num_in_sheet}', 'values': [["INFO_PARENT_AUS_D"]]}) + updates.append({'range': f'{self.sheet_handler._get_col_letter(COLUMN_MAP["Begründung bei Abweichung"] + 1)}{row_num_in_sheet}', 'values': [[f"Wiki-Daten von Parent (aus D): {parent_name_d} übernommen."]]}) + except Exception as e_d_lookup: + self.logger.error(f"Fehler bei Wiki-Suche für Parent D '{parent_name_d}': {e_d_lookup}") + url_for_extraction = f"Fehler Suche Parent D: {str(e_d_lookup)[:50]}" + + # Priorität 2: Wenn Tochter-URL (R) leer/k.A. UND (D leer ODER D-Suche fehlschlug) UND Parent-Vorschlag (O) gesetzt ist + if (url_for_extraction is None or url_for_extraction.startswith("Fehler")) and \ + (not current_wiki_url_r or current_wiki_url_r.lower() == 'k.a.') and \ + (system_suggested_parent_o and system_suggested_parent_o.lower() != 'k.a.'): + self.logger.info(f" Zeile {row_num_in_sheet}: R leer, D nicht genutzt/erfolglos, O ('{system_suggested_parent_o}') gesetzt. Suche Wiki für Parent O.") + try: + url_for_extraction = serp_wikipedia_lookup(system_suggested_parent_o, website=None) + if url_for_extraction: + source_of_wiki_data_origin_log_msg = f"Parent O ('{system_suggested_parent_o}')" + updates.append({'range': f'{self.sheet_handler._get_col_letter(COLUMN_MAP["Chat Wiki Konsistenzpruefung"] + 1)}{row_num_in_sheet}', 'values': [["INFO_PARENT_AUS_O"]]}) + updates.append({'range': f'{self.sheet_handler._get_col_letter(COLUMN_MAP["Begründung bei Abweichung"] + 1)}{row_num_in_sheet}', 'values': [[f"Wiki-Daten von Parent (aus O): {system_suggested_parent_o} übernommen."]]}) + except Exception as e_o_lookup: + self.logger.error(f"Fehler bei Wiki-Suche für Parent O '{system_suggested_parent_o}': {e_o_lookup}") + url_for_extraction = f"Fehler Suche Parent O: {str(e_o_lookup)[:50]}" + + # Priorität 3: Standard Tochter-Suche/Verwendung (wenn R leer war und Parent-Suchen nicht griffen, oder wenn R schon was hat und Re-Eval etc.) + if url_for_extraction is None or url_for_extraction.startswith("Fehler"): + self.logger.debug(f" Zeile {row_num_in_sheet}: Keine Parent-Wiki-URL ermittelt oder genutzt. Standard Wiki-Logik für Tochter '{company_name}' greift.") + # Hier die bisherige Logik aus _process_single_row für die Wiki-Suche/Validierung der Tochter + # (Diese Logik entscheidet, ob `current_wiki_url_r` verwendet, neu gesucht oder validiert wird) + # Am Ende dieser Logik sollte `url_for_extraction` die URL der Tochter oder einen Fehler/Signalwert enthalten. + # Beispielhaft (vereinfacht): + if force_reeval or not self._get_cell_value_safe(row_data, "Wikipedia Timestamp").strip() or self._get_cell_value_safe(row_data, "Chat Wiki Konsistenzpruefung").strip().upper() == "X (URL COPIED)": + if current_wiki_url_r and current_wiki_url_r.lower() not in ["k.a.", "kein artikel gefunden"] and not force_reeval and self._get_cell_value_safe(row_data, "Chat Wiki Konsistenzpruefung").strip().upper() != "X (URL COPIED)": + # Timestamp Z war leer, aber R hatte eine URL -> diese verwenden und validieren + url_for_extraction = current_wiki_url_r + source_of_wiki_data_origin_log_msg = "Tochter (aus R, Z leer)" + else: # Neu suchen + try: + page_obj_tochter = self.wiki_scraper.search_company_article(company_name, website_url) + if page_obj_tochter: + url_for_extraction = page_obj_tochter.url + source_of_wiki_data_origin_log_msg = "Tochter (Standard-Suche)" + else: + url_for_extraction = "Kein Artikel gefunden" + except Exception as e_tochter_suche: + url_for_extraction = f"Fehler Suche Tochter: {str(e_tochter_suche)[:50]}" + elif current_wiki_url_r and current_wiki_url_r.lower() not in ["k.a.", "kein artikel gefunden"]: + url_for_extraction = current_wiki_url_r # R hat was und Timestamp Z ist gesetzt + source_of_wiki_data_origin_log_msg = "Tochter (aus R, unverändert)" + + + # Datenextraktion, wenn eine URL bestimmt wurde (egal ob Parent oder Tochter) + if url_for_extraction and isinstance(url_for_extraction, str) and \ + url_for_extraction.lower() not in ["k.a.", "kein artikel gefunden"] and \ + not url_for_extraction.startswith("FEHLER"): + self.logger.info(f" -> Extrahiere Wiki-Daten von URL ({source_of_wiki_data_origin_log_msg}): {url_for_extraction[:100]}...") + try: + # Für Parent-Artikel wird hier KEINE strenge Validierung mehr durchgeführt, + # wir nehmen an, serp_lookup war gut genug. Für Tochter-Artikel + # hat search_company_article bereits validiert. + extracted_data = self.wiki_scraper.extract_company_data(url_for_extraction) - # Die Validierung verwendet die angepasste _validate_article Methode des WikiScrapers - if self.wiki_scraper._validate_article(page_obj_for_validation, name_for_wiki_article_validation, website_url): # website_url ist immer die der Tochter - artikel_ist_valide_fuer_extraktion = True - url_to_validate_and_extract = page_obj_for_validation.url # Kanonische URL übernehmen - self.logger.info(f" -> Artikel '{page_obj_for_validation.title}' (URL: {url_to_validate_and_extract}) erfolgreich gegen '{name_for_wiki_article_validation}' validiert.") - else: # Artikel nicht valide - self.logger.warning(f" -> Artikel '{page_obj_for_validation.title}' NICHT gegen '{name_for_wiki_article_validation}' validiert.") - additional_info_for_af_col += f"WARNUNG: Artikel '{page_obj_for_validation.url}' nicht valide für '{name_for_wiki_article_validation}'. " - final_wiki_data['url'] = page_obj_for_validation.url # Trotzdem URL speichern - for key_to_clear in ['sitz_stadt', 'sitz_land', 'first_paragraph', 'branche', 'umsatz', 'mitarbeiter', 'categories']: - final_wiki_data[key_to_clear] = 'k.A. (Artikel nicht valide)' if key_to_clear == 'first_paragraph' else 'k.A.' - wiki_data_updated_in_this_run = True # Es gab einen Versuch, die URL zu ändern/setzen - - except wikipedia.exceptions.PageError: - self.logger.warning(f" -> Wiki-Seite für '{url_to_validate_and_extract}' nicht gefunden (PageError) bei Validierungsversuch.") - additional_info_for_af_col += f"FEHLER: Seite '{url_to_validate_and_extract}' nicht gefunden. " - final_wiki_data['url'] = f"Fehler: Seite '{url_to_validate_and_extract}' nicht gefunden" - wiki_data_updated_in_this_run = True - except wikipedia.exceptions.DisambiguationError as e_dis_val_wiki: - self.logger.warning(f" -> Wiki-Seite für '{url_to_validate_and_extract}' ist eine Begriffsklärung: {e_dis_val_wiki.title}. Optionen: {str(e_dis_val_wiki.options)[:100]}...") - additional_info_for_af_col += f"FEHLER: Seite '{url_to_validate_and_extract}' ist Begriffsklärung. " - final_wiki_data['url'] = f"Fehler: Begriffsklärung ({url_to_validate_and_extract})" - wiki_data_updated_in_this_run = True - except Exception as e_val_load_page_wiki: - self.logger.error(f" -> Unerwarteter Fehler beim Laden/Validieren der Wiki-Seite '{url_to_validate_and_extract}': {e_val_load_page_wiki}") - additional_info_for_af_col += f"FEHLER: Laden/Validieren von '{url_to_validate_and_extract}' fehlgeschlagen. " - final_wiki_data['url'] = f"Fehler Validierung: {str(e_val_load_page_wiki)[:50]}" - wiki_data_updated_in_this_run = True - - if artikel_ist_valide_fuer_extraktion: - self.logger.debug(f" -> Extrahiere Wiki-Daten von validierter URL ({source_of_wiki_data_origin}): {url_to_validate_and_extract[:100]}...") - try: - extracted_data = self.wiki_scraper.extract_company_data(url_to_validate_and_extract) if extracted_data and isinstance(extracted_data, dict) and extracted_data.get('url') != 'k.A.': - final_wiki_data = extracted_data # Überschreibe die Arbeitskopie + final_wiki_data = extracted_data wiki_data_updated_in_this_run = True - self.logger.info(f" -> Datenextraktion von {url_to_validate_and_extract[:100]}... ({source_of_wiki_data_origin}) erfolgreich.") - - if source_of_wiki_data_origin.startswith("Parent"): - ac_wert_fuer_parent_wiki = "INFO_PARENT_WIKI" # Spezieller Status - self.logger.info(f" -> Setze AC auf '{ac_wert_fuer_parent_wiki}', da Wiki-Daten von Parent.") - updates.append({'range': f'{self.sheet_handler._get_col_letter(COLUMN_MAP["Chat Wiki Konsistenzpruefung"] + 1)}{row_num_in_sheet}', 'values': [[ac_wert_fuer_parent_wiki]]}) - updates.append({'range': f'{self.sheet_handler._get_col_letter(COLUMN_MAP["Chat Begründung Wiki Inkonsistenz"] + 1)}{row_num_in_sheet}', 'values': [[f"Daten von Parent: {name_for_wiki_article_validation}"]]}) - updates.append({'range': f'{self.sheet_handler._get_col_letter(COLUMN_MAP["Chat Vorschlag Wiki Artikel"] + 1)}{row_num_in_sheet}', 'values': [['']]}) + self.logger.info(f" -> Datenextraktion von {url_for_extraction[:100]}... erfolgreich.") + # Wenn Daten von Parent stammen, wurde AC ggf. schon oben gesetzt. + # Wenn es eine Tochter-URL war, muss AC+AA ggf. für ChatGPT-Verif. zurückgesetzt werden. + if not source_of_wiki_data_origin_log_msg.startswith("Parent") and \ + (force_reeval or current_wiki_url_r != url_for_extraction or self._get_cell_value_safe(row_data, "Chat Wiki Konsistenzpruefung").strip().upper() == "X (URL COPIED)"): + updates.append({'range': f'{self.sheet_handler._get_col_letter(COLUMN_MAP["Chat Wiki Konsistenzpruefung"] + 1)}{row_num_in_sheet}', 'values': [['?']]}) updates.append({'range': f'{self.sheet_handler._get_col_letter(COLUMN_MAP["Wiki Verif. Timestamp"] + 1)}{row_num_in_sheet}', 'values': [['']]}) - additional_info_for_af_col = f"INFO: Wiki-Daten von Parent '{name_for_wiki_article_validation}' übernommen. " # Überschreibe, da erfolgreich - else: # Fehler bei Extraktion oder leeres Ergebnis - self.logger.error(f" -> Fehler bei Datenextraktion von {url_to_validate_and_extract[:100]}... (Extraktion leer/ungültig).") - final_wiki_data['url'] = url_to_validate_and_extract - for key_to_clear in ['sitz_stadt', 'sitz_land', 'first_paragraph', 'branche', 'umsatz', 'mitarbeiter', 'categories']: - final_wiki_data[key_to_clear] = 'k.A. (Extraktion fehlgeschlagen)' if key_to_clear == 'first_paragraph' else 'k.A.' - wiki_data_updated_in_this_run = True - except Exception as e_wiki_extract_final_val: - self.logger.error(f"FEHLER bei Wikipedia Datenextraktion von {url_to_validate_and_extract[:100]}...: {e_wiki_extract_final_val}") - final_wiki_data['url'] = url_to_validate_and_extract - for key_to_clear in ['sitz_stadt', 'sitz_land', 'first_paragraph', 'branche', 'umsatz', 'mitarbeiter', 'categories']: - final_wiki_data[key_to_clear] = f'k.A. (FEHLER Extraktion)' if key_to_clear == 'first_paragraph' else 'k.A.' + # ... (Rest der Fehlerbehandlung für Extraktion) + except Exception as e_wiki_extract_final_simple: + # ... (Fehlerbehandlung) + final_wiki_data['url'] = url_for_extraction # Zumindest die URL speichern + # ... (Rest auf k.A. setzen) wiki_data_updated_in_this_run = True - - # --- Sheet Updates für Wiki-Daten (R-Y) und Timestamps (Z, AA, AB) --- - if wiki_data_updated_in_this_run: # Nur updaten, wenn sich was geändert hat oder Fehler auftrat - updates.append({'range': f'{self.sheet_handler._get_col_letter(COLUMN_MAP["Wiki URL"] + 1)}{row_num_in_sheet}', 'values': [[final_wiki_data.get('url', 'k.A.')]]}) - updates.append({'range': f'{self.sheet_handler._get_col_letter(COLUMN_MAP["Wiki Sitz Stadt"] + 1)}{row_num_in_sheet}', 'values': [[final_wiki_data.get('sitz_stadt', 'k.A.')]]}) - updates.append({'range': f'{self.sheet_handler._get_col_letter(COLUMN_MAP["Wiki Sitz Land"] + 1)}{row_num_in_sheet}', 'values': [[final_wiki_data.get('sitz_land', 'k.A.')]]}) - updates.append({'range': f'{self.sheet_handler._get_col_letter(COLUMN_MAP["Wiki Absatz"] + 1)}{row_num_in_sheet}', 'values': [[final_wiki_data.get('first_paragraph', 'k.A.')]]}) - updates.append({'range': f'{self.sheet_handler._get_col_letter(COLUMN_MAP["Wiki Branche"] + 1)}{row_num_in_sheet}', 'values': [[final_wiki_data.get('branche', 'k.A.')]]}) - updates.append({'range': f'{self.sheet_handler._get_col_letter(COLUMN_MAP["Wiki Umsatz"] + 1)}{row_num_in_sheet}', 'values': [[final_wiki_data.get('umsatz', 'k.A.')]]}) - updates.append({'range': f'{self.sheet_handler._get_col_letter(COLUMN_MAP["Wiki Mitarbeiter"] + 1)}{row_num_in_sheet}', 'values': [[final_wiki_data.get('mitarbeiter', 'k.A.')]]}) - updates.append({'range': f'{self.sheet_handler._get_col_letter(COLUMN_MAP["Wiki Kategorien"] + 1)}{row_num_in_sheet}', 'values': [[final_wiki_data.get('categories', 'k.A.')]]}) - - # Timestamp für Wikipedia-Extraktion (Z) immer setzen, wenn der Wiki-Schritt lief - updates.append({'range': f'{self.sheet_handler._get_col_letter(COLUMN_MAP["Wikipedia Timestamp"] + 1)}{row_num_in_sheet}', 'values': [[now_timestamp]]}) + elif url_for_extraction: # War "Kein Artikel..." oder "Fehler..." + final_wiki_data['url'] = url_for_extraction + for key_to_clear in ['sitz_stadt', 'sitz_land', 'first_paragraph', 'branche', 'umsatz', 'mitarbeiter', 'categories']: + final_wiki_data[key_to_clear] = 'k.A.' + wiki_data_updated_in_this_run = True - # Spalte AF Begründung - current_af_val = self._get_cell_value_safe(row_data, "Begründung bei Abweichung").strip() - if additional_info_for_af_col: - new_af_val = (current_af_val + "; " + additional_info_for_af_col if current_af_val else additional_info_for_af_col).strip() - updates.append({'range': f'{self.sheet_handler._get_col_letter(COLUMN_MAP["Begründung bei Abweichung"] + 1)}{row_num_in_sheet}', 'values': [[new_af_val]]}) + # Updates für R-Y und Z + if wiki_data_updated_in_this_run: + # ... (Updates für Spalten R bis Y mit final_wiki_data) ... + updates.append({'range': f'{self.sheet_handler._get_col_letter(COLUMN_MAP["Wikipedia Timestamp"] + 1)}{row_num_in_sheet}', 'values': [[now_timestamp]]}) # Z + # Ggf. SerpAPI Timestamp (AB) setzen, wenn eine der Suchen (Parent D/O oder Tochter) via serp_wikipedia_lookup lief + if source_of_wiki_data_origin_log_msg.endswith("(O via SerpAPI)") or \ + source_of_wiki_data_origin_log_msg.endswith("(D via SerpAPI)") or \ + (source_of_wiki_data_origin_log_msg == "Tochter (Standard-Suche)" and "serp_wikipedia_lookup" in str(self.wiki_scraper.search_company_article)): # Heuristik + updates.append({'range': f'{self.sheet_handler._get_col_letter(COLUMN_MAP["SerpAPI Wiki Search Timestamp"] + 1)}{row_num_in_sheet}', 'values': [[now_timestamp]]}) - # Reset AC, AA, AD, AE falls nötig (Logik von oben wiederholt, angepasst) - ac_current_value = self._get_cell_value_safe(row_data, "Chat Wiki Konsistenzpruefung").strip() - reset_ac_aa_final = False - if final_wiki_data.get('url', 'k.A.').lower() not in ["k.a.", "kein artikel gefunden"] and not final_wiki_data.get('url', '').startswith("FEHLER"): - if source_of_wiki_data_origin.startswith("Parent") and ac_current_value != "INFO_PARENT_WIKI": - # Für Parent-Daten wurde AC schon oben auf INFO_PARENT_WIKI gesetzt, hier nicht nochmal ändern - pass - elif current_wiki_url_in_sheet_for_daughter != final_wiki_data.get('url'): - reset_ac_aa_final = True - elif force_reeval: - reset_ac_aa_final = True - elif self._get_cell_value_safe(row_data, "Chat Wiki Konsistenzpruefung").strip().upper() == "X (URL COPIED)": # status_ac_is_reparse - reset_ac_aa_final = True - - if reset_ac_aa_final and ac_current_value != "INFO_PARENT_WIKI": - self.logger.info(f" Zeile {row_num_in_sheet}: Setze AC auf '?' und leere AA, AD, AE aufgrund neuer/re-evaluierter Wiki-Daten für '{name_for_wiki_article_validation}'.") - updates.append({'range': f'{self.sheet_handler._get_col_letter(COLUMN_MAP["Chat Wiki Konsistenzpruefung"] + 1)}{row_num_in_sheet}', 'values': [['?']]}) # AC - updates.append({'range': f'{self.sheet_handler._get_col_letter(COLUMN_MAP["Wiki Verif. Timestamp"] + 1)}{row_num_in_sheet}', 'values': [['']]}) # AA - updates.append({'range': f'{self.sheet_handler._get_col_letter(COLUMN_MAP["Chat Begründung Wiki Inkonsistenz"] + 1)}{row_num_in_sheet}', 'values': [['']]}) # AD - updates.append({'range': f'{self.sheet_handler._get_col_letter(COLUMN_MAP["Chat Vorschlag Wiki Artikel"] + 1)}{row_num_in_sheet}', 'values': [['']]}) # AE + + # --- 2b. System Vorschlag Parent Account (O, P, Q) --- + # ... (Dieser Block bleibt wie im vorherigen Vorschlag, ruft _suggest_parent_account) ... + # _suggest_parent_account muss jetzt auch mit den potentiell vom Parent stammenden final_wiki_data umgehen können. + + # ... (Rest von _process_single_row: ChatGPT-Eval, ML, etc.) ... # --- 2b. System Vorschlag Parent Account (Spalte O, P, Q) --- # Dieser Schritt wird ausgeführt, wenn 'wiki' in steps_to_run enthalten ist (oder ein spezifischer 'parent_suggest'-Schritt) @@ -8205,34 +8113,31 @@ class DataProcessor: results = { "plaus_umsatz_flag": "NICHT_PRUEFBAR", "plaus_ma_flag": "NICHT_PRUEFBAR", "plaus_ratio_flag": "NICHT_PRUEFBAR", "abweichung_umsatz_flag": "N/A", - "abweichung_ma_flag": "N/A", "begruendungen": [], # Wird jetzt zu 'plausi_begruendung_final' am Ende - "plausi_begruendung_final": "Plausibilität OK" # Default, wird überschrieben wenn es Begründungen gibt + "abweichung_ma_flag": "N/A", + "plausi_begruendung_final": "Plausibilität OK" } + temp_begruendungen = [] + + # --- START ANPASSUNG: Parent-Account Info aus D holen --- + parent_account_name_d_val = row_data_dict.get("Parent Account Name", "").strip() + is_konzern_tochter_laut_d = bool(parent_account_name_d_val and parent_account_name_d_val.lower() != 'k.a.') - # Hole den Parent Account Name aus dem übergebenen Dictionary - parent_account_name_d_val = row_data_dict.get("Parent Account Name", "").strip() # Spalte D - is_konzern_tochter = bool(parent_account_name_d_val and parent_account_name_d_val.lower() != 'k.a.') - - if is_konzern_tochter: - self.logger.debug(f" PlausiCheck: Tochter von Konzern '{parent_account_name_d_val}' (D). Abweichungs-Checks werden als INFO_KONZERN_LOGIK behandelt.") + if is_konzern_tochter_laut_d: + self.logger.debug(f" PlausiCheck: Tochter von Konzern '{parent_account_name_d_val}' (aus Spalte D). Abweichungs-Checks CRM/Wiki werden als INFO_KONZERN_LOGIK behandelt.") + # --- ENDE ANPASSUNG --- # --- 1. Plausibilität Finaler Umsatz (BG) --- final_umsatz_str = row_data_dict.get("Finaler Umsatz (Wiki>CRM)", "k.A.") umsatz_num_absolut = self._get_numeric_value_for_plausi(final_umsatz_str, is_umsatz=True) - # ... (Logik für plaus_umsatz_flag und Begründung für Umsatz bleibt wie gehabt) ... - # Beispielhaft, wie Begründungen gesammelt werden: - temp_begruendungen = [] # Lokale Liste für Begründungen in diesem Check - + exclusion_list_common = ['k.a.', '', 'n/a', '-', '0', '0.0', '0,00', '0.000', '0.00'] if pd.isna(umsatz_num_absolut): - exclusion_list_common = ['k.a.', '', 'n/a', '-', '0', '0.0', '0,00', '0.000', '0.00'] - if final_umsatz_str.lower().strip() not in exclusion_list_common and not final_umsatz_str.startswith("FEHLER"): # Auch "FEHLER..." ausschließen + if final_umsatz_str.lower().strip() not in exclusion_list_common and not final_umsatz_str.startswith("FEHLER"): results["plaus_umsatz_flag"] = "FEHLER_FORMAT" temp_begruendungen.append(f"Finaler Umsatz ('{final_umsatz_str}') konnte nicht als Zahl interpretiert werden.") - # else: bleibt NICHT_PRUEFBAR, wenn es k.A./0/Fehler war - else: # umsatz_num_absolut ist eine gültige Zahl + else: results["plaus_umsatz_flag"] = "OK" - if umsatz_num_absolut == 0 and final_umsatz_str != "0": # Echte numerische 0, aber nicht aus Input "0" (der als unbekannt gilt) + if umsatz_num_absolut == 0 and final_umsatz_str != "0": results["plaus_umsatz_flag"] = "WARNUNG_NULL_WERT" temp_begruendungen.append(f"Finaler Umsatz ist numerisch 0 (aus '{final_umsatz_str}').") elif umsatz_num_absolut < getattr(Config, 'PLAUSI_UMSATZ_MIN_WARNUNG', 50000): @@ -8242,12 +8147,10 @@ class DataProcessor: results["plaus_umsatz_flag"] = "WARNUNG_HOCH" temp_begruendungen.append(f"Finaler Umsatz ({umsatz_num_absolut:,.0f} €) > Max-Schwelle ({getattr(Config, 'PLAUSI_UMSATZ_MAX_WARNUNG', 200000000000):,.0f} €).") - # --- 2. Plausibilität Finale Mitarbeiter (BH) --- final_ma_str = row_data_dict.get("Finaler Mitarbeiter (Wiki>CRM)", "k.A.") ma_num_absolut = self._get_numeric_value_for_plausi(final_ma_str, is_umsatz=False) - # ... (Logik für plaus_ma_flag und Begründung für Mitarbeiter bleibt wie gehabt) ... if pd.isna(ma_num_absolut): if final_ma_str.lower().strip() not in exclusion_list_common and not final_ma_str.startswith("FEHLER"): results["plaus_ma_flag"] = "FEHLER_FORMAT" @@ -8269,7 +8172,7 @@ class DataProcessor: temp_begruendungen.append(f"Finale MA ({ma_num_absolut:.0f}) > Max-Schwelle ({getattr(Config, 'PLAUSI_MA_MAX_WARNUNG', 1000000):,.0f}).") # --- 3. Plausibilität Umsatz/MA Ratio (BI) --- - if not pd.isna(umsatz_num_absolut) and not pd.isna(ma_num_absolut) and umsatz_num_absolut > 0 : # Nur wenn Umsatz > 0 + if not pd.isna(umsatz_num_absolut) and not pd.isna(ma_num_absolut) and umsatz_num_absolut > 0 : if ma_num_absolut > 0: ratio = umsatz_num_absolut / ma_num_absolut results["plaus_ratio_flag"] = "OK" @@ -8279,68 +8182,67 @@ class DataProcessor: elif ratio > getattr(Config, 'PLAUSI_RATIO_UMSATZ_PRO_MA_MAX', 1500000): results["plaus_ratio_flag"] = "WARNUNG_RATIO_HOCH" temp_begruendungen.append(f"Umsatz/MA Ratio ({ratio:,.0f} €/MA) > Max-Schwelle ({getattr(Config, 'PLAUSI_RATIO_UMSATZ_PRO_MA_MAX', 1500000):,.0f} €/MA).") - elif ma_num_absolut == 0: # Umsatz vorhanden, aber MA ist 0 + elif ma_num_absolut == 0: results["plaus_ratio_flag"] = "FEHLER_MA_NULL_BEI_UMSATZ" temp_begruendungen.append("Umsatz vorhanden, aber MA ist 0. Ratio nicht berechenbar.") - # else: MA < 0 (sollte nicht passieren) oder NaN (bereits oben abgedeckt) - elif pd.isna(umsatz_num_absolut) or umsatz_num_absolut <= 0 : # Wenn Umsatz NaN oder <= 0 ist, ist Ratio nicht sinnvoll prüfbar + elif pd.isna(umsatz_num_absolut) or umsatz_num_absolut <= 0 : results["plaus_ratio_flag"] = "NICHT_PRUEFBAR_UMSATZ_FEHLT" - # Der Fall "ma_num_absolut ist NaN" ist implizit durch die erste Bedingung abgedeckt. - + # --- 4. Abgleich CRM vs. Wiki (BJ, BK) --- crm_umsatz_str = row_data_dict.get("CRM Umsatz", "k.A.") - wiki_umsatz_str = row_data_dict.get("Wiki Umsatz", "k.A.") # Dies ist der Wert aus Spalte W (kann von Parent sein) + wiki_umsatz_str = row_data_dict.get("Wiki Umsatz", "k.A.") crm_ma_str = row_data_dict.get("CRM Anzahl Mitarbeiter", "k.A.") - wiki_ma_str = row_data_dict.get("Wiki Mitarbeiter", "k.A.") # Dies ist der Wert aus Spalte X (kann von Parent sein) + wiki_ma_str = row_data_dict.get("Wiki Mitarbeiter", "k.A.") - # _get_numeric_value_for_plausi liefert absolute Werte oder NaN crm_u_abs = self._get_numeric_value_for_plausi(crm_umsatz_str, is_umsatz=True) wiki_u_abs = self._get_numeric_value_for_plausi(wiki_umsatz_str, is_umsatz=True) - crm_m_abs_comp = self._get_numeric_value_for_plausi(crm_ma_str, is_umsatz=False) # anderer Variablenname, um Konflikt mit ma_num_absolut oben zu vermeiden + crm_m_abs_comp = self._get_numeric_value_for_plausi(crm_ma_str, is_umsatz=False) wiki_m_abs_comp = self._get_numeric_value_for_plausi(wiki_ma_str, is_umsatz=False) abweichung_prozent_config = getattr(Config, 'PLAUSI_ABWEICHUNG_CRM_WIKI_PROZENT', 30) / 100.0 # Umsatz Abweichung (BJ) if pd.notna(crm_u_abs) and pd.notna(wiki_u_abs) and crm_u_abs > 0 and wiki_u_abs > 0 : - if is_konzern_tochter: + # --- START ANPASSUNG --- + if is_konzern_tochter_laut_d: results["abweichung_umsatz_flag"] = "INFO_KONZERN_LOGIK" - temp_begruendungen.append(f"INFO: Umsatz CRM vs. Wiki Abgleich bei Konzernzugehörigkeit nicht direkt bewertet (CRM: {crm_u_abs:,.0f}€, Wiki: {wiki_u_abs:,.0f}€).") - else: - diff = abs(crm_u_abs - wiki_u_abs) - # Bezugswert für Prozentrechnung: der größere der beiden Werte oder Durchschnitt? - # Hier: Bezug auf den größeren Wert, um konservativer zu sein - bezugswert_umsatz = max(crm_u_abs, wiki_u_abs) - if bezugswert_umsatz > 0 and (diff / bezugswert_umsatz) > abweichung_prozent_config: + # Optional: Begründung hinzufügen, wenn gewünscht + # temp_begruendungen.append(f"INFO: Konzernlogik - Umsatzabweichung CRM/Wiki nicht als Fehler gewertet.") + # --- ENDE ANPASSUNG --- + else: # Normale Prüfung, wenn keine Konzernzugehörigkeit in D vermerkt + diff_umsatz = abs(crm_u_abs - wiki_u_abs) + bezugswert_umsatz = max(crm_u_abs, wiki_u_abs) if max(crm_u_abs, wiki_u_abs) > 0 else 1 # Div by Zero vermeiden + if (diff_umsatz / bezugswert_umsatz) > abweichung_prozent_config: results["abweichung_umsatz_flag"] = "WARNUNG_SIGNIFIKANT" temp_begruendungen.append(f"Umsatz CRM ({crm_u_abs:,.0f} €) vs. Wiki ({wiki_u_abs:,.0f} €) weicht >{abweichung_prozent_config*100:.0f}% ab.") else: results["abweichung_umsatz_flag"] = "OK" - elif pd.notna(crm_u_abs) and crm_u_abs > 0 and pd.isna(wiki_u_abs): results["abweichung_umsatz_flag"] = "WIKI_FEHLT_ODER_NULL" - elif pd.isna(crm_u_abs) and pd.notna(wiki_u_abs) and wiki_u_abs > 0: results["abweichung_umsatz_flag"] = "CRM_FEHLT_ODER_NULL" + elif pd.notna(crm_u_abs) and crm_u_abs > 0 and (pd.isna(wiki_u_abs) or wiki_u_abs <=0) : results["abweichung_umsatz_flag"] = "WIKI_FEHLT_ODER_NULL" + elif (pd.isna(crm_u_abs) or crm_u_abs <=0) and pd.notna(wiki_u_abs) and wiki_u_abs > 0 : results["abweichung_umsatz_flag"] = "CRM_FEHLT_ODER_NULL" else: results["abweichung_umsatz_flag"] = "BEIDE_FEHLEN_ODER_NULL" # Mitarbeiter Abweichung (BK) if pd.notna(crm_m_abs_comp) and pd.notna(wiki_m_abs_comp) and crm_m_abs_comp > 0 and wiki_m_abs_comp > 0: - if is_konzern_tochter: + # --- START ANPASSUNG --- + if is_konzern_tochter_laut_d: results["abweichung_ma_flag"] = "INFO_KONZERN_LOGIK" - temp_begruendungen.append(f"INFO: MA CRM vs. Wiki Abgleich bei Konzernzugehörigkeit nicht direkt bewertet (CRM: {crm_m_abs_comp:.0f}, Wiki: {wiki_m_abs_comp:.0f}).") - else: - diff = abs(crm_m_abs_comp - wiki_m_abs_comp) - bezugswert_ma = max(crm_m_abs_comp, wiki_m_abs_comp) - if bezugswert_ma > 0 and (diff / bezugswert_ma) > abweichung_prozent_config: + # Optional: Begründung hinzufügen + # temp_begruendungen.append(f"INFO: Konzernlogik - MA-Abweichung CRM/Wiki nicht als Fehler gewertet.") + # --- ENDE ANPASSUNG --- + else: # Normale Prüfung + diff_ma = abs(crm_m_abs_comp - wiki_m_abs_comp) + bezugswert_ma = max(crm_m_abs_comp, wiki_m_abs_comp) if max(crm_m_abs_comp, wiki_m_abs_comp) > 0 else 1 + if (diff_ma / bezugswert_ma) > abweichung_prozent_config: results["abweichung_ma_flag"] = "WARNUNG_SIGNIFIKANT" temp_begruendungen.append(f"MA CRM ({crm_m_abs_comp:.0f}) vs. Wiki ({wiki_m_abs_comp:.0f}) weicht >{abweichung_prozent_config*100:.0f}% ab.") else: results["abweichung_ma_flag"] = "OK" - elif pd.notna(crm_m_abs_comp) and crm_m_abs_comp > 0 and pd.isna(wiki_m_abs_comp): results["abweichung_ma_flag"] = "WIKI_FEHLT_ODER_NULL" - elif pd.isna(crm_m_abs_comp) and pd.notna(wiki_m_abs_comp) and wiki_m_abs_comp > 0: results["abweichung_ma_flag"] = "CRM_FEHLT_ODER_NULL" + elif pd.notna(crm_m_abs_comp) and crm_m_abs_comp > 0 and (pd.isna(wiki_m_abs_comp) or wiki_m_abs_comp <=0): results["abweichung_ma_flag"] = "WIKI_FEHLT_ODER_NULL" + elif (pd.isna(crm_m_abs_comp) or crm_m_abs_comp <=0) and pd.notna(wiki_m_abs_comp) and wiki_m_abs_comp > 0: results["abweichung_ma_flag"] = "CRM_FEHLT_ODER_NULL" else: results["abweichung_ma_flag"] = "BEIDE_FEHLEN_ODER_NULL" - # Finale Begründung (BL) if temp_begruendungen: results["plausi_begruendung_final"] = "; ".join(temp_begruendungen) - # else: Default "Plausibilität OK" bleibt return results