From a92da7f8bcc512fe4979c3176bde226bf58aff24 Mon Sep 17 00:00:00 2001 From: Floke Date: Fri, 1 Aug 2025 11:51:05 +0000 Subject: [PATCH] duplicate_checker.py aktualisiert --- duplicate_checker.py | 43 +++++++++++++++++++++---------------------- 1 file changed, 21 insertions(+), 22 deletions(-) diff --git a/duplicate_checker.py b/duplicate_checker.py index e5425c20..4484b971 100644 --- a/duplicate_checker.py +++ b/duplicate_checker.py @@ -1,4 +1,4 @@ -# duplicate_checker.py (v2.2 - Multi-Key Blocking & optimiertes Scoring) +# duplicate_checker.py (v2.3 - Intelligent Blocking) import logging import pandas as pd @@ -11,7 +11,13 @@ from collections import defaultdict # --- Konfiguration --- CRM_SHEET_NAME = "CRM_Accounts" MATCHING_SHEET_NAME = "Matching_Accounts" -SCORE_THRESHOLD = 85 # Etwas höherer Schwellenwert für bessere Präzision +SCORE_THRESHOLD = 85 # Treffer unter diesem Wert werden nicht angezeigt + +# NEU: Liste von generischen Wörtern, die für das Blocking ignoriert werden +BLOCKING_STOP_WORDS = { + 'gmbh', 'ag', 'co', 'kg', 'se', 'holding', 'gruppe', 'industries', 'systems', + 'technik', 'service', 'services', 'solutions', 'management', 'international' +} logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s') @@ -22,7 +28,6 @@ def calculate_similarity_details(record1, record2): if record1.get('normalized_domain') and record1['normalized_domain'] != 'k.a.' and record1['normalized_domain'] == record2.get('normalized_domain'): scores['domain'] = 100 - # Höhere Gewichtung für den Namen, da die Website oft fehlt if record1.get('normalized_name') and record2.get('normalized_name'): scores['name'] = round(fuzz.token_set_ratio(record1['normalized_name'], record2['normalized_name']) * 0.85) @@ -34,28 +39,27 @@ def calculate_similarity_details(record1, record2): return {'total': total_score, 'details': scores} def create_blocking_keys(name): - """Erstellt mehrere Blocking Keys für einen Namen, um die Sensitivität zu erhöhen.""" + """Erstellt mehrere Blocking Keys aus den signifikanten Wörtern eines Namens.""" if not name: return [] - words = name.split() + # Filtere Stop-Wörter aus der Wortliste + significant_words = [word for word in name.split() if word not in BLOCKING_STOP_WORDS] keys = set() - # 1. Erstes Wort - if len(words) > 0: - keys.add(words[0]) - # 2. Zweites Wort (falls vorhanden) - if len(words) > 1: - keys.add(words[1]) - # 3. Erste 4 Buchstaben des ersten Wortes - if len(words) > 0 and len(words[0]) >= 4: - keys.add(words[0][:4]) + # 1. Erstes signifikantes Wort + if len(significant_words) > 0: + keys.add(significant_words[0]) + # 2. Zweites signifikantes Wort (falls vorhanden) + if len(significant_words) > 1: + keys.add(significant_words[1]) return list(keys) def main(): - logging.info("Starte den Duplikats-Check (v2.2 mit Multi-Key Blocking)...") + logging.info("Starte den Duplikats-Check (v2.3 mit Intelligent Blocking)...") + # ... (Initialisierung des GoogleSheetHandler bleibt gleich) ... try: sheet_handler = GoogleSheetHandler() except Exception as e: @@ -69,7 +73,6 @@ def main(): logging.info(f"Lade zu prüfende Daten aus '{MATCHING_SHEET_NAME}'...") matching_df = sheet_handler.get_sheet_as_dataframe(MATCHING_SHEET_NAME) if matching_df is None or matching_df.empty: return - # Speichere eine saubere Kopie der Originaldaten für die Ausgabe original_matching_df = matching_df.copy() logging.info("Normalisiere Daten für den Vergleich...") @@ -95,16 +98,11 @@ def main(): logging.info(f"Prüfe: {match_record['CRM Name']}...") - # Sammle alle einzigartigen Kandidaten aus den Blöcken - candidate_pool = {} # Verwende ein Dict, um Duplikate zu vermeiden + candidate_pool = {} for key in match_record['block_keys']: for crm_record in crm_index.get(key, []): - # Verwende den CRM Namen als eindeutigen Schlüssel für den Pool candidate_pool[crm_record['CRM Name']] = crm_record - if not candidate_pool: - logging.debug(" -> Keine Kandidaten im Index gefunden.") - for crm_record in candidate_pool.values(): score_info = calculate_similarity_details(match_record, crm_record) if score_info['total'] > best_score_info['total']: @@ -122,6 +120,7 @@ def main(): logging.info("Matching abgeschlossen. Schreibe Ergebnisse zurück ins Sheet...") result_df = pd.DataFrame(results) + # Originalspalten aus der Kopie nehmen, um saubere Ausgabe zu garantieren output_df = pd.concat([original_matching_df.reset_index(drop=True), result_df], axis=1) data_to_write = [output_df.columns.values.tolist()] + output_df.values.tolist()