From 2254409f26eeccdaca3880ee6ee6ccfeef45a0e8 Mon Sep 17 00:00:00 2001 From: Floke Date: Wed, 10 Sep 2025 08:12:31 +0000 Subject: [PATCH] train_model.py aktualisiert --- train_model.py | 32 +++++++++++++++++--------------- 1 file changed, 17 insertions(+), 15 deletions(-) diff --git a/train_model.py b/train_model.py index a330c539..f6f96dd7 100644 --- a/train_model.py +++ b/train_model.py @@ -19,27 +19,30 @@ from helpers import normalize_company_name logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s') # --- Konfiguration --- -# HINWEIS: Bitte stelle sicher, dass diese Datei deine finale Vergleichs-CSV ist, -# die die Spalten 'Best Match Option' und die Vorschläge der alten Läufe enthält. -GOLD_STANDARD_FILE = 'matches4.csv' +# HINWEIS: Bitte stelle sicher, dass diese Datei deine finale Vergleichs-CSV ist. +# Passe den Namen an, falls deine Datei anders heißt (z.B. 'matches4.csv'). +GOLD_STANDARD_FILE = 'erweitertes_matching.csv' CRM_SHEET_NAME = "CRM_Accounts" MODEL_OUTPUT_FILE = 'xgb_model.json' TERM_WEIGHTS_OUTPUT_FILE = 'term_weights.joblib' -# Spaltennamen aus deiner Vergleichs-CSV +# WICHTIG: Passe diese Spaltennamen exakt an deine CSV-Datei an! BEST_MATCH_COL = 'Best Match Option' # Liste der Spalten, die Vorschläge von alten Algorithmen enthalten -SUGGESTION_COLS = ['Ergebnis Lauf 1', 'Ergebnis Lauf 2', 'Ergebnis Lauf 3'] # Passe diese Namen an deine CSV an! +# Füge hier alle Spaltennamen hinzu, die du als "alte Vorschläge" verwenden willst. +SUGGESTION_COLS = ['V2_Match_Suggestion', 'V3_Match_Suggestion', 'V4_Match_Suggestion'] -# --- ... (Alle Hilfsfunktionen bleiben identisch zu vorher) ... --- # --- Stop-/City-Tokens --- STOP_TOKENS_BASE = { 'gmbh','mbh','ag','kg','ug','ohg','se','co','kgaa','inc','llc','ltd','sarl', 'b.v', 'bv', 'holding','gruppe','group','international','solutions','solution','service','services', - # ... (Rest der Stopwords) + 'deutschland','austria','germany','technik','technology','technologies','systems','systeme', + 'logistik','logistics','industries','industrie','management','consulting','vertrieb','handel', + 'international','company','gesellschaft','mbh&co','mbhco','werke','werk' } CITY_TOKENS = set() +# --- Hilfsfunktionen --- def _tokenize(s: str): if not s: return [] return re.split(r"[^a-z0-9äöüß]+", str(s).lower()) @@ -50,7 +53,7 @@ def clean_name_for_scoring(norm_name: str): stop_union = STOP_TOKENS_BASE | CITY_TOKENS final_tokens = [t for t in tokens if t not in stop_union] return " ".join(final_tokens), set(final_tokens) - + def choose_rarest_token(norm_name: str, term_weights: dict): _, toks = clean_name_for_scoring(norm_name) if not toks: return None @@ -59,7 +62,7 @@ def choose_rarest_token(norm_name: str, term_weights: dict): def create_features(mrec: dict, crec: dict, term_weights: dict): features = {} n1_raw = mrec.get('normalized_CRM Name', '') - n2_raw = crec.get('normalized_name', '') # Kandidaten-Name ist jetzt generisch + n2_raw = crec.get('normalized_name', '') clean1, toks1 = clean_name_for_scoring(n1_raw) clean2, toks2 = clean_name_for_scoring(n2_raw) @@ -69,7 +72,7 @@ def create_features(mrec: dict, crec: dict, term_weights: dict): features['fuzz_token_sort_ratio'] = fuzz.token_sort_ratio(clean1, clean2) domain1_raw = str(mrec.get('CRM Website', '')).lower() - domain2_raw = str(crec.get('CRM Website', '')).lower() + domain2_raw = str(crec.get('CRM Website', '')).lower() # crec ist jetzt ein dict aus dem CRM domain1 = domain1_raw.replace('www.', '').split('/')[0].strip() domain2 = domain2_raw.replace('www.', '').split('/')[0].strip() features['domain_match'] = 1 if domain1 and domain1 == domain2 else 0 @@ -102,6 +105,7 @@ if __name__ == "__main__": sheet_handler = GoogleSheetHandler() crm_df = sheet_handler.get_sheet_as_dataframe(CRM_SHEET_NAME) logging.info(f"{len(crm_df)} CRM Accounts aus Google Sheets geladen.") + except Exception as e: logging.critical(f"Fehler beim Laden der Daten: {e}") sys.exit(1) @@ -116,14 +120,13 @@ if __name__ == "__main__": features_list = [] labels = [] - # Mache das CRM für schnelle Lookups verfügbar crm_lookup = crm_df.set_index('CRM Name').to_dict('index') for _, row in gold_df.iterrows(): - mrec = row.to_dict() # Die zu prüfende Firma + mrec = row.to_dict() # 1. Positives Beispiel: Der von dir definierte "Best Match" - best_match_name = row[BEST_MATCH_COL] + best_match_name = row.get(BEST_MATCH_COL) if pd.notna(best_match_name) and str(best_match_name).strip() != '' and best_match_name in crm_lookup: crec_positive = crm_lookup[best_match_name] features = create_features(mrec, crec_positive, term_weights) @@ -134,7 +137,6 @@ if __name__ == "__main__": for col_name in SUGGESTION_COLS: if col_name in row and pd.notna(row[col_name]): suggestion_name = row[col_name] - # Wenn der Vorschlag nicht der korrekte ist UND im CRM existiert if suggestion_name != best_match_name and suggestion_name in crm_lookup: crec_negative = crm_lookup[suggestion_name] features = create_features(mrec, crec_negative, term_weights) @@ -145,7 +147,7 @@ if __name__ == "__main__": y = np.array(labels) if len(X) == 0: - logging.critical("Keine gültigen Trainingsdaten gefunden.") + logging.critical("Keine gültigen Trainingsdaten gefunden. Überprüfe die Spaltennamen in der Konfiguration.") sys.exit(1) logging.info(f"Trainingsdatensatz erstellt mit {X.shape[0]} Beispielen und {X.shape[1]} Features.")