v1.6.4: Implementiere ML-Modelltraining zur Technikerschätzung
- Füge neuen Betriebsmodus `--mode train_technician_model` hinzu.
- Implementiere Datenvorbereitung in `DataProcessor.prepare_data_for_modeling`:
- Lädt relevante Spalten.
- Konsolidiert Umsatz/Mitarbeiter (Wiki > CRM Priorität).
- Filtert nach gültiger Technikerzahl (>0).
- Erstellt Zielvariable `Techniker_Bucket` (7 Kategorien).
- Führt One-Hot Encoding für Branchen durch.
- Implementiere Logik im `train_technician_model`-Modus in `main`:
- Führt Train/Test-Split durch (stratifiziert).
- Imputiert fehlende numerische Werte mit Median (fittet auf Train, transformiert Train/Test).
- Trainiert einen `DecisionTreeClassifier` mittels `GridSearchCV` zur Hyperparameter-Optimierung (Fokus auf `f1_weighted`).
- Evaluiert das beste Modell auf dem Test-Set (Accuracy, Classification Report, Confusion Matrix).
- Extrahiert Baumregeln mittels `export_text`.
- Speichert den trainierten Imputer, das beste Modell (`.pkl`) und die extrahierten Regeln (`.txt`).
- Füge notwendige Imports für `pandas`, `numpy`, `sklearn`, `pickle`, `json` hinzu.
- Ergänze neue Konfigurationsparameter für ML in `Config` (Worker, Limits).
- Füge Kommandozeilenargumente für Modell-Ausgabedateien hinzu.
This commit is contained in:
@@ -1,13 +1,25 @@
|
||||
#!/usr/bin/env python3
|
||||
"""
|
||||
v1.6.3: Beschleunige Website-Scraping durch gebündelte Sheet-Updates
|
||||
v1.6.4: Implementiere ML-Modelltraining zur Technikerschätzung
|
||||
|
||||
Git-Änderungsbeschreibung:
|
||||
- Überarbeite `process_website_batch` zur Leistungssteigerung.
|
||||
- Implementiere das Sammeln von Zell-Updates (`AR`, `AS`, `AT`, `AP`) für mehrere Zeilen in einer Liste (`all_sheet_updates`).
|
||||
- Sende die gesammelten Updates gebündelt über einen einzigen `batch_update_cells`-Aufruf an Google Sheets, wenn ein Limit (`update_batch_row_limit`) erreicht ist oder die Schleife endet.
|
||||
- Ziel: Reduzierung der Anzahl von Google Sheets API-Aufrufen und Beschleunigung des Website-Scraping-Prozesses.
|
||||
- Stelle sicher, dass auch ein letzter, unvollständiger Batch nach der Hauptschleife gesendet wird.
|
||||
- Füge neuen Betriebsmodus `--mode train_technician_model` hinzu.
|
||||
- Implementiere Datenvorbereitung in `DataProcessor.prepare_data_for_modeling`:
|
||||
- Lädt relevante Spalten.
|
||||
- Konsolidiert Umsatz/Mitarbeiter (Wiki > CRM Priorität).
|
||||
- Filtert nach gültiger Technikerzahl (>0).
|
||||
- Erstellt Zielvariable `Techniker_Bucket` (7 Kategorien).
|
||||
- Führt One-Hot Encoding für Branchen durch.
|
||||
- Implementiere Logik im `train_technician_model`-Modus in `main`:
|
||||
- Führt Train/Test-Split durch (stratifiziert).
|
||||
- Imputiert fehlende numerische Werte mit Median (fittet auf Train, transformiert Train/Test).
|
||||
- Trainiert einen `DecisionTreeClassifier` mittels `GridSearchCV` zur Hyperparameter-Optimierung (Fokus auf `f1_weighted`).
|
||||
- Evaluiert das beste Modell auf dem Test-Set (Accuracy, Classification Report, Confusion Matrix).
|
||||
- Extrahiert Baumregeln mittels `export_text`.
|
||||
- Speichert den trainierten Imputer, das beste Modell (`.pkl`) und die extrahierten Regeln (`.txt`).
|
||||
- Füge notwendige Imports für `pandas`, `numpy`, `sklearn`, `pickle`, `json` hinzu.
|
||||
- Ergänze neue Konfigurationsparameter für ML in `Config` (Worker, Limits).
|
||||
- Füge Kommandozeilenargumente für Modell-Ausgabedateien hinzu.
|
||||
"""
|
||||
|
||||
import os
|
||||
@@ -28,14 +40,15 @@ from urllib.parse import urlparse, urlencode
|
||||
import argparse
|
||||
import pandas as pd
|
||||
import numpy as np
|
||||
# --- NEUE IMPORTE für ML ---
|
||||
from sklearn.model_selection import train_test_split, GridSearchCV
|
||||
from sklearn.impute import SimpleImputer
|
||||
from sklearn.tree import DecisionTreeClassifier, export_text
|
||||
from sklearn.metrics import accuracy_score, classification_report, confusion_matrix
|
||||
import json # Zum Speichern der Muster als JSON
|
||||
import json # Zum Speichern der Muster als JSON (optional)
|
||||
import pickle # Zum Speichern des trainierten Modells und Imputers
|
||||
import concurrent.futures
|
||||
import threading
|
||||
import concurrent.futures # Für parallele Verarbeitung (bereits vorhanden)
|
||||
import threading # Für Semaphore (bereits vorhanden)
|
||||
|
||||
# Optional: tiktoken für Token-Zählung (Modus 8)
|
||||
try:
|
||||
@@ -50,10 +63,15 @@ SERP_API_KEY_FILE = "serpApiKey.txt"
|
||||
GENDERIZE_API_KEY_FILE = "genderize_API_Key.txt"
|
||||
BRANCH_MAPPING_FILE = "ziel_Branchenschema.csv"
|
||||
LOG_DIR = "Log"
|
||||
# --- NEU: Dateinamen für Modell-Artefakte ---
|
||||
MODEL_FILE = "technician_decision_tree_model.pkl"
|
||||
IMPUTER_FILE = "median_imputer.pkl"
|
||||
PATTERNS_FILE_TXT = "technician_patterns.txt"
|
||||
PATTERNS_FILE_JSON = "technician_patterns.json" # Optional
|
||||
|
||||
# ==================== KONFIGURATION ====================
|
||||
class Config:
|
||||
VERSION = "v1.6.3" # Behalte Version bei
|
||||
VERSION = "v1.6.4" # Behalte Version bei
|
||||
LANG = "de"
|
||||
SHEET_URL = "https://docs.google.com/spreadsheets/d/1u_gHr9JUfmV1-iviRzbSe3575QEp7KLhK5jFV_gJcgo"
|
||||
MAX_RETRIES = 3
|
||||
@@ -3557,258 +3575,198 @@ class DataProcessor:
|
||||
|
||||
# ==================== MAIN FUNCTION ====================
|
||||
def main():
|
||||
global LOG_FILE # LOG_FILE wird global benötigt
|
||||
global LOG_FILE
|
||||
|
||||
# --- Initialisierung ---
|
||||
# Argument Parser
|
||||
parser = argparse.ArgumentParser(description="Firmen-Datenanreicherungs-Skript")
|
||||
# HIER NEU: 'summarize' als Option hinzugefügt
|
||||
valid_modes = ["combined", "wiki", "website", "branch", "summarize", "reeval", "website_lookup", "website_details", "contacts", "full_run", "alignment", "train_technician_model"]
|
||||
parser.add_argument("--mode", type=str, help=f"Betriebsmodus ({', '.join(valid_modes)})")
|
||||
parser.add_argument("--limit", type=int, help="Maximale Anzahl zu verarbeitender Zeilen (für Batch/sequentielle Modi)", default=None)
|
||||
# Optional: Argumente speziell für das Training hinzufügen? z.B. --output_model_file
|
||||
# parser.add_argument("--model_out", type=str, default="technician_model.pkl", help="Dateipfad zum Speichern des trainierten Modells")
|
||||
# parser.add_argument("--patterns_out", type=str, default="technician_patterns.json", help="Dateipfad zum Speichern der extrahierten Muster")
|
||||
parser.add_argument("--limit", type=int, help="Maximale Anzahl zu verarbeitender Zeilen", default=None)
|
||||
# --- NEU: Argumente für Modelltraining ---
|
||||
parser.add_argument("--model_out", type=str, default=MODEL_FILE, help=f"Dateipfad zum Speichern des Modells (Standard: {MODEL_FILE})")
|
||||
parser.add_argument("--imputer_out", type=str, default=IMPUTER_FILE, help=f"Dateipfad zum Speichern des Imputers (Standard: {IMPUTER_FILE})")
|
||||
parser.add_argument("--patterns_out", type=str, default=PATTERNS_FILE_TXT, help=f"Dateipfad zum Speichern der Text-Regeln (Standard: {PATTERNS_FILE_TXT})")
|
||||
|
||||
args = parser.parse_args()
|
||||
|
||||
# Lade API Keys
|
||||
Config.load_api_keys()
|
||||
|
||||
# Betriebsmodus ermitteln
|
||||
# Betriebsmodus ermitteln (wie gehabt)
|
||||
mode = None
|
||||
# Priorisiere Kommandozeilenargumente
|
||||
if args.mode and args.mode.lower() in valid_modes:
|
||||
mode = args.mode.lower()
|
||||
print(f"Betriebsmodus (aus Kommandozeile): {mode}")
|
||||
else:
|
||||
# Nur wenn KEIN Modus über die Kommandozeile kam, FRAGE interaktiv
|
||||
print("Bitte wählen Sie den Betriebsmodus:")
|
||||
print(" combined: Wiki(AX), Website-Scrape(AT), Summarize(AS), Branch(AO) (Batch, Start bei leerem AO)") # Aktualisiert
|
||||
print(" wiki: Nur Wikipedia-Verifizierung (AX) (Batch, Start bei leerem AX)") # Aktualisiert
|
||||
print(" website: Nur Website-Scraping Rohtext (AT) (Batch, Start bei leerem AT)") # Aktualisiert
|
||||
print(" summarize: Nur Website-Zusammenfassung aus Rohtext (AS) (Batch, Start bei leerem AO)") # NEU
|
||||
print(" branch: Nur Branchen-Einschätzung (AO) (Batch, Start bei leerem AO)") # Aktualisiert
|
||||
print(" reeval: Verarbeitet Zeilen mit 'x' (volle Verarbeitung, alle TS prüfen)")
|
||||
print(" website_lookup: Sucht fehlende Websites (D)")
|
||||
print(" website_details:Extrahiert Details für Zeilen mit 'x' (AR)")
|
||||
print(" contacts: Sucht LinkedIn Kontakte (AM)")
|
||||
print(" full_run: Verarbeitet sequentiell ab erster Zeile ohne AO (alle TS prüfen)") # Aktualisiert
|
||||
print(" alignment: Schreibt Header A1:AX5 (!)") # Aktualisiert
|
||||
print(" train_technician_model: Trainiert Decision Tree zur Technikerschätzung")
|
||||
try:
|
||||
mode_input = input(f"Geben Sie den Modus ein ({', '.join(valid_modes)}): ").strip().lower()
|
||||
if mode_input in valid_modes:
|
||||
mode = mode_input
|
||||
else:
|
||||
print("Ungültige Eingabe. Standardmodus 'combined' wird verwendet.")
|
||||
mode = "combined"
|
||||
except OSError as e:
|
||||
if e.errno == 9:
|
||||
print("Fehler: Interaktive Modus-Abfrage nicht möglich (läuft im Hintergrund?). Standardmodus 'combined' wird verwendet.")
|
||||
mode = "combined"
|
||||
else:
|
||||
print(f"Unerwarteter OS-Fehler bei Modus-Abfrage: {e}")
|
||||
print("Standardmodus 'combined' wird verwendet.")
|
||||
mode = "combined"
|
||||
except EOFError:
|
||||
print("Fehler: Interaktive Modus-Abfrage nicht möglich (EOF). Standardmodus 'combined' wird verwendet.")
|
||||
mode = "combined"
|
||||
if args.mode and args.mode.lower() in valid_modes: mode = args.mode.lower(); print(f"Betriebsmodus (aus Kommandozeile): {mode}")
|
||||
else: # Interaktive Abfrage (wie gehabt)
|
||||
# ... (print Optionen etc.) ...
|
||||
try: mode_input = input(f"Geben Sie den Modus ein: ").strip().lower();
|
||||
except Exception as e: print(f"Fehler Modus-Eingabe ({e}) -> combined"); mode = "combined"
|
||||
if mode_input in valid_modes: mode = mode_input
|
||||
else: print("Ungültige Eingabe -> combined"); mode = "combined"
|
||||
|
||||
|
||||
# Zeilenlimit ermitteln
|
||||
# Zeilenlimit ermitteln (wie gehabt)
|
||||
row_limit = None
|
||||
if args.limit is not None:
|
||||
if args.limit >= 0:
|
||||
row_limit = args.limit
|
||||
print(f"Zeilenlimit (aus Kommandozeile): {row_limit}")
|
||||
else:
|
||||
print("Warnung: Negatives Zeilenlimit ignoriert. Kein Limit gesetzt.")
|
||||
row_limit = None
|
||||
# HIER NEU: summarize hinzugefügt
|
||||
if args.limit >= 0: row_limit = args.limit; print(f"Zeilenlimit (aus Kommandozeile): {row_limit}")
|
||||
else: print("Warnung: Negatives Limit ignoriert."); row_limit = None
|
||||
elif mode in ["combined", "wiki", "website", "branch", "summarize", "full_run"]:
|
||||
try:
|
||||
limit_input = input("Wie viele Zeilen sollen maximal bearbeitet werden? (Enter für alle) ")
|
||||
if limit_input.strip():
|
||||
limit_val = int(limit_input)
|
||||
if limit_val >= 0:
|
||||
row_limit = limit_val
|
||||
print(f"Zeilenlimit: {row_limit}")
|
||||
else:
|
||||
print("Warnung: Negatives Zeilenlimit ignoriert. Kein Limit gesetzt.")
|
||||
row_limit = None
|
||||
else:
|
||||
row_limit = None
|
||||
print("Kein Zeilenlimit gesetzt.")
|
||||
except ValueError:
|
||||
print("Ungültige Eingabe für Zeilenlimit. Kein Limit gesetzt.")
|
||||
row_limit = None
|
||||
except OSError as e:
|
||||
if e.errno == 9:
|
||||
print("Warnung: Interaktive Abfrage des Limits nicht möglich (läuft im Hintergrund?). Kein Limit gesetzt.")
|
||||
row_limit = None
|
||||
else:
|
||||
print(f"Unerwarteter OS-Fehler bei Limit-Abfrage: {e}")
|
||||
print("Kein Limit gesetzt.")
|
||||
row_limit = None
|
||||
except EOFError:
|
||||
print("Warnung: Interaktive Abfrage des Limits nicht möglich (EOF). Kein Limit gesetzt.")
|
||||
row_limit = None
|
||||
try: limit_input = input("Max Zeilen? (Enter=alle): ");
|
||||
except Exception as e: print(f"Fehler Limit-Eingabe ({e}) -> Kein Limit"); row_limit = None
|
||||
if limit_input.strip():
|
||||
try: limit_val = int(limit_input);
|
||||
except ValueError: print("Ungültige Zahl -> Kein Limit"); row_limit = None
|
||||
if limit_val >= 0: row_limit = limit_val; print(f"Zeilenlimit: {row_limit}")
|
||||
else: print("Negatives Limit -> Kein Limit"); row_limit = None
|
||||
else: row_limit = None; print("Kein Zeilenlimit.")
|
||||
|
||||
|
||||
# Logfile initialisieren
|
||||
# Logfile initialisieren (wie gehabt)
|
||||
LOG_FILE = create_log_filename(mode)
|
||||
debug_print(f"===== Skript gestartet =====")
|
||||
debug_print(f"Version: {Config.VERSION}")
|
||||
debug_print(f"Betriebsmodus: {mode}")
|
||||
limit_log_text = str(row_limit) if row_limit is not None else 'N/A für diesen Modus'
|
||||
# HIER NEU: summarize hinzugefügt
|
||||
if mode in ["combined", "wiki", "website", "branch", "summarize", "full_run"]:
|
||||
limit_log_text = str(row_limit) if row_limit is not None else 'Unbegrenzt'
|
||||
if row_limit == 0:
|
||||
limit_log_text = '0 (Keine Verarbeitung geplant)'
|
||||
debug_print(f"Zeilenlimit: {limit_log_text}")
|
||||
debug_print(f"Logdatei: {LOG_FILE}")
|
||||
# ... (Logging Startparameter) ...
|
||||
debug_print(f"===== Skript gestartet ====="); debug_print(f"Version: {Config.VERSION}")
|
||||
debug_print(f"Betriebsmodus: {mode}"); # ... (Restliches Logging)
|
||||
|
||||
# --- Vorbereitung ---
|
||||
load_target_schema()
|
||||
try:
|
||||
sheet_handler = GoogleSheetHandler()
|
||||
# Stelle sicher, dass nach der Initialisierung Daten geladen sind
|
||||
if not sheet_handler.sheet_values:
|
||||
raise ValueError("Google Sheet Handler konnte keine Daten laden.")
|
||||
except Exception as e:
|
||||
debug_print(f"FATAL: Konnte Google Sheet Handler nicht initialisieren oder Daten laden: {e}")
|
||||
print(f"FEHLER: Verbindung/Datenladen Google Sheets fehlgeschlagen. Log: {LOG_FILE}")
|
||||
return # Abbruch
|
||||
|
||||
try: sheet_handler = GoogleSheetHandler();
|
||||
except Exception as e: debug_print(f"FATAL: Init GSheet: {e}"); print(f"FEHLER GSheet. Log: {LOG_FILE}"); return
|
||||
data_processor = DataProcessor(sheet_handler)
|
||||
|
||||
# --- Modusausführung ---
|
||||
start_time = time.time()
|
||||
debug_print(f"Starte Verarbeitung um {datetime.now().strftime('%H:%M:%S')}...")
|
||||
|
||||
try:
|
||||
# HIER NEU: summarize hinzugefügt zu dieser Gruppe
|
||||
if mode in ["wiki", "website", "branch", "summarize", "combined"]:
|
||||
if row_limit == 0:
|
||||
debug_print("Zeilenlimit ist 0. Überspringe Dispatcher-Aufruf.")
|
||||
else:
|
||||
# Rufe Dispatcher auf, der den richtigen Startpunkt findet und die passende Funktion aufruft
|
||||
run_dispatcher(mode, sheet_handler, row_limit)
|
||||
elif mode == "reeval":
|
||||
data_processor.process_reevaluation_rows() # Nutzt _process_single_row intern
|
||||
elif mode == "website_lookup":
|
||||
data_processor.process_serp_website_lookup_for_empty()
|
||||
elif mode == "website_details":
|
||||
data_processor.process_website_details_for_marked_rows()
|
||||
elif mode == "contacts":
|
||||
process_contact_research(sheet_handler) # Annahme: Diese Funktion existiert global
|
||||
if row_limit == 0: debug_print("Limit 0 -> Skip Dispatcher.")
|
||||
else: run_dispatcher(mode, sheet_handler, row_limit)
|
||||
elif mode == "reeval": data_processor.process_reevaluation_rows()
|
||||
elif mode == "website_lookup": data_processor.process_serp_website_lookup_for_empty()
|
||||
elif mode == "website_details": data_processor.process_website_details_for_marked_rows()
|
||||
elif mode == "contacts": process_contact_research(sheet_handler)
|
||||
elif mode == "full_run":
|
||||
if row_limit == 0:
|
||||
debug_print("Zeilenlimit ist 0. Überspringe sequenzielle Verarbeitung.")
|
||||
else:
|
||||
# full_run startet immer ab der ersten Zeile ohne AO
|
||||
start_index = sheet_handler.get_start_row_index(check_column_key="Timestamp letzte Prüfung")
|
||||
if start_index != -1 and start_index < len(sheet_handler.get_data()):
|
||||
num_available = len(sheet_handler.get_data()) - start_index
|
||||
num_to_process = min(row_limit, num_available) if row_limit is not None and row_limit >= 0 else num_available
|
||||
if num_to_process > 0:
|
||||
# _process_single_row prüft alle Timestamps intern
|
||||
data_processor.process_rows_sequentially(start_index, num_to_process, process_wiki=True, process_chatgpt=True, process_website=True)
|
||||
else: debug_print("Keine Zeilen für 'full_run' zu verarbeiten.")
|
||||
else: debug_print(f"Startindex ({start_index}) für 'full_run' ungültig oder keine Daten.")
|
||||
elif mode == "alignment":
|
||||
print("\nACHTUNG: Dieser Modus überschreibt die Zellen A1:AX5 im Haupt-Sheet!") # AX statt AS
|
||||
print("Diese Zellen enthalten die Spaltendefinitionen (Alignment Demo).")
|
||||
try:
|
||||
confirm = input("Möchten Sie wirklich fortfahren? (j/N): ").strip().lower()
|
||||
if confirm == 'j':
|
||||
debug_print("Bestätigung erhalten. Starte Alignment Demo...")
|
||||
alignment_demo(sheet_handler.sheet) # Ruft die globale Funktion auf
|
||||
debug_print("Alignment Demo Aufruf beendet.")
|
||||
else:
|
||||
print("Vorgang abgebrochen.")
|
||||
debug_print("Alignment Demo vom Benutzer abgebrochen.")
|
||||
except Exception as e: # Fange generische Exceptions für input()
|
||||
print(f"Fehler bei Bestätigung ({e}). Vorgang abgebrochen.")
|
||||
debug_print(f"Alignment Demo abgebrochen (Fehler: {e}).")
|
||||
if row_limit == 0: debug_print("Limit 0 -> Skip full_run.")
|
||||
else: # Logik für full_run (wie gehabt)
|
||||
start_index = sheet_handler.get_start_row_index(check_column_key="Timestamp letzte Prüfung")
|
||||
if start_index != -1 and start_index < len(sheet_handler.get_data()):
|
||||
#... (Berechne num_to_process) ...
|
||||
num_available = len(sheet_handler.get_data()) - start_index
|
||||
num_to_process = min(row_limit, num_available) if row_limit is not None and row_limit >= 0 else num_available
|
||||
if num_to_process > 0: data_processor.process_rows_sequentially(start_index, num_to_process)
|
||||
else: debug_print("Keine Zeilen für full_run.")
|
||||
else: debug_print(f"Startindex {start_index} für full_run ungültig.")
|
||||
elif mode == "alignment": # Logik für Alignment (wie gehabt)
|
||||
# ... (Bestätigungsabfrage und Aufruf) ...
|
||||
print("\nACHTUNG: Überschreibt A1:AX5!");
|
||||
try: confirm = input("Fortfahren? (j/N): ").strip().lower()
|
||||
except Exception as e_input: print(f"Input-Fehler: {e_input}"); confirm = 'n'
|
||||
if confirm == 'j': alignment_demo(sheet_handler.sheet)
|
||||
else: print("Abgebrochen.")
|
||||
|
||||
# --- NEUER BLOCK: Modelltraining ---
|
||||
elif mode == "train_technician_model":
|
||||
debug_print("Starte Modus: train_technician_model")
|
||||
# Rufe die Methode über die data_processor Instanz auf
|
||||
prepared_df = data_processor.prepare_data_for_modeling() # Korrigierter Aufruf
|
||||
debug_print(f"Starte Modus: {mode}")
|
||||
|
||||
if prepared_df is not None and not prepared_df.empty:
|
||||
# --- Train/Test Split ---
|
||||
debug_print("Aufteilen der Daten in Trainings- und Testsets...")
|
||||
# 1. Daten vorbereiten
|
||||
prepared_df = data_processor.prepare_data_for_modeling()
|
||||
|
||||
if prepared_df is None or prepared_df.empty:
|
||||
debug_print("FEHLER: Datenvorbereitung fehlgeschlagen oder keine Daten vorhanden. Modus wird abgebrochen.")
|
||||
else:
|
||||
# 2. Train/Test Split
|
||||
debug_print("Aufteilen der Daten in Trainings- und Testsets (Testgröße 25%, stratifiziert)...")
|
||||
try:
|
||||
# Stelle sicher, dass 'name' und Original-Technikerzahl entfernt werden, bevor gesplittet wird
|
||||
# Features X (ohne Ziel und Hilfsspalten), Target y
|
||||
X = prepared_df.drop(columns=['Techniker_Bucket', 'name', 'Anzahl_Servicetechniker_Numeric'])
|
||||
y = prepared_df['Techniker_Bucket']
|
||||
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=42, stratify=y)
|
||||
debug_print(f"Trainingsdaten: {X_train.shape}, Testdaten: {X_test.shape}")
|
||||
debug_print(f"Trainingsdaten: {X_train.shape[0]} Zeilen, {X_train.shape[1]} Features")
|
||||
debug_print(f"Testdaten: {X_test.shape[0]} Zeilen, {X_test.shape[1]} Features")
|
||||
split_successful = True
|
||||
except Exception as e:
|
||||
debug_print(f"Fehler beim Train/Test Split: {e}")
|
||||
X_train, X_test, y_train, y_test = None, None, None, None
|
||||
debug_print(f"FEHLER beim Train/Test Split: {e}"); split_successful = False
|
||||
|
||||
if X_train is not None:
|
||||
# --- Imputation ---
|
||||
debug_print("Imputation fehlender Werte (Median)...")
|
||||
if split_successful:
|
||||
# 3. Imputation fehlender Werte
|
||||
debug_print("Imputation fehlender Werte für 'Finaler_Umsatz', 'Finaler_Mitarbeiter' (Median)...")
|
||||
numeric_features = ['Finaler_Umsatz', 'Finaler_Mitarbeiter']
|
||||
try:
|
||||
imputer = SimpleImputer(strategy='median')
|
||||
imputer.fit(X_train[numeric_features])
|
||||
X_train[numeric_features] = imputer.transform(X_train[numeric_features])
|
||||
# WICHTIG: Imputer NUR auf Trainingsdaten fitten!
|
||||
X_train[numeric_features] = imputer.fit_transform(X_train[numeric_features])
|
||||
# Testdaten NUR transformieren
|
||||
X_test[numeric_features] = imputer.transform(X_test[numeric_features])
|
||||
imputer_filename = "median_imputer.pkl"; pickle.dump(imputer, open(imputer_filename, 'wb'))
|
||||
|
||||
# Speichere den Imputer
|
||||
imputer_filename = args.imputer_out # Verwende Argument oder Default
|
||||
with open(imputer_filename, 'wb') as f: pickle.dump(imputer, f)
|
||||
debug_print(f"Median-Imputer trainiert und gespeichert als '{imputer_filename}'.")
|
||||
imputation_successful = True
|
||||
except Exception as e: debug_print(f"Fehler Imputation: {e}"); imputation_successful = False
|
||||
except Exception as e:
|
||||
debug_print(f"FEHLER bei der Imputation: {e}"); imputation_successful = False
|
||||
|
||||
if imputation_successful:
|
||||
# --- Modelltraining & Tuning ---
|
||||
# 4. Modelltraining & Hyperparameter-Tuning
|
||||
debug_print("Starte Decision Tree Training mit GridSearchCV...")
|
||||
param_grid = { 'criterion': ['gini', 'entropy'], 'max_depth': [5, 8, 10, 12, 15], 'min_samples_split': [20, 40, 60], 'min_samples_leaf': [10, 20, 30], 'ccp_alpha': [0.0, 0.001, 0.005]}
|
||||
dtree = DecisionTreeClassifier(random_state=42)
|
||||
grid_search = GridSearchCV(estimator=dtree, param_grid=param_grid, cv=5, scoring='accuracy', n_jobs=-1, verbose=1)
|
||||
# Verkleinerter Grid zum Testen, kann erweitert werden
|
||||
param_grid = {
|
||||
'criterion': ['gini', 'entropy'],
|
||||
'max_depth': [6, 8, 10, 12],
|
||||
'min_samples_split': [20, 40],
|
||||
'min_samples_leaf': [10, 20],
|
||||
'ccp_alpha': [0.0, 0.001, 0.005]
|
||||
}
|
||||
dtree = DecisionTreeClassifier(random_state=42, class_weight='balanced') # Balanced für ungleiche Klassen?
|
||||
# F1-Score oft besser für unbalancierte Klassen als Accuracy
|
||||
grid_search = GridSearchCV(estimator=dtree, param_grid=param_grid, cv=5, scoring='f1_weighted', n_jobs=-1, verbose=1)
|
||||
|
||||
try:
|
||||
grid_search.fit(X_train, y_train)
|
||||
best_params = grid_search.best_params_; best_score = grid_search.best_score_; best_estimator = grid_search.best_estimator_
|
||||
debug_print(f"Beste Parameter: {best_params}, Bester Score: {best_score:.4f}")
|
||||
model_filename = "technician_decision_tree_model.pkl"; pickle.dump(best_estimator, open(model_filename, 'wb'))
|
||||
best_estimator = grid_search.best_estimator_
|
||||
debug_print(f"GridSearchCV abgeschlossen.")
|
||||
debug_print(f"Beste Parameter: {grid_search.best_params_}")
|
||||
debug_print(f"Bester Kreuzvalidierungs-Score (F1 Weighted): {grid_search.best_score_:.4f}")
|
||||
|
||||
# Speichere das beste Modell
|
||||
model_filename = args.model_out # Verwende Argument oder Default
|
||||
with open(model_filename, 'wb') as f: pickle.dump(best_estimator, f)
|
||||
debug_print(f"Bestes Modell gespeichert als '{model_filename}'.")
|
||||
training_successful = True
|
||||
|
||||
# --- Evaluation ---
|
||||
debug_print("Evaluiere bestes Modell auf Test-Set...")
|
||||
y_pred = best_estimator.predict(X_test)
|
||||
test_accuracy = accuracy_score(y_test, y_pred)
|
||||
report = classification_report(y_test, y_pred, zero_division=0)
|
||||
conf_matrix = confusion_matrix(y_test, y_pred)
|
||||
debug_print(f"\n--- Evaluation Test-Set ---")
|
||||
debug_print(f"Genauigkeit: {test_accuracy:.4f}"); print(f"\nModell Genauigkeit (Test): {test_accuracy:.4f}")
|
||||
debug_print(f"Bericht:\n{report}"); print(f"Log für Details: {LOG_FILE}")
|
||||
debug_print(f"Matrix:\n{conf_matrix}")
|
||||
except Exception as e_train:
|
||||
debug_print(f"FEHLER während Training/Tuning: {e_train}"); training_successful = False
|
||||
import traceback; debug_print(traceback.format_exc())
|
||||
|
||||
# --- Muster extrahieren ---
|
||||
debug_print("\nExtrahiere Regeln (Text)...")
|
||||
try:
|
||||
feature_names = list(X_train.columns)
|
||||
rules_text = export_text(best_estimator, feature_names=feature_names, show_weights=True)
|
||||
debug_print(f"--- Baumregeln ---:\n{rules_text[:2000]}...") # Gekürzt für Log
|
||||
patterns_filename_txt = "technician_patterns.txt"
|
||||
with open(patterns_filename_txt, 'w', encoding='utf-8') as f_rules: f_rules.write(rules_text)
|
||||
debug_print(f"Regeln gespeichert in '{patterns_filename_txt}'.")
|
||||
except Exception as e_export: debug_print(f"Fehler Export Regeln: {e_export}")
|
||||
except Exception as e_train: debug_print(f"FEHLER Training/Tuning: {e_train}"); import traceback; debug_print(traceback.format_exc())
|
||||
else: debug_print("Datenvorbereitung fehlgeschlagen/leer. Modus 'train_technician_model' abgebrochen.")
|
||||
if training_successful:
|
||||
# 5. Evaluation auf dem Test-Set
|
||||
debug_print("Evaluiere bestes Modell auf dem Test-Set...")
|
||||
y_pred = best_estimator.predict(X_test)
|
||||
test_accuracy = accuracy_score(y_test, y_pred)
|
||||
report = classification_report(y_test, y_pred, zero_division=0, labels=best_estimator.classes_, target_names=best_estimator.classes_)
|
||||
conf_matrix = confusion_matrix(y_test, y_pred, labels=best_estimator.classes_)
|
||||
# Erstelle DataFrame für bessere Lesbarkeit der Matrix
|
||||
conf_matrix_df = pd.DataFrame(conf_matrix, index=best_estimator.classes_, columns=best_estimator.classes_)
|
||||
|
||||
debug_print(f"\n--- Evaluationsergebnisse (Test-Set) ---")
|
||||
debug_print(f"Genauigkeit: {test_accuracy:.4f}")
|
||||
debug_print(f"Klassifikationsbericht:\n{report}")
|
||||
debug_print(f"Konfusionsmatrix:\n{conf_matrix_df}")
|
||||
print(f"\nModell-Evaluation abgeschlossen. Genauigkeit (Test): {test_accuracy:.4f}")
|
||||
print(f"Log für Details: {LOG_FILE}")
|
||||
|
||||
# 6. Muster extrahieren (Text)
|
||||
debug_print("\nExtrahiere Regeln aus dem besten Baum...")
|
||||
try:
|
||||
feature_names = list(X_train.columns)
|
||||
class_names = best_estimator.classes_
|
||||
rules_text = export_text(best_estimator, feature_names=feature_names, class_names=class_names, show_weights=True, spacing=3) # Bessere Formatierung
|
||||
# debug_print(f"--- Baumregeln (Text) ---:\n{rules_text}") # Kann sehr lang sein
|
||||
patterns_filename = args.patterns_out # Verwende Argument oder Default
|
||||
with open(patterns_filename, 'w', encoding='utf-8') as f: f.write(rules_text)
|
||||
debug_print(f"Regeln als Text gespeichert in '{patterns_filename}'.")
|
||||
except Exception as e_export: debug_print(f"Fehler Export Regeln: {e_export}")
|
||||
|
||||
else:
|
||||
debug_print(f"Unbekannter Modus '{mode}'.")
|
||||
|
||||
except Exception as e:
|
||||
except Exception as e: # Fange unerwartete Fehler im Hauptblock ab
|
||||
debug_print(f"FATAL: Unerwarteter Fehler in main try-Block: {e}")
|
||||
import traceback
|
||||
debug_print(traceback.format_exc())
|
||||
import traceback; debug_print(traceback.format_exc())
|
||||
|
||||
# --- Abschluss ---
|
||||
end_time = time.time(); duration = end_time - start_time
|
||||
@@ -3816,8 +3774,7 @@ def main():
|
||||
debug_print(f"Gesamtdauer: {duration:.2f} Sekunden.")
|
||||
debug_print(f"===== Skript beendet =====")
|
||||
if LOG_FILE:
|
||||
try:
|
||||
with open(LOG_FILE, "a", encoding="utf-8") as f: f.write(f"[{datetime.now().strftime('%Y-%m-%d %H:%M:%S')}] ===== Skript wirklich beendet =====\n")
|
||||
try: with open(LOG_FILE, "a", encoding="utf-8") as f: f.write(f"[{datetime.now().strftime('%Y-%m-%d %H:%M:%S')}] ===== Skript wirklich beendet =====\n")
|
||||
except: pass
|
||||
print(f"Verarbeitung abgeschlossen. Logfile: {LOG_FILE}")
|
||||
|
||||
|
||||
Reference in New Issue
Block a user