Commit Graph

299 Commits

Author SHA1 Message Date
4ea7468031 bugfix 2025-04-17 14:48:10 +00:00
4163f14855 bugfix 2025-04-17 14:36:23 +00:00
eb3308a41e v1.6.4: Implementiere ML-Modelltraining zur Technikerschätzung
- Füge neuen Betriebsmodus `--mode train_technician_model` hinzu.
- Implementiere Datenvorbereitung in `DataProcessor.prepare_data_for_modeling`:
    - Lädt relevante Spalten.
    - Konsolidiert Umsatz/Mitarbeiter (Wiki > CRM Priorität).
    - Filtert nach gültiger Technikerzahl (>0).
    - Erstellt Zielvariable `Techniker_Bucket` (7 Kategorien).
    - Führt One-Hot Encoding für Branchen durch.
- Implementiere Logik im `train_technician_model`-Modus in `main`:
    - Führt Train/Test-Split durch (stratifiziert).
    - Imputiert fehlende numerische Werte mit Median (fittet auf Train, transformiert Train/Test).
    - Trainiert einen `DecisionTreeClassifier` mittels `GridSearchCV` zur Hyperparameter-Optimierung (Fokus auf `f1_weighted`).
    - Evaluiert das beste Modell auf dem Test-Set (Accuracy, Classification Report, Confusion Matrix).
    - Extrahiert Baumregeln mittels `export_text`.
    - Speichert den trainierten Imputer, das beste Modell (`.pkl`) und die extrahierten Regeln (`.txt`).
- Füge notwendige Imports für `pandas`, `numpy`, `sklearn`, `pickle`, `json` hinzu.
- Ergänze neue Konfigurationsparameter für ML in `Config` (Worker, Limits).
- Füge Kommandozeilenargumente für Modell-Ausgabedateien hinzu.
2025-04-17 14:00:30 +00:00
b2316b9337 bugfix 2025-04-17 13:08:19 +00:00
a46843cafc bugfix 2025-04-17 13:03:25 +00:00
4c1cdf5b72 bugfix 2025-04-17 12:53:10 +00:00
f386bf885f bugfix 2025-04-17 12:48:03 +00:00
f259307b19 bugfix 2025-04-17 12:26:07 +00:00
4ffb57268d bugfix 2025-04-17 11:01:49 +00:00
4d02ac4910 bugfix 2025-04-17 10:56:02 +00:00
6fe8254733 bugfix 2025-04-17 10:55:04 +00:00
66b03d6583 bugfix 2025-04-17 10:53:59 +00:00
8acf404479 bugfix 2025-04-17 10:52:30 +00:00
392ecfde2e bugfix 2025-04-17 10:28:13 +00:00
8e6d263a64 bugfix 2025-04-17 10:23:09 +00:00
d9d33db2eb bugfix 2025-04-17 10:05:07 +00:00
a2d5ffcd66 bugfix 2025-04-17 09:57:44 +00:00
35c8ea21cb bugfix 2025-04-17 09:53:56 +00:00
bcdc045877 bugfix 2025-04-17 09:48:32 +00:00
115d83c363 bugfix 2025-04-17 09:39:57 +00:00
da1910186f bugfix 2025-04-17 09:31:25 +00:00
f44eb0f83b bugfix 2025-04-17 09:19:48 +00:00
1ca96f09b9 bugfix 2025-04-17 09:12:23 +00:00
71b081b169 bugfix 2025-04-17 09:02:42 +00:00
8922c7d41b v1.6.3: Beschleunige Website-Scraping durch gebündelte Sheet-Updates
- Überarbeite `process_website_batch` zur Leistungssteigerung.
- Implementiere das Sammeln von Zell-Updates (`AR`, `AS`, `AT`, `AP`) für mehrere Zeilen in einer Liste (`all_sheet_updates`).
- Sende die gesammelten Updates gebündelt über einen einzigen `batch_update_cells`-Aufruf an Google Sheets, wenn ein Limit (`update_batch_row_limit`) erreicht ist oder die Schleife endet.
- Ziel: Reduzierung der Anzahl von Google Sheets API-Aufrufen und Beschleunigung des Website-Scraping-Prozesses.
- Stelle sicher, dass auch ein letzter, unvollständiger Batch nach der Hauptschleife gesendet wird.
2025-04-17 08:45:18 +00:00
b0c792d706 bugfix 2025-04-16 16:08:49 +00:00
ba00d81ae5 bugfix 2025-04-16 15:38:57 +00:00
30415a4968 bugfix 2025-04-16 15:31:29 +00:00
90f1ac9ef9 bugfix 2025-04-16 15:20:33 +00:00
463cef1b56 bugfix 2025-04-16 14:42:01 +00:00
64f9502d42 bugfix 2025-04-16 14:24:12 +00:00
bd6f5c74cc bugfix 2025-04-16 14:11:26 +00:00
73dd362500 bugfix 2025-04-16 14:02:01 +00:00
808c292e6d bugfix 2025-04-16 13:50:32 +00:00
12199fb22b bugfix 2025-04-16 13:33:00 +00:00
d152c2106c bugfix 2025-04-16 13:23:32 +00:00
ea5640828b bugfix 2025-04-16 12:59:17 +00:00
5b5507dc32 bugfix 2025-04-16 12:43:30 +00:00
eaf388bf40 bugfix 2025-04-16 12:34:16 +00:00
362a3fc8d5 bugfix 2025-04-16 12:13:09 +00:00
6c49d4ccc3 v1.6.2: Verfeinere Timestamp-Logik & integriere ML-Datenvorbereitung
- Passe Dispatcher (`run_dispatcher`) und `GoogleSheetHandler.get_start_row_index` an, um den Startpunkt basierend auf dem Website Scrape Timestamp (Spalte AT) zu bestimmen.
- Implementiere individuelle Timestamp-Prüfungen in den Batch-Funktionen (`process_verification_only` (AN), `process_website_batch` (AT), `process_branch_batch` (AO)), um das erneute Verarbeiten abgeschlossener Zeilen zu verhindern.
- Überarbeite `_process_single_row` (`full_run`, `reeval`), um für jeden Teilbereich (Wiki, Website, Chat) den zugehörigen Timestamp zu prüfen und nur bei Bedarf auszuführen.
- Passe `_process_batch` an, sodass es nur noch Ergebnisspalten (S-Y) schreibt; Timestamps werden jetzt von der aufrufenden Funktion gesetzt.
- Füge neue Spalten (AT: Website TS, AU: Gesch. Techniker Bucket, AV: Finaler Umsatz, AW: Finaler MA) zur `alignment_demo` und `COLUMN_MAP` hinzu.
- Integriere die Funktion `prepare_data_for_modeling` als Methode in die `DataProcessor`-Klasse (wird noch nicht aktiv in einem Modus aufgerufen).
2025-04-16 11:56:39 +00:00
4e38be6a81 v1.6.2: Bereite Techniker-Modell vor & korrigiere/ergänze Modi (Alignment, Args)
- Füge neuen Modus `--mode alignment` hinzu, um die Header-Definitionen (Zeilen 1-5) über die Funktion `alignment_demo` ins Hauptblatt zu schreiben (inkl. Sicherheitsabfrage).
- Korrigiere das Kommandozeilenargument für das Zeilenlimit von `--row_limit` zu `--limit` im `argparse`-Setup in `main`.
- Verbessere die `main`-Funktion, um interaktive `input()`-Abfragen für Modus und Limit nur dann zu stellen, wenn die entsprechenden Argumente nicht über die Kommandozeile bereitgestellt wurden (verhindert Fehler bei `nohup`). Füge Fehlerbehandlung für `input()` hinzu.
- Integriere die neue Funktion `prepare_data_for_modeling` zur Aufbereitung der Daten für das geplante Decision-Tree-Modell zur Technikerschätzung (Funktion wird in den bestehenden Modi noch nicht aufgerufen).
2025-04-16 09:27:53 +00:00
da09cbb448 Alignment Demo Update 2025-04-16 08:55:49 +00:00
27604a8a79 v1.6.1: Verbessere Website-Scraping zur Umgehung von Cookie-Bannern
- Überarbeite `get_website_raw` zur besseren Handhabung von Cookie-Bannern.
- Priorisiere Scraping von Hauptinhalt-Tags (`<main>`, `<article>`, spezifische IDs/Klassen).
- Implementiere Fallback auf `<body>` mit Versuch, häufige Banner-Elemente zu entfernen (`.decompose()`).
- Füge Heuristik hinzu, um extrahierten Text zu verwerfen, wenn er wahrscheinlich nur Banner-Inhalt ist.
- Erhöhe Request-Timeout in `get_website_raw` leicht auf 15 Sekunden.
2025-04-15 20:14:47 +00:00
b171d4b82e bugfix 2025-04-15 14:54:01 +00:00
4e78e14443 bugfix 2025-04-15 14:49:35 +00:00
74ac9b6aa7 bugfix 2025-04-15 14:06:56 +00:00
36fbbc073e bugfix 2025-04-15 13:55:16 +00:00
b26e836f8e bugfix 2025-04-15 13:33:53 +00:00
c966d60695 bugfix 2025-04-15 12:59:01 +00:00