diff --git a/sync_manager.py b/sync_manager.py new file mode 100644 index 00000000..41c99881 --- /dev/null +++ b/sync_manager.py @@ -0,0 +1,185 @@ +#!/usr/bin/env python3 +""" +sync_manager.py + +Modul für den Datenabgleich zwischen einem D365 Excel-Export und dem Google Sheet. +Führt einen intelligenten "Full-Sync" durch, um neue, geänderte und +gelöschte Datensätze zu identifizieren und zu verarbeiten. + +Enthält Logik für: +- Smart-Merging von Feldern (z.B. Website). +- Automatisches Setzen des Re-Eval-Flags bei Stammdatenänderungen. +- Markieren von archivierten Datensätzen. +- Protokollieren von Datenkonflikten. +""" + +import pandas as pd +import logging +from datetime import datetime + +# Importiere die benötigten Konfigurationen +from config import COLUMN_ORDER, COLUMN_MAP + +class SyncManager: + """ + Kapselt die Logik für den Abgleich zwischen D365-Export und Google Sheet. + """ + def __init__(self, sheet_handler, d365_export_path): + """ + Initialisiert den SyncManager. + + Args: + sheet_handler: Eine instanziierte GoogleSheetHandler-Klasse. + d365_export_path (str): Der Dateipfad zur D365 Excel-Exportdatei. + """ + self.sheet_handler = sheet_handler + self.d365_export_path = d365_export_path + self.logger = logging.getLogger(__name__) + + # Definiert, welche D365-Spalten welchen GSheet-Spalten entsprechen + self.d365_to_gsheet_map = { + "Account Name": "CRM Name", + "Parent Account": "Parent Account Name", + "Website": "CRM Website", + "City": "CRM Ort", + "Country": "CRM Land", + "Description FSM": "CRM Beschreibung", + "Branch detail": "CRM Branche", + "No. Service Technicians": "CRM Anzahl Techniker", + "Annual Revenue (Mio. €)": "CRM Umsatz", + "Number of Employees": "CRM Anzahl Mitarbeiter", + "Account": "CRM ID" # Annahme: Die GUID-Spalte in D365 heißt 'Account' + } + + # Definiert die Merge-Strategien für GSheet-Spalten + self.d365_wins_cols = ["CRM Name", "Parent Account Name", "CRM Ort", "CRM Land", + "CRM Beschreibung", "CRM Branche", "CRM Anzahl Techniker", + "CRM Umsatz", "CRM Anzahl Mitarbeiter"] + self.smart_merge_cols = ["CRM Website"] + + def _load_data(self): + """Lädt Daten aus der D365-Exportdatei und dem Google Sheet.""" + self.logger.info(f"Lade Daten aus D365-Export: '{self.d365_export_path}'...") + try: + # Lade alle Daten als String, um Formatierungsfehler (besonders bei GUIDs) zu vermeiden + self.d365_df = pd.read_excel(self.d365_export_path, dtype=str).fillna('') + # Umbenennen der GUID-Spalte basierend auf dem Mapping + d365_guid_col = next((k for k, v in self.d365_to_gsheet_map.items() if v == "CRM ID"), None) + if d365_guid_col and d365_guid_col in self.d365_df.columns: + self.d365_df.rename(columns={d365_guid_col: "CRM ID"}, inplace=True) + else: + raise ValueError("GUID-Spalte ('Account' oder entsprechend) nicht in der D365-Exportdatei gefunden.") + + self.d365_df['CRM ID'] = self.d365_df['CRM ID'].str.strip() + + except FileNotFoundError: + self.logger.critical(f"FEHLER: D365-Exportdatei nicht gefunden unter: {self.d365_export_path}") + return False + + self.logger.info("Lade bestehende Daten aus dem Google Sheet...") + self.gsheet_df = self.sheet_handler.get_all_data_as_dataframe() + if self.gsheet_df is None: + self.logger.error("Konnte keine Daten aus dem Google Sheet laden.") + return False + + self.gsheet_df['CRM ID'] = self.gsheet_df['CRM ID'].str.strip() + + self.logger.info(f"{len(self.d365_df)} Datensätze aus D365 geladen, {len(self.gsheet_df)} im Google Sheet vorhanden.") + return True + + def run_sync(self): + """Führt den gesamten Synchronisationsprozess aus.""" + if not self._load_data(): + return + + d365_ids = set(self.d365_df[self.d365_df['CRM ID'] != '']['CRM ID']) + gsheet_ids = set(self.gsheet_df[self.gsheet_df['CRM ID'] != '']['CRM ID']) + + new_ids = d365_ids - gsheet_ids + deleted_ids = gsheet_ids - d365_ids + existing_ids = d365_ids.intersection(gsheet_ids) + + self.logger.info(f"Sync-Analyse: {len(new_ids)} neue, {len(deleted_ids)} archivierte, {len(existing_ids)} bestehende Accounts.") + + updates_to_batch = [] + rows_to_append = [] + + # 1. Neue Accounts verarbeiten + if new_ids: + new_accounts_df = self.d365_df[self.d365_df['CRM ID'].isin(new_ids)] + for _, row in new_accounts_df.iterrows(): + new_row = [""] * len(COLUMN_ORDER) + for d365_col, gsheet_col in self.d365_to_gsheet_map.items(): + if d365_col in row: + col_idx = COLUMN_MAP[gsheet_col]['index'] + new_row[col_idx] = row[d365_col] + rows_to_append.append(new_row) + + # 2. Gelöschte/Archivierte Accounts verarbeiten + if deleted_ids: + for crm_id in deleted_ids: + row_idx = self.gsheet_df[self.gsheet_df['CRM ID'] == crm_id].index[0] + updates_to_batch.append({ + "range": f"{COLUMN_MAP['Archiviert']['Titel']}{row_idx + 2}", # +2 weil 1-basiert und Header + "values": [["TRUE"]] + }) + + # 3. Bestehende Accounts intelligent mergen + if existing_ids: + # Setze 'CRM ID' als Index für schnellen Zugriff + self.d365_df.set_index('CRM ID', inplace=True) + self.gsheet_df.set_index('CRM ID', inplace=True) + + for crm_id in existing_ids: + d365_row = self.d365_df.loc[crm_id] + gsheet_row = self.gsheet_df.loc[crm_id] + + row_updates = {} + conflict_messages = [] + needs_reeval = False + + # Strategie 1: D365 gewinnt immer + for gsheet_col in self.d365_wins_cols: + d365_col = next((k for k, v in self.d365_to_gsheet_map.items() if v == gsheet_col), None) + if d365_col and str(d365_row[d365_col]) != str(gsheet_row[gsheet_col]): + row_updates[gsheet_col] = str(d365_row[d365_col]) + needs_reeval = True + + # Strategie 2: Smart-Merge + for gsheet_col in self.smart_merge_cols: + d365_col = next((k for k, v in self.d365_to_gsheet_map.items() if v == gsheet_col), None) + d365_val = str(d365_row.get(d365_col, '')) + gsheet_val = str(gsheet_row.get(gsheet_col, '')) + + if d365_val and not gsheet_val: + row_updates[gsheet_col] = d365_val + needs_reeval = True + elif d365_val and gsheet_val and d365_val != gsheet_val: + conflict_messages.append(f"{gsheet_col}_CONFLICT: D365='{d365_val}' | GSHEET='{gsheet_val}'") + + # Updates und Flags zusammenstellen + if conflict_messages: + row_updates["SyncConflict"] = "; ".join(conflict_messages) + + if needs_reeval: + row_updates["ReEval Flag"] = "x" + + # Batch-Update-Objekte erstellen + if row_updates: + row_idx = self.gsheet_df.index.get_loc(crm_id) + for col_name, value in row_updates.items(): + updates_to_batch.append({ + "range": f"{COLUMN_MAP[col_name]['Titel']}{row_idx + 2}", + "values": [[value]] + }) + + # 4. Änderungen ins Google Sheet schreiben + if rows_to_append: + self.logger.info(f"Füge {len(rows_to_append)} neue Zeilen zum Google Sheet hinzu...") + self.sheet_handler.append_rows(rows_to_append) + + if updates_to_batch: + self.logger.info(f"Sende {len(updates_to_batch)} Zell-Updates an das Google Sheet...") + self.sheet_handler.batch_update_cells(updates_to_batch) + + self.logger.info("Synchronisation erfolgreich abgeschlossen.") \ No newline at end of file