diff --git a/sync_manager.py b/sync_manager.py index 372a2775..90e058f9 100644 --- a/sync_manager.py +++ b/sync_manager.py @@ -5,19 +5,12 @@ sync_manager.py Modul für den Datenabgleich zwischen einem D365 Excel-Export und dem Google Sheet. Führt einen intelligenten "Full-Sync" durch, um neue, geänderte und gelöschte Datensätze zu identifizieren und zu verarbeiten. - -Enthält Logik für: -- Smart-Merging von Feldern (z.B. Website). -- Automatisches Setzen des Re-Eval-Flags bei Stammdatenänderungen. -- Markieren von archivierten Datensätzen. -- Protokollieren von Datenkonflikten. """ import pandas as pd import logging from datetime import datetime -# Importiere die benötigten Konfigurationen from config import COLUMN_ORDER, COLUMN_MAP class SyncManager: @@ -25,19 +18,11 @@ class SyncManager: Kapselt die Logik für den Abgleich zwischen D365-Export und Google Sheet. """ def __init__(self, sheet_handler, d365_export_path): - """ - Initialisiert den SyncManager. - - Args: - sheet_handler: Eine instanziierte GoogleSheetHandler-Klasse. - d365_export_path (str): Der Dateipfad zur D365 Excel-Exportdatei. - """ self.sheet_handler = sheet_handler self.d365_export_path = d365_export_path self.logger = logging.getLogger(__name__) self.target_sheet_name = None - # Definiert, welche D365-Spalten welchen GSheet-Spalten entsprechen. self.d365_to_gsheet_map = { "Account Name": "CRM Name", "Parent Account": "Parent Account Name", @@ -49,17 +34,17 @@ class SyncManager: "No. Service Technicians": "CRM Anzahl Techniker", "Annual Revenue (Mio. €)": "CRM Umsatz", "Number of Employees": "CRM Anzahl Mitarbeiter", - "GUID": "CRM ID" # Deine korrekte Anpassung + # <<< KORREKTUR: Auf "GUID" angepasst, wie von dir angegeben. + "GUID": "CRM ID" } - # Definiert die Merge-Strategien für GSheet-Spalten self.d365_wins_cols = ["CRM Name", "Parent Account Name", "CRM Ort", "CRM Land", "CRM Beschreibung", "CRM Branche", "CRM Anzahl Techniker", "CRM Umsatz", "CRM Anzahl Mitarbeiter"] self.smart_merge_cols = ["CRM Website"] def _load_data(self): - """Lädt Daten aus der D365-Exportdatei und dem Google Sheet.""" + """Lädt und bereitet die Daten aus D365 und Google Sheets vor.""" self.logger.info(f"Lade Daten aus D365-Export: '{self.d365_export_path}'...") try: self.d365_df = pd.read_excel(self.d365_export_path, dtype=str).fillna('') @@ -69,44 +54,45 @@ class SyncManager: self.d365_df.rename(columns={d365_guid_col: "CRM ID"}, inplace=True) else: self.logger.critical(f"FEHLER: Die erwartete GUID-Spalte '{d365_guid_col}' wurde in der D365-Exportdatei nicht gefunden.") - raise ValueError(f"GUID-Spalte ('{d365_guid_col}') nicht in der D365-Exportdatei gefunden.") + raise ValueError(f"GUID-Spalte ('{d365_guid_col}') nicht in D365-Export gefunden.") self.d365_df['CRM ID'] = self.d365_df['CRM ID'].str.strip() self.d365_df.dropna(subset=['CRM ID'], inplace=True) self.d365_df = self.d365_df[self.d365_df['CRM ID'] != ''] - except FileNotFoundError: - self.logger.critical(f"FEHLER: D365-Exportdatei nicht gefunden unter: {self.d365_export_path}") - return False except Exception as e: - self.logger.critical(f"Ein unerwarteter Fehler ist beim Laden der Excel-Datei aufgetreten: {e}", exc_info=True) + self.logger.critical(f"Fehler beim Laden der Excel-Datei: {e}", exc_info=True) return False self.logger.info("Lade bestehende Daten aus dem Google Sheet...") try: all_data_with_headers = self.sheet_handler.get_all_data_with_headers() if not all_data_with_headers or len(all_data_with_headers) < self.sheet_handler._header_rows: - self.logger.warning("Google Sheet scheint leer zu sein oder enthält keinen Header. Erstelle leeres DataFrame.") + self.logger.warning("Google Sheet scheint leer. Erstelle leeres DataFrame.") self.gsheet_df = pd.DataFrame(columns=COLUMN_ORDER).fillna('') else: actual_header = all_data_with_headers[self.sheet_handler._header_rows - 1] data_rows = all_data_with_headers[self.sheet_handler._header_rows:] - temp_df = pd.DataFrame(data_rows, columns=actual_header).fillna('') + temp_df = pd.DataFrame(data_rows) + # Stelle sicher, dass das DataFrame die richtige Anzahl Spalten hat + if temp_df.shape[1] < len(actual_header): + temp_df.reindex(columns=range(len(actual_header)), fill_value='') + temp_df.columns = actual_header + temp_df = temp_df.fillna('') for col_name in COLUMN_ORDER: if col_name not in temp_df.columns: - self.logger.warning(f"Spalte '{col_name}' fehlt im Google Sheet und wird hinzugefügt.") + self.logger.warning(f"Spalte '{col_name}' fehlt im GSheet und wird hinzugefügt.") temp_df[col_name] = '' self.gsheet_df = temp_df[COLUMN_ORDER] except Exception as e: - self.logger.critical(f"Fehler beim Laden oder Umwandeln der Google Sheet Daten: {e}", exc_info=True) + self.logger.critical(f"Fehler beim Laden/Umwandeln der GSheet-Daten: {e}", exc_info=True) return False self.gsheet_df['CRM ID'] = self.gsheet_df['CRM ID'].str.strip() - self.logger.info(f"{len(self.d365_df)} gültige Datensätze aus D365 geladen, {len(self.gsheet_df)} im Google Sheet vorhanden.") return True @@ -117,11 +103,12 @@ class SyncManager: self.target_sheet_name = self.sheet_handler.get_main_sheet_name() if not self.target_sheet_name: - self.logger.critical("Konnte den Namen des Ziel-Sheets nicht ermitteln. Breche ab.") + self.logger.critical("Konnte Namen des Ziel-Sheets nicht ermitteln. Abbruch.") return - d365_ids = set(self.d365_df['CRM ID']) - gsheet_ids = set(self.gsheet_df[self.gsheet_df['CRM ID'] != '']['CRM ID']) + # Sicherstellen, dass die 'CRM ID' Spalten für den Vergleich sauber sind + d365_ids = set(self.d365_df['CRM ID'].dropna()) + gsheet_ids = set(self.gsheet_df[self.gsheet_df['CRM ID'] != '']['CRM ID'].dropna()) new_ids = d365_ids - gsheet_ids deleted_ids = gsheet_ids - d365_ids @@ -137,9 +124,11 @@ class SyncManager: for _, row in new_accounts_df.iterrows(): new_row_data = [""] * len(COLUMN_ORDER) for d365_col, gsheet_col in self.d365_to_gsheet_map.items(): - if d365_col in row: + # Wir mappen jetzt von den Original-Spaltennamen des D365-Exports + original_d365_col_name = next((k for k, v in self.d365_to_gsheet_map.items() if v == gsheet_col), None) + if original_d365_col_name in row: col_idx = COLUMN_MAP[gsheet_col]['index'] - new_row_data[col_idx] = row[d365_col] + new_row_data[col_idx] = row[original_d365_col_name] rows_to_append.append(new_row_data) if deleted_ids: