sync_manager.py aktualisiert

sync_manager.py

@@ -5,19 +5,12 @@ sync_manager.py
 Modul für den Datenabgleich zwischen einem D365 Excel-Export und dem Google Sheet.
 Führt einen intelligenten "Full-Sync" durch, um neue, geänderte und
 gelöschte Datensätze zu identifizieren und zu verarbeiten.
-
-Enthält Logik für:
-- Smart-Merging von Feldern (z.B. Website).
-- Automatisches Setzen des Re-Eval-Flags bei Stammdatenänderungen.
-- Markieren von archivierten Datensätzen.
-- Protokollieren von Datenkonflikten.
 """
 
 import pandas as pd
 import logging
 from datetime import datetime
 
-# Importiere die benötigten Konfigurationen
 from config import COLUMN_ORDER, COLUMN_MAP
 
 class SyncManager:
@@ -25,19 +18,11 @@ class SyncManager:
     Kapselt die Logik für den Abgleich zwischen D365-Export und Google Sheet.
     """
     def __init__(self, sheet_handler, d365_export_path):
-        """
-        Initialisiert den SyncManager.
-
-        Args:
-            sheet_handler: Eine instanziierte GoogleSheetHandler-Klasse.
-            d365_export_path (str): Der Dateipfad zur D365 Excel-Exportdatei.
-        """
         self.sheet_handler = sheet_handler
         self.d365_export_path = d365_export_path
         self.logger = logging.getLogger(__name__)
         self.target_sheet_name = None
 
-        # Definiert, welche D365-Spalten welchen GSheet-Spalten entsprechen.
         self.d365_to_gsheet_map = {
             "Account Name": "CRM Name",
             "Parent Account": "Parent Account Name",
@@ -49,17 +34,17 @@ class SyncManager:
             "No. Service Technicians": "CRM Anzahl Techniker",
             "Annual Revenue (Mio. €)": "CRM Umsatz",
             "Number of Employees": "CRM Anzahl Mitarbeiter",
-            "GUID": "CRM ID" # Deine korrekte Anpassung
+            # <<< KORREKTUR: Auf "GUID" angepasst, wie von dir angegeben.
+            "GUID": "CRM ID"
         }
 
-        # Definiert die Merge-Strategien für GSheet-Spalten
         self.d365_wins_cols = ["CRM Name", "Parent Account Name", "CRM Ort", "CRM Land", 
                                "CRM Beschreibung", "CRM Branche", "CRM Anzahl Techniker", 
                                "CRM Umsatz", "CRM Anzahl Mitarbeiter"]
         self.smart_merge_cols = ["CRM Website"]
 
     def _load_data(self):
-        """Lädt Daten aus der D365-Exportdatei und dem Google Sheet."""
+        """Lädt und bereitet die Daten aus D365 und Google Sheets vor."""
         self.logger.info(f"Lade Daten aus D365-Export: '{self.d365_export_path}'...")
         try:
             self.d365_df = pd.read_excel(self.d365_export_path, dtype=str).fillna('')
@@ -69,44 +54,45 @@ class SyncManager:
                  self.d365_df.rename(columns={d365_guid_col: "CRM ID"}, inplace=True)
             else:
                 self.logger.critical(f"FEHLER: Die erwartete GUID-Spalte '{d365_guid_col}' wurde in der D365-Exportdatei nicht gefunden.")
-                raise ValueError(f"GUID-Spalte ('{d365_guid_col}') nicht in der D365-Exportdatei gefunden.")
+                raise ValueError(f"GUID-Spalte ('{d365_guid_col}') nicht in D365-Export gefunden.")
             
             self.d365_df['CRM ID'] = self.d365_df['CRM ID'].str.strip()
             self.d365_df.dropna(subset=['CRM ID'], inplace=True)
             self.d365_df = self.d365_df[self.d365_df['CRM ID'] != '']
 
-        except FileNotFoundError:
-            self.logger.critical(f"FEHLER: D365-Exportdatei nicht gefunden unter: {self.d365_export_path}")
-            return False
         except Exception as e:
-            self.logger.critical(f"Ein unerwarteter Fehler ist beim Laden der Excel-Datei aufgetreten: {e}", exc_info=True)
+            self.logger.critical(f"Fehler beim Laden der Excel-Datei: {e}", exc_info=True)
             return False
 
         self.logger.info("Lade bestehende Daten aus dem Google Sheet...")
         try:
             all_data_with_headers = self.sheet_handler.get_all_data_with_headers()
             if not all_data_with_headers or len(all_data_with_headers) < self.sheet_handler._header_rows:
-                self.logger.warning("Google Sheet scheint leer zu sein oder enthält keinen Header. Erstelle leeres DataFrame.")
+                self.logger.warning("Google Sheet scheint leer. Erstelle leeres DataFrame.")
                 self.gsheet_df = pd.DataFrame(columns=COLUMN_ORDER).fillna('')
             else:
                 actual_header = all_data_with_headers[self.sheet_handler._header_rows - 1]
                 data_rows = all_data_with_headers[self.sheet_handler._header_rows:]
                 
-                temp_df = pd.DataFrame(data_rows, columns=actual_header).fillna('')
+                temp_df = pd.DataFrame(data_rows)
+                # Stelle sicher, dass das DataFrame die richtige Anzahl Spalten hat
+                if temp_df.shape[1] < len(actual_header):
+                    temp_df.reindex(columns=range(len(actual_header)), fill_value='')
+                temp_df.columns = actual_header
+                temp_df = temp_df.fillna('')
 
                 for col_name in COLUMN_ORDER:
                     if col_name not in temp_df.columns:
-                        self.logger.warning(f"Spalte '{col_name}' fehlt im Google Sheet und wird hinzugefügt.")
+                        self.logger.warning(f"Spalte '{col_name}' fehlt im GSheet und wird hinzugefügt.")
                         temp_df[col_name] = ''
                 
                 self.gsheet_df = temp_df[COLUMN_ORDER]
 
         except Exception as e:
-            self.logger.critical(f"Fehler beim Laden oder Umwandeln der Google Sheet Daten: {e}", exc_info=True)
+            self.logger.critical(f"Fehler beim Laden/Umwandeln der GSheet-Daten: {e}", exc_info=True)
             return False
             
         self.gsheet_df['CRM ID'] = self.gsheet_df['CRM ID'].str.strip()
-
         self.logger.info(f"{len(self.d365_df)} gültige Datensätze aus D365 geladen, {len(self.gsheet_df)} im Google Sheet vorhanden.")
         return True
 
@@ -117,11 +103,12 @@ class SyncManager:
             
         self.target_sheet_name = self.sheet_handler.get_main_sheet_name()
         if not self.target_sheet_name:
-            self.logger.critical("Konnte den Namen des Ziel-Sheets nicht ermitteln. Breche ab.")
+            self.logger.critical("Konnte Namen des Ziel-Sheets nicht ermitteln. Abbruch.")
             return
 
-        d365_ids = set(self.d365_df['CRM ID'])
+        # Sicherstellen, dass die 'CRM ID' Spalten für den Vergleich sauber sind
-        gsheet_ids = set(self.gsheet_df[self.gsheet_df['CRM ID'] != '']['CRM ID'])
+        d365_ids = set(self.d365_df['CRM ID'].dropna())
+        gsheet_ids = set(self.gsheet_df[self.gsheet_df['CRM ID'] != '']['CRM ID'].dropna())
 
         new_ids = d365_ids - gsheet_ids
         deleted_ids = gsheet_ids - d365_ids
@@ -137,9 +124,11 @@ class SyncManager:
             for _, row in new_accounts_df.iterrows():
                 new_row_data = [""] * len(COLUMN_ORDER)
                 for d365_col, gsheet_col in self.d365_to_gsheet_map.items():
-                    if d365_col in row:
+                    # Wir mappen jetzt von den Original-Spaltennamen des D365-Exports
+                    original_d365_col_name = next((k for k, v in self.d365_to_gsheet_map.items() if v == gsheet_col), None)
+                    if original_d365_col_name in row:
                         col_idx = COLUMN_MAP[gsheet_col]['index']
-                        new_row_data[col_idx] = row[d365_col]
+                        new_row_data[col_idx] = row[original_d365_col_name]
                 rows_to_append.append(new_row_data)
         
         if deleted_ids: