sync_manager.py aktualisiert
This commit is contained in:
@@ -5,19 +5,12 @@ sync_manager.py
|
||||
Modul für den Datenabgleich zwischen einem D365 Excel-Export und dem Google Sheet.
|
||||
Führt einen intelligenten "Full-Sync" durch, um neue, geänderte und
|
||||
gelöschte Datensätze zu identifizieren und zu verarbeiten.
|
||||
|
||||
Enthält Logik für:
|
||||
- Smart-Merging von Feldern (z.B. Website).
|
||||
- Automatisches Setzen des Re-Eval-Flags bei Stammdatenänderungen.
|
||||
- Markieren von archivierten Datensätzen.
|
||||
- Protokollieren von Datenkonflikten.
|
||||
"""
|
||||
|
||||
import pandas as pd
|
||||
import logging
|
||||
from datetime import datetime
|
||||
|
||||
# Importiere die benötigten Konfigurationen
|
||||
from config import COLUMN_ORDER, COLUMN_MAP
|
||||
|
||||
class SyncManager:
|
||||
@@ -25,19 +18,11 @@ class SyncManager:
|
||||
Kapselt die Logik für den Abgleich zwischen D365-Export und Google Sheet.
|
||||
"""
|
||||
def __init__(self, sheet_handler, d365_export_path):
|
||||
"""
|
||||
Initialisiert den SyncManager.
|
||||
|
||||
Args:
|
||||
sheet_handler: Eine instanziierte GoogleSheetHandler-Klasse.
|
||||
d365_export_path (str): Der Dateipfad zur D365 Excel-Exportdatei.
|
||||
"""
|
||||
self.sheet_handler = sheet_handler
|
||||
self.d365_export_path = d365_export_path
|
||||
self.logger = logging.getLogger(__name__)
|
||||
self.target_sheet_name = None
|
||||
|
||||
# Definiert, welche D365-Spalten welchen GSheet-Spalten entsprechen.
|
||||
self.d365_to_gsheet_map = {
|
||||
"Account Name": "CRM Name",
|
||||
"Parent Account": "Parent Account Name",
|
||||
@@ -49,17 +34,17 @@ class SyncManager:
|
||||
"No. Service Technicians": "CRM Anzahl Techniker",
|
||||
"Annual Revenue (Mio. €)": "CRM Umsatz",
|
||||
"Number of Employees": "CRM Anzahl Mitarbeiter",
|
||||
"GUID": "CRM ID" # Deine korrekte Anpassung
|
||||
# <<< KORREKTUR: Auf "GUID" angepasst, wie von dir angegeben.
|
||||
"GUID": "CRM ID"
|
||||
}
|
||||
|
||||
# Definiert die Merge-Strategien für GSheet-Spalten
|
||||
self.d365_wins_cols = ["CRM Name", "Parent Account Name", "CRM Ort", "CRM Land",
|
||||
"CRM Beschreibung", "CRM Branche", "CRM Anzahl Techniker",
|
||||
"CRM Umsatz", "CRM Anzahl Mitarbeiter"]
|
||||
self.smart_merge_cols = ["CRM Website"]
|
||||
|
||||
def _load_data(self):
|
||||
"""Lädt Daten aus der D365-Exportdatei und dem Google Sheet."""
|
||||
"""Lädt und bereitet die Daten aus D365 und Google Sheets vor."""
|
||||
self.logger.info(f"Lade Daten aus D365-Export: '{self.d365_export_path}'...")
|
||||
try:
|
||||
self.d365_df = pd.read_excel(self.d365_export_path, dtype=str).fillna('')
|
||||
@@ -69,44 +54,45 @@ class SyncManager:
|
||||
self.d365_df.rename(columns={d365_guid_col: "CRM ID"}, inplace=True)
|
||||
else:
|
||||
self.logger.critical(f"FEHLER: Die erwartete GUID-Spalte '{d365_guid_col}' wurde in der D365-Exportdatei nicht gefunden.")
|
||||
raise ValueError(f"GUID-Spalte ('{d365_guid_col}') nicht in der D365-Exportdatei gefunden.")
|
||||
raise ValueError(f"GUID-Spalte ('{d365_guid_col}') nicht in D365-Export gefunden.")
|
||||
|
||||
self.d365_df['CRM ID'] = self.d365_df['CRM ID'].str.strip()
|
||||
self.d365_df.dropna(subset=['CRM ID'], inplace=True)
|
||||
self.d365_df = self.d365_df[self.d365_df['CRM ID'] != '']
|
||||
|
||||
except FileNotFoundError:
|
||||
self.logger.critical(f"FEHLER: D365-Exportdatei nicht gefunden unter: {self.d365_export_path}")
|
||||
return False
|
||||
except Exception as e:
|
||||
self.logger.critical(f"Ein unerwarteter Fehler ist beim Laden der Excel-Datei aufgetreten: {e}", exc_info=True)
|
||||
self.logger.critical(f"Fehler beim Laden der Excel-Datei: {e}", exc_info=True)
|
||||
return False
|
||||
|
||||
self.logger.info("Lade bestehende Daten aus dem Google Sheet...")
|
||||
try:
|
||||
all_data_with_headers = self.sheet_handler.get_all_data_with_headers()
|
||||
if not all_data_with_headers or len(all_data_with_headers) < self.sheet_handler._header_rows:
|
||||
self.logger.warning("Google Sheet scheint leer zu sein oder enthält keinen Header. Erstelle leeres DataFrame.")
|
||||
self.logger.warning("Google Sheet scheint leer. Erstelle leeres DataFrame.")
|
||||
self.gsheet_df = pd.DataFrame(columns=COLUMN_ORDER).fillna('')
|
||||
else:
|
||||
actual_header = all_data_with_headers[self.sheet_handler._header_rows - 1]
|
||||
data_rows = all_data_with_headers[self.sheet_handler._header_rows:]
|
||||
|
||||
temp_df = pd.DataFrame(data_rows, columns=actual_header).fillna('')
|
||||
temp_df = pd.DataFrame(data_rows)
|
||||
# Stelle sicher, dass das DataFrame die richtige Anzahl Spalten hat
|
||||
if temp_df.shape[1] < len(actual_header):
|
||||
temp_df.reindex(columns=range(len(actual_header)), fill_value='')
|
||||
temp_df.columns = actual_header
|
||||
temp_df = temp_df.fillna('')
|
||||
|
||||
for col_name in COLUMN_ORDER:
|
||||
if col_name not in temp_df.columns:
|
||||
self.logger.warning(f"Spalte '{col_name}' fehlt im Google Sheet und wird hinzugefügt.")
|
||||
self.logger.warning(f"Spalte '{col_name}' fehlt im GSheet und wird hinzugefügt.")
|
||||
temp_df[col_name] = ''
|
||||
|
||||
self.gsheet_df = temp_df[COLUMN_ORDER]
|
||||
|
||||
except Exception as e:
|
||||
self.logger.critical(f"Fehler beim Laden oder Umwandeln der Google Sheet Daten: {e}", exc_info=True)
|
||||
self.logger.critical(f"Fehler beim Laden/Umwandeln der GSheet-Daten: {e}", exc_info=True)
|
||||
return False
|
||||
|
||||
self.gsheet_df['CRM ID'] = self.gsheet_df['CRM ID'].str.strip()
|
||||
|
||||
self.logger.info(f"{len(self.d365_df)} gültige Datensätze aus D365 geladen, {len(self.gsheet_df)} im Google Sheet vorhanden.")
|
||||
return True
|
||||
|
||||
@@ -117,11 +103,12 @@ class SyncManager:
|
||||
|
||||
self.target_sheet_name = self.sheet_handler.get_main_sheet_name()
|
||||
if not self.target_sheet_name:
|
||||
self.logger.critical("Konnte den Namen des Ziel-Sheets nicht ermitteln. Breche ab.")
|
||||
self.logger.critical("Konnte Namen des Ziel-Sheets nicht ermitteln. Abbruch.")
|
||||
return
|
||||
|
||||
d365_ids = set(self.d365_df['CRM ID'])
|
||||
gsheet_ids = set(self.gsheet_df[self.gsheet_df['CRM ID'] != '']['CRM ID'])
|
||||
# Sicherstellen, dass die 'CRM ID' Spalten für den Vergleich sauber sind
|
||||
d365_ids = set(self.d365_df['CRM ID'].dropna())
|
||||
gsheet_ids = set(self.gsheet_df[self.gsheet_df['CRM ID'] != '']['CRM ID'].dropna())
|
||||
|
||||
new_ids = d365_ids - gsheet_ids
|
||||
deleted_ids = gsheet_ids - d365_ids
|
||||
@@ -137,9 +124,11 @@ class SyncManager:
|
||||
for _, row in new_accounts_df.iterrows():
|
||||
new_row_data = [""] * len(COLUMN_ORDER)
|
||||
for d365_col, gsheet_col in self.d365_to_gsheet_map.items():
|
||||
if d365_col in row:
|
||||
# Wir mappen jetzt von den Original-Spaltennamen des D365-Exports
|
||||
original_d365_col_name = next((k for k, v in self.d365_to_gsheet_map.items() if v == gsheet_col), None)
|
||||
if original_d365_col_name in row:
|
||||
col_idx = COLUMN_MAP[gsheet_col]['index']
|
||||
new_row_data[col_idx] = row[d365_col]
|
||||
new_row_data[col_idx] = row[original_d365_col_name]
|
||||
rows_to_append.append(new_row_data)
|
||||
|
||||
if deleted_ids:
|
||||
|
||||
Reference in New Issue
Block a user