v1.2.6: Erweiterte String-Bereinigung für Umsatz/Mitarbeiterwerte; verbesserter Debug-Log
Erweiterte String-Bereinigung: Zusätzliche Ersetzungen in extract_numeric_value (Entfernung von "ca.", "circa", "etwa", "über", "rund") zur robusteren Extraktion numerischer Werte aus Rohtexten. Fallback-Handling: Bei Fehlern in der Umwandlung wird der Originaltext oder "k.A." als Fallback ausgegeben. Zusätzliche Debug-Ausgabe: Vor dem Vergleich der CRM- und Wikipedia-Umsätze werden die bereinigten Werte im Debug-Log ausgegeben. Kurze Pause (1 Sekunde): Eine 1-Sekunden-Pause wird nach dem Update in Google Sheets eingefügt, um sicherzustellen, dass die Werte vor dem Vergleich vollständig gespeichert sind.
This commit is contained in:
@@ -14,7 +14,7 @@ import csv
|
|||||||
|
|
||||||
# ==================== KONFIGURATION ====================
|
# ==================== KONFIGURATION ====================
|
||||||
class Config:
|
class Config:
|
||||||
VERSION = "v1.2.5" # v1.2.5: Umsatzvergleich verbessert; 1 Sekunde Pause + zusätzliche Debug-Ausgabe
|
VERSION = "v1.2.6" # v1.2.6: Erweiterte String-Bereinigung und robustere Umwandlung von Umsatz/Mitarbeiterwerten
|
||||||
LANG = "de"
|
LANG = "de"
|
||||||
CREDENTIALS_FILE = "service_account.json"
|
CREDENTIALS_FILE = "service_account.json"
|
||||||
SHEET_URL = "https://docs.google.com/spreadsheets/d/1u_gHr9JUfmV1-iviRzbSe3575QEp7KLhK5jFV_gJcgo"
|
SHEET_URL = "https://docs.google.com/spreadsheets/d/1u_gHr9JUfmV1-iviRzbSe3575QEp7KLhK5jFV_gJcgo"
|
||||||
@@ -72,31 +72,30 @@ def normalize_company_name(name):
|
|||||||
return normalized.lower()
|
return normalized.lower()
|
||||||
|
|
||||||
def extract_numeric_value(raw_value, is_umsatz=False):
|
def extract_numeric_value(raw_value, is_umsatz=False):
|
||||||
|
# Erweiterte Vorverarbeitung: Entferne gängige Zusätze und unerwünschte Zeichen.
|
||||||
raw_value = raw_value.strip()
|
raw_value = raw_value.strip()
|
||||||
if not raw_value:
|
if not raw_value:
|
||||||
return "k.A."
|
return "k.A."
|
||||||
# Entferne gängige Zusätze wie "ca.", "circa", "über" etc.
|
# Entferne häufige Zusätze
|
||||||
raw_value = re.sub(r'\b(ca\.?|circa|über)\b', '', raw_value, flags=re.IGNORECASE)
|
raw_value = re.sub(r'\b(ca\.?|circa|etwa|über|rund)\b', '', raw_value, flags=re.IGNORECASE)
|
||||||
raw = raw_value.lower().replace("\xa0", " ")
|
# Entferne unnötige Leerzeichen und Sonderzeichen
|
||||||
|
raw_value = raw_value.replace("\xa0", " ").strip()
|
||||||
|
raw = raw_value.lower()
|
||||||
match = re.search(r'([\d.,]+)', raw, flags=re.UNICODE)
|
match = re.search(r'([\d.,]+)', raw, flags=re.UNICODE)
|
||||||
if not match or not match.group(1).strip():
|
if not match or not match.group(1).strip():
|
||||||
debug_print(f"Keine numerischen Zeichen gefunden im Rohtext: '{raw_value}'")
|
debug_print(f"Keine numerischen Zeichen gefunden im Rohtext: '{raw_value}'")
|
||||||
return "k.A."
|
return "k.A."
|
||||||
num_str = match.group(1)
|
num_str = match.group(1)
|
||||||
if ',' in num_str:
|
# Prüfe, ob Komma als Dezimaltrennzeichen genutzt wird (deutsches Format)
|
||||||
|
if ',' in num_str and num_str.count(',') == 1 and len(num_str.split(',')[1]) <= 2:
|
||||||
num_str = num_str.replace('.', '').replace(',', '.')
|
num_str = num_str.replace('.', '').replace(',', '.')
|
||||||
try:
|
|
||||||
num = float(num_str)
|
|
||||||
except Exception as e:
|
|
||||||
debug_print(f"Fehler bei der Umwandlung von '{num_str}' (Rohtext: '{raw_value}'): {e}")
|
|
||||||
return raw_value
|
|
||||||
else:
|
else:
|
||||||
num_str = num_str.replace(' ', '').replace('.', '')
|
num_str = num_str.replace(' ', '').replace('.', '')
|
||||||
try:
|
try:
|
||||||
num = float(num_str)
|
num = float(num_str)
|
||||||
except Exception as e:
|
except Exception as e:
|
||||||
debug_print(f"Fehler bei der Umwandlung von '{num_str}' (Rohtext: '{raw_value}'): {e}")
|
debug_print(f"Fehler bei der Umwandlung von '{num_str}' (Rohtext: '{raw_value}'): {e}")
|
||||||
return raw_value
|
return raw_value
|
||||||
if is_umsatz:
|
if is_umsatz:
|
||||||
if "mrd" in raw or "milliarden" in raw:
|
if "mrd" in raw or "milliarden" in raw:
|
||||||
num *= 1000
|
num *= 1000
|
||||||
@@ -404,11 +403,9 @@ class DataProcessor:
|
|||||||
self._process_single_row(i, row)
|
self._process_single_row(i, row)
|
||||||
def _process_single_row(self, row_num, row_data):
|
def _process_single_row(self, row_num, row_data):
|
||||||
# Neues Schema:
|
# Neues Schema:
|
||||||
# B: Firmenname, C: Website
|
# B: Firmenname, C: Website, CRM-Umsatz in Spalte I (Index 8)
|
||||||
# Wikipedia-Daten: Spalten K bis Q
|
# Wikipedia-Daten: Spalten K bis Q
|
||||||
# ChatGPT Umsatz: Spalte AF
|
# ChatGPT Umsatz in Spalte AF, Vergleich in Spalte AG,
|
||||||
# CRM Umsatz in Spalte I (Index 8)
|
|
||||||
# Umsatz-Abgleich: Spalte AG
|
|
||||||
# Timestamp in Spalte AH, Version in Spalte AI.
|
# Timestamp in Spalte AH, Version in Spalte AI.
|
||||||
company_name = row_data[1] if len(row_data) > 1 else ""
|
company_name = row_data[1] if len(row_data) > 1 else ""
|
||||||
website = row_data[2] if len(row_data) > 2 else ""
|
website = row_data[2] if len(row_data) > 2 else ""
|
||||||
@@ -441,18 +438,18 @@ class DataProcessor:
|
|||||||
company_data.get('categories', 'k.A.')
|
company_data.get('categories', 'k.A.')
|
||||||
]
|
]
|
||||||
self.sheet_handler.sheet.update(values=[wiki_values], range_name=wiki_update_range)
|
self.sheet_handler.sheet.update(values=[wiki_values], range_name=wiki_update_range)
|
||||||
# Pause einbauen, damit die Werte in Google Sheets aktualisiert werden.
|
time.sleep(1) # 1 Sekunde Pause, um sicherzustellen, dass die Daten gespeichert wurden
|
||||||
time.sleep(1)
|
# ChatGPT API: Umsatzbewertung
|
||||||
# ChatGPT API: Umsatzbewertung basierend auf Firmenname und Wikipedia-Umsatz
|
|
||||||
wiki_umsatz = company_data.get('umsatz', 'k.A.')
|
wiki_umsatz = company_data.get('umsatz', 'k.A.')
|
||||||
if wiki_umsatz != "k.A.":
|
if wiki_umsatz != "k.A.":
|
||||||
chatgpt_umsatz = evaluate_umsatz_chatgpt(company_name, wiki_umsatz)
|
chatgpt_umsatz = evaluate_umsatz_chatgpt(company_name, wiki_umsatz)
|
||||||
else:
|
else:
|
||||||
chatgpt_umsatz = "k.A."
|
chatgpt_umsatz = "k.A."
|
||||||
self.sheet_handler.sheet.update(values=[[chatgpt_umsatz]], range_name=chatgpt_range)
|
self.sheet_handler.sheet.update(values=[[chatgpt_umsatz]], range_name=chatgpt_range)
|
||||||
# Umsatz-Abgleich: CRM-Umsatz aus Spalte I und Wikipedia-Umsatz
|
# Umsatz-Abgleich: CRM-Umsatz (Spalte I) vs. Wikipedia-Umsatz
|
||||||
crm_umsatz = row_data[8] if len(row_data) > 8 else "k.A."
|
crm_umsatz = row_data[8] if len(row_data) > 8 else "k.A."
|
||||||
abgleich_result = compare_umsatz_values(crm_umsatz, company_data.get('umsatz', 'k.A.'))
|
debug_print(f"Bereinigte Vergleichswerte vor Umwandlung: CRM Umsatz: '{crm_umsatz}', Wiki Umsatz: '{wiki_umsatz}'")
|
||||||
|
abgleich_result = compare_umsatz_values(crm_umsatz, wiki_umsatz)
|
||||||
self.sheet_handler.sheet.update(values=[[abgleich_result]], range_name=abgleich_range)
|
self.sheet_handler.sheet.update(values=[[abgleich_result]], range_name=abgleich_range)
|
||||||
current_dt = datetime.now().strftime("%Y-%m-%d %H:%M:%S")
|
current_dt = datetime.now().strftime("%Y-%m-%d %H:%M:%S")
|
||||||
self.sheet_handler.sheet.update(values=[[current_dt]], range_name=dt_range)
|
self.sheet_handler.sheet.update(values=[[current_dt]], range_name=dt_range)
|
||||||
|
|||||||
Reference in New Issue
Block a user