This commit is contained in:
2025-04-17 14:48:10 +00:00
parent 4c2ef0d251
commit 99338dc9cf

View File

@@ -49,6 +49,7 @@ import json # Zum Speichern der Muster als JSON (optional)
import pickle # Zum Speichern des trainierten Modells und Imputers
import concurrent.futures # Für parallele Verarbeitung (bereits vorhanden)
import threading # Für Semaphore (bereits vorhanden)
# --- Ende neue Importe ---
# Optional: tiktoken für Token-Zählung (Modus 8)
try:
@@ -71,7 +72,8 @@ PATTERNS_FILE_JSON = "technician_patterns.json" # Optional
# ==================== KONFIGURATION ====================
class Config:
VERSION = "v1.6.4" # Behalte Version bei
# ... (Alle deine bisherigen Config-Einstellungen) ...
VERSION = "v1.6.4" # Versionsnummer erhöhen
LANG = "de"
SHEET_URL = "https://docs.google.com/spreadsheets/d/1u_gHr9JUfmV1-iviRzbSe3575QEp7KLhK5jFV_gJcgo"
MAX_RETRIES = 3
@@ -88,15 +90,13 @@ class Config:
OPENAI_BATCH_SIZE_LIMIT = 4 # Max. Texte pro OpenAI Call in summarize_batch_openai
MAX_SCRAPING_WORKERS = 10 # Threads für paralleles Website-Scraping
UPDATE_BATCH_ROW_LIMIT = 50 # Zeilen sammeln für gebündelte Sheet Updates
# --- NEU: Konfiguration für Branch-Parallelisierung ---
MAX_BRANCH_WORKERS = 10 # Wie viele Threads für parallele Bewertung?
MAX_BRANCH_WORKERS = 10 # Threads für parallele Branch-Bewertung?
OPENAI_CONCURRENCY_LIMIT = 5 # Max. gleichzeitige OpenAI Calls für Branch Bewertung
PROCESSING_BRANCH_BATCH_SIZE = PROCESSING_BATCH_SIZE # Nutze dieselbe Batch-Größe wie Website, oder definiere neu (z.B. 20)
API_KEYS = {}
@classmethod
def load_api_keys(cls):
def load_api_keys(cls): # unverändert
cls.API_KEYS['openai'] = cls._load_key_from_file(API_KEY_FILE)
cls.API_KEYS['serpapi'] = cls._load_key_from_file(SERP_API_KEY_FILE)
cls.API_KEYS['genderize'] = cls._load_key_from_file(GENDERIZE_API_KEY_FILE)
@@ -104,7 +104,7 @@ class Config:
else: debug_print("⚠️ OpenAI API Key konnte nicht geladen werden.")
@staticmethod
def _load_key_from_file(filepath):
def _load_key_from_file(filepath): # unverändert
try:
with open(filepath, "r") as f: return f.read().strip()
except Exception as e: debug_print(f"Fehler Keys aus '{filepath}': {e}"); return None