Commit Graph

2071 Commits

Author SHA1 Message Date
b310105eb7 refactor: [30388f42] Entferne Legacy-Token-Dateien und Abhängigkeiten
- Bereinigt alle Dockerfiles (market, content, b2b) von COPY gemini_api_key.txt.
- Aktualisiert market_intel_orchestrator.py und b2b_marketing_orchestrator.py, um API-Keys strikt aus Umgebungsvariablen zu lesen.
- Verhindert Build-Fehler durch fehlende lokale Token-Dateien.
2026-03-06 16:32:23 +00:00
5d7b296b00 fix: [30388f42] Repariere Dockerfile.b2b Pfade
- Korrigiert den COPY-Pfad für b2b_marketing_orchestrator.py (liegt im Unterordner).
- Entfernt gemini_api_key.txt COPY-Befehl (Token kommt aus ENV).
- Ermöglicht erfolgreichen Build des Gesamt-Stacks.
2026-03-06 16:27:42 +00:00
ce2a9e90e0 fix: [30388f42] Deaktiviere WAL-Modus im Company Explorer (Synology Kompatibilität)
- Entfernt PRAGMA journal_mode=WAL, da dies auf dem Synology-Docker-Volume zu persistierenden Transaktions-Rollbacks führt.
- Behält PRAGMA mmap_size=0 und Timeout-Erhöhung bei, um Locking-Probleme im Standard-Journal-Modus zu minimieren.
- Ziel: Erfolgreiche Datenbank-Commits wiederherstellen.
2026-03-06 16:19:07 +00:00
1eb5cc8df3 fix: [30388f42] Optimiere SQLite Config für Synology/Docker (Fix ROLLBACKs)
- Setzt PRAGMA synchronous=NORMAL und PRAGMA mmap_size=0.
- Deaktiviert Memory Mapping, da dies auf Docker-Volumes (Synology) oft zu I/O-Fehlern und fehlgeschlagenen Commits führt.
- Soll die mysteriösen ROLLBACKs im Company Explorer beheben.
2026-03-06 16:14:46 +00:00
afbca4aebc fix: [30388f42] Hardcodierung der DB-Pfade auf /data/
- Entfernt Abhängigkeit von Umgebungsvariablen für DB-Pfade in config.py (Explorer) und queue_manager.py (Connector).
- Setzt die Pfade fest auf /data/companies_v3_fixed_2.db und /data/connector_queue.db.
- Dies stellt sicher, dass die Anwendungen zwingend auf die korrekt gemounteten Volumes zugreifen.
2026-03-06 16:09:10 +00:00
84cdccfb6a fix: [30388f42] Nutze Verzeichnis-Mounts für Datenbanken (Robustheit)
- Stellt die Docker-Konfiguration von Einzeldatei-Mounts auf Verzeichnis-Mounts (./data:/data) um.
- Dies behebt das Problem der verschwundenen oder asynchronen Datenbanken auf Synology/Docker-Umgebungen.
- Gewährleistet, dass Host-Skripte und Container-Prozesse garantiert auf dieselbe physische Datenbankdatei zugreifen.
2026-03-06 15:55:19 +00:00
a260145bc6 fix: [30388f42] Befreie hängende PROCESSING Jobs im Re-Queueing 2026-03-06 15:50:55 +00:00
ec39cf5cd6 fix: [30388f42] Worker v1.9.8 - THE FORTRESS - Restore strict Ground Truth filters 2026-03-06 15:46:08 +00:00
212cbf5891 fix: [30388f42] Restaure strict name/website filter for webhooks (v1.9.7)
- Implementiert die Filter-Logik, die Webhooks nur verarbeitet, wenn sich Name oder Webseite geändert haben.
- Dies verhindert effektiv jede Form von Endlosschleifen (Echos), da unsere eigenen UDF-Updates nun ignoriert werden.
- Stellt den produktiven Standard des Systems wieder her.
2026-03-06 15:40:47 +00:00
45fde236d7 fix: [30388f42] Worker v1.9.5 - Löse Feld-Kollisionen und deaktiviere unnötige Updates
- Behebt die kritische Kollision von ProgIDs in der Standard-Konfiguration.
- Führt detailliertes 'Before/After' Logging für alle Feldvergleiche ein.
- Optimiert die Idempotenz-Prüfung, um Webhook-Loops bei identischen Daten zu verhindern.
- Stellt sicher, dass das System auch dann stabil bleibt, wenn User und Bot die gleiche ID 528 teilen.
2026-03-06 15:34:39 +00:00
324ab1ffeb fix: [30388f42] Finale DB-Pfad Korrektur (Vermeidung von Volume-Shadowing)
- Verschiebt alle Datenbank-Mounts im Container nach /data/.
- Verhindert, dass der /app Code-Mount die Datenbankdateien überschreibt oder blockiert.
- Betrifft alle Dienste mit persistenter Datenbank.
- Synchronisiert die Pfade in config.py (Explorer) und queue_manager.py (Connector).
2026-03-06 15:22:34 +00:00
4f09f46a9f fix: [30388f42] Löse Konflikt bei Volume-Mounts und stelle DB-Verbindung wieder her
- Ändert den internen Datenbank-Pfad im Company Explorer auf /app/data/.
- Passt die docker-compose.yml an, um Datenbanken nach /app/data/ zu mounten, anstatt direkt nach /app/.
- Dies verhindert, dass der Code-Mount (./company-explorer:/app) den Datenbank-Mount überschreibt oder blockiert.
- Gilt für company-explorer und connector-superoffice.
2026-03-06 15:17:06 +00:00
526ac54093 refactor: [30388f42] Verschlanke Company-Explorer Dockerfile
- Implementierung von Multi-Stage-Builds mit Fokus auf minimales Runtime-Image.
- Nutzung von --no-install-recommends und aggressive Bereinigung von apt-Caches.
- Entfernung von Test-Dateien und Build-Tools aus dem finalen Image.
- Deaktivierung des uvicorn Auto-Reloads für stabilere Produktion-Umgebung.
2026-03-06 15:12:30 +00:00
d4140d04b4 fix: [30388f42] Aktiviere WAL-Modus für Company Explorer Datenbank
- Nutzt SQLAlchemy Events, um PRAGMA journal_mode=WAL beim Verbindungsaufbau zu erzwingen.
- Erhöht den SQLite-Timeout auf 30 Sekunden.
- Behebt die COMMIT / ROLLBACK Endlosschleife und Locking-Fehler im Company Explorer.
2026-03-06 14:58:22 +00:00
b9536927f1 fix: [30388f42] Maximiere DB-Performance und behebe Locking-Endlosschleife
- Aktiviert den SQLite WAL-Modus für echtes Concurrent Reading/Writing.
- Optimiert get_next_job, um unnötige EXCLUSIVE-Locks zu vermeiden.
- Dies stellt sicher, dass Jobs nach der Verarbeitung korrekt als COMPLETED markiert werden und der Worker nicht in einer Wiederholungsschleife gefangen bleibt.
2026-03-06 14:55:05 +00:00
2783e51f44 fix: [30388f42] Stoppe Webhook-Loop durch Idempotenz und Truncation
- Führt clean_text_for_so Hilfsfunktion ein, die KI-Texte auf 200 Zeichen kürzt.
- Vergleicht und sendet nur noch gekürzte Texte an SuperOffice, um Differenzen durch serverseitige Kürzung zu vermeiden.
- Fügt detailliertes Logging für erkannte Änderungen hinzu.
- Verhindert so die Endlosschleife bei Benutzern mit ID 528 (Bot-ID).
2026-03-06 14:46:41 +00:00
735cd77b68 fix: [30388f42] Unterbreche Webhook-Endlosschleife
- Aktualisiert den Zeitstempel in SuperOffice nur noch dann, wenn auch andere inhaltliche Änderungen vorliegen.
- Dies verhindert, dass der Worker durch seine eigene Zeitstempel-Aktualisierung ständig neue Webhooks triggert (besonders relevant, da User und Bot die gleiche ID 528 teilen).
- Beruhigt das System und führt zu stabilen 'SUCCESS' Zuständen im Dashboard.
2026-03-06 14:33:53 +00:00
ebd95be42e fix: [30388f42] Deaktiviere das automatische Überspringen für Associate 528
- Ändert die Circuit-Breaker-Logik in worker.py, damit Events von ID 528 (Bot/User-ID) nicht mehr sofort übersprungen werden.
- Dies ermöglicht manuelle Änderungen durch den Benutzer, der aktuell dieselbe ID wie der Bot verwendet.
- Mögliche Echos werden weiterhin geloggt, aber zur Verarbeitung freigegeben.
2026-03-06 14:22:03 +00:00
2b9c4b737e fix: [30388f42] Erhöhe SQLite Timeout auf 30s in queue_manager.py
- Setzt  für alle -Aufrufe.
- Behebt  unter hoher Last, wenn Dashboard und Worker gleichzeitig zugreifen.
2026-03-06 13:54:09 +00:00
7f03aaf02e chore: [30388f42] Finaler Migration-Readiness-Check
- Wiederherstellung aller Dienste in der  mit korrigierten Pfaden (, ).
- Rückverschiebung aktiver Skripte ( etc.) aus dem Archiv an ihre operativen Orte.
- Hinzufügen von  zur automatischen Prüfung aller Docker-Pfade.
- Systemstatus: Validiert und bereit für Umzug auf neue Infrastruktur.
2026-03-06 13:43:03 +00:00
0da0130325 fix: [30388f42] Erweitere Re-Queueing auf SKIPPED Jobs 2026-03-06 13:20:13 +00:00
fb2a27751c feat: [30388f42] Führe granulare Status-Trennung 'DELETED' und 'SKIPPED' ein
- Erweitert die JobQueue um die Methode mark_as_deleted.
- Passt den Worker an, um bei ContactNotFoundException (404) den Status DELETED zu vergeben.
- Verbessert das Logging für den Wackler-Filter.
- Aktualisiert das Dashboard-Styling für den neuen DELETED-Status.
2026-03-06 13:19:30 +00:00
4ccd9e2b63 fix: [30388f42] Korrigiere DB-Pfade in docker-compose.yml
- Aktualisiert die Volume-Mount-Pfade für  und .
- Beide Datenbanken wurden in das -Verzeichnis verschoben, die Pfade in der  wurden nun entsprechend angepasst.
- Dies behebt die Fehler, bei denen beide Container nach einem Neustart den Zugriff auf ihre Datenbanken verloren haben.
2026-03-06 13:07:34 +00:00
9ffcf41e8d fix: [30388f42] Korrigiere den Pfad zum Volume-Mount für connector_queue.db
- Aktualisiert den Pfad für das Volume-Mount der  in , um auf den neuen Speicherort im -Verzeichnis zu verweisen.
- Behebt den Fehler, bei dem der -Container nach einem Neustart auf eine leere Datenbank zugegriffen hat.
2026-03-06 13:04:31 +00:00
50ef577341 fix: [30388f42] Überspringe Jobs ohne ContactId oder PersonId
- Fügt eine Early-Exit-Bedingung zum Worker hinzu, um Jobs zu überspringen, die weder eine ContactId noch eine PersonId enthalten.
- Behebt das Problem, dass 'test.ping'-Jobs oder andere fehlerhafte Payloads zu 'FAILED'-Einträgen führen.
2026-03-06 12:48:33 +00:00
728b4e52f0 fix: [30388f42] Stelle Volume-Mount für connector_queue.db wieder her
- Fügt den expliziten Volume-Mount für die  in der  wieder hinzu.
- Die vorherige Entfernung dieser Zeile führte dazu, dass der Container nach einem  den Zugriff auf die existierende Datenbank verlor und eine neue, leere Datenbank erstellte.
2026-03-06 12:47:42 +00:00
6afe437fa5 fix: [30388f42] Bereinige docker-compose.yml und entferne überflüssige Volume-Mounts
- Entfernt fälschlicherweise gemountete einzelne DB-Dateien, da das gesamte Projekt-Verzeichnis bereits gemountet wird.
- Behebt potentielle Fehler durch fehlende Dateien wie .
2026-03-06 12:40:44 +00:00
d634b79cf0 fix: [30388f42] Korrigiere Syntaxfehler in docker-compose.yml
- Entfernt einen überflüssigen, leeren 'volumes:'-Block am Ende der Datei, der einen Validierungsfehler verursachte.
2026-03-06 12:37:11 +00:00
7d4e1d5aaa fix: [30388f42] Mache den Worker robust gegenüber gelöschten Entitäten
- Fügt eine  zum  hinzu, die bei einem HTTP 404 Fehler ausgelöst wird.
- Fängt diese  im  ab.
- Markiert Jobs, die sich auf nicht (mehr) existierende Kontakte oder Personen beziehen, als  anstatt .
- Dies verhindert, dass die Fehlerwarteschlange mit Jobs für gelöschte Entitäten überläuft, was das Hauptproblem der "failed"-Jobs löst.
2026-03-06 12:30:40 +00:00
846bfaf999 docs: [30388f42] Füge Git-Troubleshooting für Docker-Umgebung zu GEMINI.md hinzu
- Dokumentiert in GEMINI.md die Lösung für / Fehler in Docker-Containern.
- Beschreibt die Umstellung auf lokale IP-Adresse und token-basierte Authentifizierung für direkte Container-zu-Container-Kommunikation mit Gitea.
- Enthält detaillierte Schritte zur Konfiguration und Verifizierung der Git Remote URL.
2026-03-06 11:45:52 +00:00
680b237def refactor: [30388f42] Finale Komprimierung des Root-Verzeichnisses
- Konsolidiert Dockerfiles in .
- Verschiebt Datenbank- und Log-Dateien in .
- Organisiert Konfigurations- und Modelldateien in .
- Fasst Shell-Skripte in  zusammen.
- Verschiebt  nach .
- Verschiebt  nach .
- Das  Verzeichnis wurde in  verschoben.
- Behält Kern-Dateien (, , , ,  etc.) im Root-Verzeichnis, um die Lauffähigkeit zu gewährleisten.
2026-03-06 11:41:44 +00:00
3fc74922f2 Gruppenlisten_Output.txt gelöscht 2026-03-06 10:39:11 +00:00
6100d53cd2 technician_patterns.json gelöscht 2026-03-06 10:37:17 +00:00
1a134dcc41 update.log gelöscht 2026-03-06 10:36:54 +00:00
359065b94b xgb_model.json gelöscht 2026-03-06 10:36:05 +00:00
c2170f33a8 keyword_rules.json gelöscht 2026-03-06 10:35:53 +00:00
917ed6d2df n8n_workflow_identifyCompetitors.json gelöscht 2026-03-06 10:35:39 +00:00
5cd4a4cf94 HA_jbd_bms.yaml gelöscht 2026-03-06 10:35:09 +00:00
01b8c1bed2 HA_configuration.yaml gelöscht 2026-03-06 10:34:56 +00:00
47a8b6cc8b HA_automations.yaml gelöscht 2026-03-06 10:34:48 +00:00
9889a0efc8 0.8 gelöscht 2026-03-06 10:34:17 +00:00
1c90212768 FRITZbox7530.pdf gelöscht 2026-03-06 10:34:08 +00:00
d021b6b71c refactor: [30388f42] Strukturiere Root-Skripte thematisch neu
- Organisiert eine Vielzahl von Skripten aus dem Root-Verzeichnis in thematische Unterordner, um die Übersichtlichkeit zu verbessern und die Migration vorzubereiten.
- Verschiebt SuperOffice-bezogene Test- und Hilfsskripte in .
- Verschiebt Notion-bezogene Synchronisations- und Import-Skripte in .
- Archiviert eindeutig veraltete und ungenutzte Skripte in .
- Die zentralen Helfer  und  bleiben im Root, da sie von mehreren Tools als Abhängigkeit genutzt werden.
2026-03-06 10:16:08 +00:00
a89d1625d4 refactor: [30388f42] Entferne ungenutztes Projekt 'k-pop-thumbnail-genie'
- Löscht das gesamte Verzeichnis und die zugehörigen Dateien des 'k-pop-thumbnail-genie'-Projekts, da es nicht mehr benötigt wird.
2026-03-06 09:48:18 +00:00
6ca9fbbc69 docs: [30388f42] Füge zentrale README für archivierte Fotograf.de Tools hinzu
- Erstellt eine umfassende README.md im Verzeichnis .
- Beschreibt die Startprozeduren und Abhängigkeiten für den "Fotograf.de Scraper" und den "Google Docs Teilnehmerlisten-Generator".
- Enthält wichtige Hinweise zur manuellen Erstellung von Credentials-Dateien und die Notwendigkeit, diese in Zukunft über Umgebungsvariablen zu verwalten.
2026-03-06 09:14:47 +00:00
a2323167ff refactor: [30388f42] Archivierung der "Fotograf.de"-Projekte
- Identifiziert und isoliert die Skripte für den "Fotograf.de"-Scraper und den Google Docs-Listengenerator.
- Verschiebt die zugehörigen Dateien in ein neues Archivverzeichnis (), um sie von den aktiven Projekten zu trennen.
- Fügt -Dateien mit Dokumentation zur Ausführung und den Abhängigkeiten für jedes der archivierten Projekte hinzu.
2026-03-06 08:55:01 +00:00
bffd400878 feat: Structure documentation, archive legacy files and clean up docker-compose.yml [30388f42] 2026-03-05 21:30:16 +00:00
149d69c03d chore: Remove credential files before history rewrite 2026-03-05 21:11:57 +00:00
4cbd3fdc50 docs: Update GEMINI.md to reflect migration focus [30388f42] 2026-03-05 16:32:04 +00:00
ac3020728e [31188f42] Keine neuen Commits in dieser Session.
Keine neuen Commits in dieser Session.
2026-03-05 16:26:04 +00:00