310 lines
17 KiB
Markdown
310 lines
17 KiB
Markdown
# Migrations-Plan: Legacy GSheets -> Company Explorer (Robotics Edition v0.5.1)
|
|
|
|
**Kontext:** Neuanfang für die Branche **Robotik & Facility Management**.
|
|
**Ziel:** Ablösung von Google Sheets/CLI durch eine Web-App ("Company Explorer") mit SQLite-Backend.
|
|
|
|
## 1. Strategische Neuausrichtung
|
|
|
|
| Bereich | Alt (Legacy) | Neu (Robotics Edition) |
|
|
| :--- | :--- | :--- |
|
|
| **Daten-Basis** | Google Sheets | **SQLite** (Lokal, performant, filterbar). |
|
|
| **Ziel-Daten** | Allgemein / Kundenservice | **Robotics-Signale** (SPA-Bereich? Intralogistik? Werkschutz?). |
|
|
| **Branchen** | KI-Vorschlag (Freitext) | **Strict Mode:** Mapping auf feste CRM-Liste (z.B. "Hotellerie", "Maschinenbau"). |
|
|
| **Texterstellung** | Pain/Gain Matrix (Service) | **Pain/Gain Matrix (Robotics)**. "Übersetzung" des alten Wissens auf Roboter. |
|
|
| **Analytics** | Techniker-ML-Modell | **Deaktiviert**. Vorerst keine Relevanz. |
|
|
| **Operations** | D365 Sync (Broken) | **Excel-Import & Deduplizierung**. Fokus auf Matching externer Listen gegen Bestand. |
|
|
|
|
## 2. Architektur & Komponenten-Mapping
|
|
|
|
Das System wird in `company-explorer/` neu aufgebaut. Wir lösen Abhängigkeiten zur Root `helpers.py` auf.
|
|
|
|
### A. Core Backend (`backend/`)
|
|
|
|
| Komponente | Aufgabe & Neue Logik | Prio |
|
|
| :--- | :--- | :--- |
|
|
| **Database** | Ersetzt `GoogleSheetHandler`. Speichert Firmen & "Enrichment Blobs". | 1 |
|
|
| **Importer** | Ersetzt `SyncManager`. Importiert Excel-Dumps (CRM) und Event-Listen. | 1 |
|
|
| **Deduplicator** | Ersetzt `company_deduplicator.py`. **Kern-Feature:** Checkt Event-Listen gegen DB. Muss "intelligent" matchen (Name + Ort + Web). | 1 |
|
|
| **Scraper (Base)** | Extrahiert Text von Websites. Basis für alle Analysen. | 1 |
|
|
| **Signal Detector** | **NEU.** Analysiert Website-Text auf Roboter-Potential. <br> *Logik:* Wenn Branche = Hotel & Keyword = "Wellness" -> Potential: Reinigungsroboter. | 1 |
|
|
| **Classifier** | Brancheneinstufung. **Strict Mode:** Prüft gegen `config/allowed_industries.json`. | 2 |
|
|
| **Marketing Engine** | Ersetzt `generate_marketing_text.py`. Nutzt neue `marketing_wissen_robotics.yaml`. | 3 |
|
|
|
|
### B. Frontend (`frontend/`) - React
|
|
|
|
* **View 1: Der "Explorer":** DataGrid aller Firmen. Filterbar nach "Roboter-Potential" und Status.
|
|
* **View 2: Der "Inspector":** Detailansicht einer Firma. Zeigt gefundene Signale ("Hat SPA Bereich"). Manuelle Korrektur-Möglichkeit.
|
|
* **View 3: "List Matcher":** Upload einer Excel-Liste -> Anzeige von Duplikaten -> Button "Neue importieren".
|
|
|
|
## 3. Umgang mit Shared Code (`helpers.py` & Co.)
|
|
|
|
Wir kapseln das neue Projekt vollständig ab ("Fork & Clean").
|
|
|
|
* **Quelle:** `helpers.py` (Root)
|
|
* **Ziel:** `company-explorer/backend/lib/core_utils.py`
|
|
* **Aktion:** Wir kopieren nur:
|
|
* OpenAI/Gemini Wrapper (Retry Logic).
|
|
* Text Cleaning (`clean_text`, `normalize_string`).
|
|
* URL Normalization.
|
|
|
|
* **Quelle:** Andere Gemini Apps (`duckdns`, `gtm-architect`, `market-intel`)
|
|
* **Aktion:** Wir betrachten diese als Referenz. Nützliche Logik (z.B. die "Grit"-Prompts aus `market-intel`) wird explizit in die neuen Service-Module kopiert.
|
|
|
|
## 4. Datenstruktur (SQLite Schema)
|
|
|
|
### Tabelle `companies` (Stammdaten)
|
|
* `id` (PK)
|
|
* `name` (String)
|
|
* `website` (String)
|
|
* `crm_id` (String, nullable - Link zum D365)
|
|
* `industry_crm` (String - Die "erlaubte" Branche)
|
|
* `city` (String)
|
|
* `country` (String - Standard: "DE" oder aus Impressum)
|
|
* `status` (Enum: NEW, IMPORTED, ENRICHED, QUALIFIED)
|
|
|
|
### Tabelle `signals` (Roboter-Potential)
|
|
* `company_id` (FK)
|
|
* `signal_type` (z.B. "has_spa", "has_large_warehouse", "has_security_needs")
|
|
* `confidence` (Float)
|
|
* `proof_text` (Snippet von der Website)
|
|
|
|
### Tabelle `contacts` (Ansprechpartner)
|
|
* `id` (PK)
|
|
* `account_id` (FK -> companies.id)
|
|
* `gender` (Selection: "männlich", "weiblich")
|
|
* `title` (Text, z.B. "Dr.")
|
|
* `first_name` (Text)
|
|
* `last_name` (Text)
|
|
* `email` (Email)
|
|
* `job_title` (Text - Visitenkarte)
|
|
* `language` (Selection: "De", "En")
|
|
* `role` (Selection: "Operativer Entscheider", "Infrastruktur-Verantwortlicher", "Wirtschaftlicher Entscheider", "Innovations-Treiber")
|
|
* `status` (Selection: Siehe Prozess-Status)
|
|
* `is_primary` (Boolean - Nur einer pro Account)
|
|
|
|
### Tabelle `industries` (Branchen-Fokus)
|
|
* `id` (PK)
|
|
* `name` (String, Unique)
|
|
* `description` (Text - Abgrenzung/Definition)
|
|
* `is_focus` (Boolean)
|
|
* `primary_category_id` (FK -> robotics_categories.id)
|
|
|
|
### Tabelle `job_role_mappings` (Rollen-Logik)
|
|
* `id` (PK)
|
|
* `pattern` (String - Regex oder Text-Pattern für Jobtitles)
|
|
* `role` (String - Zielrolle im Verkaufsprozess)
|
|
|
|
### Tabelle `duplicates_log`
|
|
* Speichert Ergebnisse von Listen-Abgleichen ("Upload X enthielt 20 bekannte Firmen").
|
|
|
|
## 5. Phasenplan Umsetzung
|
|
|
|
1. **Housekeeping:** Archivierung des Legacy-Codes (`_legacy_gsheets_system`).
|
|
2. **Setup:** Init `company-explorer` (Backend + Frontend Skeleton).
|
|
3. **Foundation:** DB-Schema + "List Matcher" (Deduplizierung ist Prio A für Operations).
|
|
4. **Enrichment:** Implementierung des Scrapers + Signal Detector (Robotics).
|
|
5. **UI:** React Interface für die Daten.
|
|
6. **CRM-Features:** Contacts Management & Marketing Automation Status.
|
|
|
|
## 6. Spezifikation: Contacts & Marketing Status (v0.5.0)
|
|
|
|
*(Hinzugefügt am 15.01.2026)*
|
|
|
|
**Konzept:**
|
|
Contacts stehen in 1:n Beziehung zu Accounts. Accounts können einen "Primary Contact" haben.
|
|
|
|
**Datenfelder:**
|
|
* **Geschlecht:** Selection (männlich / weiblich)
|
|
* **Vorname:** Text
|
|
* **Nachname:** Text
|
|
* **E-Mail:** Type: E-Mail
|
|
* **Jobtitle:** Text (Titel auf der Visitenkarte)
|
|
* **Sprache:** Selection (De / En)
|
|
|
|
**Rollen (Funktion im Verkaufsprozess):**
|
|
* Operativer Entscheider
|
|
* Infrastruktur-Verantwortlicher
|
|
* Wirtschaftlicher Entscheider
|
|
* Innovations-Treiber
|
|
|
|
**Status (Marketing Automation):**
|
|
* *Manuell:*
|
|
* Soft Denied (freundliche Absage)
|
|
* Bounced (E-Mail invalide)
|
|
* Redirect (ist nicht verantwortlich)
|
|
* Interested (ist interessiert)
|
|
* Hard denied (nicht mehr kontaktieren)
|
|
* *Automatisch:*
|
|
* Init (Kontakt soll in die Automation hineinlaufen)
|
|
* 1st Step (Kontakt hat die erste Nachricht erhalten)
|
|
* 2nd Step (Kontakt hat die zweite Nachricht erhalten)
|
|
* Not replied (Kontakt hat die dritte Nachricht erhalten und nicht geantwortet)
|
|
|
|
**Branchen-Fokus (Settings):**
|
|
* **Name:** Eindeutiger Name der Branche (CRM-Mapping).
|
|
* **Beschreibung:** Textuelle Abgrenzung, was zu dieser Branche gehört.
|
|
* **Is Focus:** Markiert Branchen, die prioritär bearbeitet werden.
|
|
* **Primäre Produktkategorie:** Zuordnung einer Robotics-Kategorie (z.B. Hotel -> Cleaning).
|
|
|
|
**Job-Rollen Mapping (Settings):**
|
|
* **Pattern:** Text-Muster (z.B. "Technischer Leiter", "CTO"), das in Jobtitles gesucht wird.
|
|
* **Zugeordnete Rolle:** Die funktionale Interpretation (z.B. Operativer Entscheider).
|
|
|
|
## 7. Historie & Fixes (Jan 2026)
|
|
|
|
* **[UPGRADE] v0.5.1: Robustness, UI Fixes & Wikipedia Hardening**
|
|
* **[FIX] Critical DB Schema Mismatch (Jan 15, 2026):**
|
|
* **Problem:** Die Anwendung stürzte beim Zugriff auf Firmendetails mit `OperationalError: no such column: wiki_verified_empty` ab.
|
|
* **Ursache:** Eine nicht committete Code-Änderung hatte das DB-Modell in `database.py` erweitert, die physische Datenbank-Datei (`companies_v3_final.db`) war jedoch nicht migriert worden und dazu komplett leer/korrupt.
|
|
* **Lösung:** Um die Anwendung schnell wieder lauffähig zu bekommen, wurde in `config.py` der `DATABASE_URL` auf einen neuen Dateinamen (`companies_v3_fixed_2.db`) geändert. Dies zwang die App, beim Start eine neue, leere Datenbank mit dem korrekten, aktuellen Schema zu erstellen. Auf eine Datenmigration aus der alten, leeren Datei wurde verzichtet.
|
|
* **Standort-Fix (4B AG):** Die Backend-Logik wurde an entscheidenden Stellen (`run_analysis_task`, `override_impressum_url`) mit detailliertem Logging versehen und korrigiert, um sicherzustellen, dass `city` und `country` aus Impressums-Daten zuverlässig in die Haupt-Firmentabelle (`companies`) übernommen werden. Dies löst das Problem, dass Standorte im Inspector, aber nicht in der Übersicht angezeigt wurden.
|
|
* **Wikipedia "Verified Empty":**
|
|
* **Backend:** Implementierung einer `wiki_verified_empty` Flag in der Datenbank, um Firmen ohne Wikipedia-Eintrag dauerhaft zu markieren. Der `DiscoveryService` überspringt diese Einträge nun.
|
|
* **Frontend:** Ein neuer Button im Inspector erlaubt das manuelle Setzen dieses Status.
|
|
* **Robuste Wikipedia-Suche:** Die Namens-Normalisierungslogik aus dem Legacy-System wurde vollständig in den `DiscoveryService` reintegriert. Dies ermöglicht eine deutlich höhere Trefferquote bei Firmennamen mit unterschiedlichen Rechtsformen (z.B. "Therme Erding Service GmbH" -> "Therme Erding").
|
|
* **UI-Fix (Sort & View):** Die Frontend-Tabellen (`CompanyTable`, `ContactsTable`) wurden grundlegend überarbeitet, um die zuvor fehlenden **Sortier-Dropdowns** und **Grid/List-View-Toggles** korrekt und zuverlässig anzuzeigen. Die Standard-Sortierung ist nun "Alphabetisch".
|
|
|
|
* **[UPGRADE] v0.5.0: Contacts, Settings & UI Overhaul**
|
|
* **Contacts Management:**
|
|
* Implementierung einer globalen Kontakt-Liste (`ContactsTable`) mit Such- und Filterfunktionen.
|
|
* Detail-Bearbeitung von Kontakten direkt im Inspector (Click-to-Edit).
|
|
* Bulk-Import-Funktion für Kontakte (CSV-basiert) mit automatischer Firmen-Erstellung und Dubletten-Prüfung (E-Mail).
|
|
* Erweiterte Felder: Akademischer Titel, differenzierte Rollen (Operativ, Strategisch etc.) und Marketing-Status.
|
|
* **UI Modernisierung:**
|
|
* **Light Mode:** Vollständige Unterstützung für Hell/Dunkel-Modus mit Toggle im Header.
|
|
* **Grid View:** Umstellung der Firmen-Liste auf eine kartenbasierte Ansicht (analog zu Kontakten).
|
|
* **Responsive Design:** Optimierung des Inspectors und der Navigation für mobile Endgeräte.
|
|
* **Erweiterte Settings:**
|
|
* Neue Konfigurations-Tabs für **Branchen** (Industries) und **Job-Rollen**.
|
|
* CRUD-Operationen für Branchen (inkl. Auto-Increment bei Namensgleichheit).
|
|
* **Bugfixes:**
|
|
* Korrektur des API-Pfads für manuelle Impressum-Updates.
|
|
* Stabilisierung der Datenbank-Logik bei Unique-Constraints.
|
|
* Optimierung der Anzeige von "Unknown, DE" in der Firmenliste (wird nun ausgeblendet, solange keine Stadt bekannt ist).
|
|
|
|
* **[UPGRADE] v0.4.0: Export & Manual Impressum**
|
|
* **JSON Export:** Erweiterung der Detailansicht um einen "Export JSON"-Button, der alle Unternehmensdaten (inkl. Anreicherungen und Signale) herunterlädt.
|
|
* **Zeitstempel:** Anzeige des Erstellungsdatums für jeden Anreicherungsdatensatz (Wikipedia, AI Dossier, Impressum) in der Detailansicht.
|
|
* **Manuelle Impressum-URL:** Möglichkeit zur manuellen Eingabe einer Impressum-URL in der Detailansicht, um die Extraktion von Firmendaten zu erzwingen.
|
|
* **Frontend-Fix:** Behebung eines Build-Fehlers (`Unexpected token`) in `Inspector.tsx` durch Entfernung eines duplizierten JSX-Blocks.
|
|
|
|
* **[UPGRADE] v2.6.2: Report Completeness & Edit Mode**
|
|
* **Edit Hard Facts:** Neue Funktion in Phase 1 ("Edit Raw Data") erlaubt die manuelle Korrektur der extrahierten technischen JSON-Daten.
|
|
* **Report-Update:** Phase 5 Prompt wurde angepasst, um explizit die Ergebnisse aus Phase 2 (ICPs & Data Proxies) im finalen Report aufzuführen.
|
|
* **Backend-Fix:** Korrektur eines Fehlers beim Speichern von JSON-Daten, der auftrat, wenn Datenbank-Inhalte als Strings vorlagen.
|
|
|
|
* **[UPGRADE] v2.6.1: Stability & UI Improvements**
|
|
* **White Screen Fix:** Robuste Absicherung des Frontends gegen `undefined`-Werte beim Laden älterer Sitzungen (`optional chaining`).
|
|
* **Session Browser:** Komplettes Redesign der Sitzungsübersicht zu einer übersichtlichen Listenansicht mit Icons (Reinigung/Service/Transport/Security).
|
|
* **URL-Anzeige:** Die Quell-URL wird nun als dedizierter Link angezeigt und das Projekt automatisch basierend auf dem erkannten Produktnamen umbenannt.
|
|
|
|
* **[UPGRADE] v2.6: Rich Session Browser**
|
|
* **Neues UI:** Die textbasierte Liste für "Letzte Sitzungen" wurde durch eine dedizierte, kartenbasierte UI (`SessionBrowser.tsx`) ersetzt.
|
|
* **Angereicherte Daten:** Jede Sitzungskarte zeigt nun den Produktnamen, die Produktkategorie (mit Icon), eine Kurzbeschreibung und einen Thumbnail-Platzhalter an.
|
|
* **Backend-Anpassung:** Die Datenbankabfrage (`gtm_db_manager.py`) wurde erweitert, um diese Metadaten direkt aus der JSON-Spalte zu extrahieren und an das Frontend zu liefern.
|
|
* **Verbesserte UX:** Deutlich verbesserte Übersichtlichkeit und schnellere Identifikation von vergangenen Analysen.
|
|
|
|
* **[UPGRADE] v2.5: Hard Fact Extraction**
|
|
* **Phase 1 Erweiterung:** Implementierung eines sekundären Extraktions-Schritts für "Hard Facts" (Specs).
|
|
* **Strukturiertes Daten-Schema:** Integration von `templates/json_struktur_roboplanet.txt`.
|
|
* **Normalisierung:** Automatische Standardisierung von Einheiten (Minuten, cm, kg, m²/h).
|
|
* **Frontend Update:** Neue UI-Komponente zur Anzeige der technischen Daten (Core Data, Layer, Extended Features).
|
|
* **Sidebar & Header:** Update auf "ROBOPLANET v2.5".
|
|
|
|
* **[UPGRADE] v2.4:**
|
|
* Dokumentation der Kern-Engine (`helpers.py`) mit Dual SDK & Hybrid Image Generation.
|
|
* Aktualisierung der Architektur-Übersicht und Komponenten-Beschreibungen.
|
|
* Versionierung an den aktuellen Code-Stand (`v2.4.0`) angepasst.
|
|
|
|
* **[UPGRADE] v2.3:**
|
|
* Einführung der Session History (Datenbank-basiert).
|
|
* Implementierung von Markdown-Cleaning (Stripping von Code-Blocks).
|
|
* Prompt-Optimierung für tabellarische Markdown-Ausgaben in Phase 5.
|
|
* Markdown-File Import Feature.
|
|
|
|
## 8. Eingesetzte Prompts (Account-Analyse)
|
|
|
|
Dieser Abschnitt dokumentiert die Prompts, die im Backend des **Company Explorers** zur automatisierten Analyse von Unternehmensdaten eingesetzt werden.
|
|
|
|
### 8.1 Impressum Extraktion (aus `services/scraping.py`)
|
|
|
|
Dient der Extraktion strukturierter Stammdaten aus dem rohen Text der Impressums-Seite.
|
|
|
|
**Prompt:**
|
|
|
|
```python
|
|
prompt = f"""
|
|
Extract the official company details from this German 'Impressum' text.
|
|
Return JSON ONLY. Keys: 'legal_name', 'street', 'zip', 'city', 'country_code', 'email', 'phone', 'ceo_name', 'vat_id'.
|
|
'country_code' should be the two-letter ISO code (e.g., "DE", "CH", "AT").
|
|
If a field is missing, use null.
|
|
|
|
Text:
|
|
{raw_text}
|
|
"""
|
|
```
|
|
|
|
**Variablen:**
|
|
* **`raw_text`**: Der bereinigte HTML-Text der gefundenen Impressums-URL (max. 10.000 Zeichen).
|
|
|
|
---
|
|
|
|
### 8.2 Robotics Potential Analyse (aus `services/classification.py`)
|
|
|
|
Der Kern-Prompt zur Bewertung des Automatisierungspotenzials. Er fasst das Geschäftsmodell zusammen, prüft auf physische Infrastruktur und bewertet spezifische Robotik-Anwendungsfälle.
|
|
|
|
**Prompt:**
|
|
|
|
```python
|
|
prompt = f"""
|
|
You are a Senior B2B Market Analyst for 'Roboplanet', a specialized robotics distributor.
|
|
Your task is to analyze the target company based on their website text and create a concise **Dossier**.
|
|
|
|
--- TARGET COMPANY ---
|
|
Name: {company_name}
|
|
Website Content (Excerpt):
|
|
{website_text[:20000]}
|
|
|
|
--- ALLOWED INDUSTRIES (STRICT) ---
|
|
You MUST assign the company to exactly ONE of these industries. If unsure, choose the closest match or "Sonstige".
|
|
{json.dumps(self.allowed_industries, ensure_ascii=False)}
|
|
|
|
--- ANALYSIS PART 1: BUSINESS MODEL ---
|
|
1. Identify the core products/services.
|
|
2. Summarize in 2-3 German sentences: What do they do and for whom? (Target: "business_model")
|
|
|
|
--- ANALYSIS PART 2: INFRASTRUCTURE & POTENTIAL (Chain of Thought) ---
|
|
1. **Infrastructure Scan:** Look for evidence of physical assets like *Factories, Large Warehouses, Production Lines, Campuses, Hospitals*.
|
|
2. **Provider vs. User Check:**
|
|
- Does the company USE this infrastructure (Potential Customer)?
|
|
- Or do they SELL products for it (Competitor/Partner)?
|
|
- *Example:* "Cleaning" -> Do they sell soap (Provider) or do they have a 50,000sqm factory (User)?
|
|
3. **Evidence Extraction:** Extract 1-2 key sentences from the text proving this infrastructure. (Target: "infrastructure_evidence")
|
|
|
|
--- ANALYSIS PART 3: SCORING (0-100) ---
|
|
Based on the identified infrastructure, score the potential for these categories:
|
|
|
|
{category_guidance}
|
|
|
|
--- OUTPUT FORMAT (JSON ONLY) ---
|
|
{{
|
|
"industry": "String (from list)",
|
|
"business_model": "2-3 sentences summary (German)",
|
|
"infrastructure_evidence": "1-2 key sentences proving physical assets (German)",
|
|
"potentials": {{
|
|
"cleaning": {{ "score": 0-100, "reason": "Reasoning based on infrastructure." }},\
|
|
"transport": {{ "score": 0-100, "reason": "Reasoning based on logistics volume." }},\
|
|
"security": {{ "score": 0-100, "reason": "Reasoning based on perimeter/assets." }},\
|
|
"service": {{ "score": 0-100, "reason": "Reasoning based on guest interaction." }}\
|
|
}}\
|
|
}}
|
|
"""
|
|
```
|
|
|
|
**Variablen:**
|
|
* **`company_name`**: Name des Unternehmens.
|
|
* **`website_text`**: Der gescrapte Text der Hauptseite (max. 20.000 Zeichen).
|
|
* **`allowed_industries`**: Dynamisch geladene Liste der erlaubten Branchen aus der Datenbanktabelle `industries` (konfiguriert via Settings > Industry Focus).
|
|
* **`category_guidance`**: Dynamisch generierte Definitionen und Scoring-Regeln für die Robotik-Kategorien (aus der Datenbank).
|
|
|