Floke
771b06c1bc
Implements the core functionality for the AI-powered analysis of meeting transcripts in the Transcription Tool. This commit introduces a new 'AI Insights' feature that allows users to generate various summaries and analyses from a transcript on demand. - Creates a to manage and version different AI prompts for tasks like generating meeting minutes, extracting action items, and creating sales summaries. - Adds a new responsible for orchestrating the analysis process: fetching the transcript, calling the Gemini API with the appropriate prompt, and caching the results in the database. - Extends the FastAPI backend with a new endpoint to trigger the insight generation. - Updates the React frontend () with a new 'AI Insights' panel, including buttons to trigger the analyses and a modal to display the results. - Updates the documentation () to reflect the new features, API endpoints, and version.
3.3 KiB
3.3 KiB
Meeting Assistant (Transcription Tool)
Version: 0.6.0 Status: Beta (AI Insights Integration)
Der Meeting Assistant ist eine leistungsstarke Suite zur Transkription und Bearbeitung von Audio-Aufnahmen. Er kombiniert lokale FFmpeg-Verarbeitung mit der Gemini 2.0 Flash AI.
1. Architektur & Stack
- FFmpeg Engine: Automatisches Splitting großer Dateien in 30-Minuten-Segmente.
- Gemini 2.0 Flash: AI-Transkription mit Fokus auf JSON-Struktur (Sprecher, Timestamps) und zur Generierung von Meeting-Analysen.
- Prompt Library: Eine Sammlung von Vorlagen zur Steuerung der KI-Analyse.
- Structured Storage: SQLite speichert jedes Segment als editierbares JSON-Array und die Ergebnisse der KI-Analyse.
- Unified UI: Das Frontend fügt alle Segmente zu einem nahtlosen Dokument zusammen und bietet interaktive Analyse-Funktionen.
2. Key Features (v0.6.0)
🚀 NEU: AI Insights auf Knopfdruck
- Meeting-Protokoll: Erstellt automatisch ein formelles Protokoll (Meeting Minutes) mit Agenda, Entscheidungen und nächsten Schritten.
- Action Items: Extrahiert eine Aufgabenliste mit Verantwortlichen und Fälligkeiten direkt aus dem Gespräch.
- Rollenbasierte Zusammenfassungen: Generiert spezifische Zusammenfassungen, z.B. eine "Sales Summary", die sich auf Kundenbedürfnisse, Kaufsignale und nächste Schritte für das Vertriebsteam konzentriert.
🎙️ Intelligente Transkription
- Unterstützt MP3/WAV bis 500MB.
- Native Sprechererkennung und Zeitstempel-Normalisierung über Segmentgrenzen hinweg.
👥 Globales Sprecher-Management
- Speaker Bar: Eine Übersicht aller im Dokument gefundenen Sprecher.
- Global Rename: Mit einem Klick kann ein Sprecher (z.B. "Speaker A") im gesamten Dokument dauerhaft umbenannt werden (z.B. "Thomas").
✂️ Präzises Schneiden (Trimming)
- Trim Start: Löscht alles vor einer ausgewählten Zeile (ideal zum Entfernen von Vorgesprächen).
- Trim End: Löscht alles nach einer ausgewählten Zeile (entfernt Verabschiedungen).
- Single Line Delete: Einzelne Zeilen oder Störgeräusche können individuell entfernt werden.
📝 Editor & Export
- Inline-Edit: Jeder Textblock und jeder Sprechername kann durch direktes Anklicken korrigiert werden.
- Copy Full Transcript: Kopiert das gesamte, bereinigte Transkript inkl. Timestamps in die Zwischenablage.
- Copy Insights: Jedes Analyse-Ergebnis kann einfach in die Zwischenablage kopiert werden.
3. API Endpunkte
| Methode | Pfad | Beschreibung |
|---|---|---|
GET |
/meetings |
Liste aller Meetings. |
POST |
/upload |
Audio-Upload & Prozess-Start. |
POST |
/meetings/{id}/insights |
Neu: Generiert eine Analyse (z.B. Protokoll, Action Items). |
POST |
/meetings/{id}/rename_speaker |
Globale Umbenennung in der DB. |
PUT |
/chunks/{id} |
Speichert manuelle Text-Korrekturen. |
DELETE |
/meetings/{id} |
Vollständiges Löschen. |
4. Roadmap
- v0.7: Search: Globale Suche über alle Transkripte hinweg.
- v0.8: Q&A an das Meeting: Ermöglicht, Fragen direkt an das Transkript zu stellen ("Was wurde zu Thema X beschlossen?").
- v0.9: Export-Formate: Export der Ergebnisse in verschiedene Formate (z.B. PDF, DOCX).