- Regulärer Modus (1): Bearbeitet nur Zeilen ohne Wikipedia- (Spalte AM) bzw. ChatGPT-Timestamp (Spalte AN)
- Re-Evaluierungsmodus (2): Verarbeitet nur Zeilen mit "x" in Spalte A
- Alignment-Demo (3): Schreibt neuen Header in Haupt- und Contacts-Blatt
- Modus 4: Nur Wikipedia-Suche, Modus 5: Nur ChatGPT-Bewertung
- Modus 6: Contact Research via SerpAPI; Spalten AH-AK aktualisieren und AL als Timestamp setzen
- Neue Header-Spalten: AH (Serviceleiter), AI (IT-Leiter), AJ (Management), AK (Disponent), AL (Contact Search Timestamp), AM (Wikipedia Timestamp), AN (ChatGPT Timestamp), AO (Version)
- Alle bisherigen Funktionen bleiben erhalten
- Neuer Modus 5 (contacts_alignment_demo) führt einen Schreibtest auf dem Contacts-Sheet durch
- Spalten AH und AI werden nun getrennt als Timestamp für Wiki-Update bzw. ChatGPT-Bewertung geführt; restliche Spalten um eine Position verschoben
- Debug-Ausgaben wurden erweitert, um den Ablauf und die Ergebnisse besser nachvollziehen zu können
- Beibehaltung aller Funktionen aus früheren Versionen (Modi 1-3, LinkedIn Contacts)
- Neuer Modus 4 implementiert, der ausschließlich Wikipedia-Suchen ausführt und keine ChatGPT-Anfragen stellt
- Debug-Ausgaben wurden verbessert, um den Ablauf und die Ergebnisse besser nachvollziehen zu können
- Startindex wird anhand des letzten Timestamps in Spalte AH korrekt ermittelt, sodass bestehende Datensätze nicht überschrieben werden
- Alle bisherigen Funktionen aus v1.3.6 bleiben erhalten
- Neuer Modus 4 wurde implementiert, der ausschließlich Wikipedia-Suchen durchführt ohne ChatGPT-Anfragen
- Modus 5 ermöglicht die LinkedIn-Kontaktsuche via SerpApi
- Debug-Ausgaben wurden in allen Funktionen verbessert, sodass der Ablauf und die Ergebnisse besser nachvollzogen werden können
- Der Startindex wird anhand des letzten Timestamps in Spalte AH korrekt ermittelt, sodass bestehende Datensätze nicht überschrieben werden
- Implemented new mode 4 that performs only Wikipedia searches without ChatGPT requests
- process_wikipedia_only() updates columns K–Q, AH, and AI in the main sheet
- Retained existing functions for modes 1–3 and improved debug output for tracing
- Provided complete commit summary and description format with "- " as prefix
Ersetze in deinem Skript den bisherigen Codeabschnitt, der den neuen Modus für die LinkedIn-Kontaktsuche (Modus 4) implementiert hat – also den gesamten Bereich ab der Definition von def search_linkedin_contact(...) bis zum Ende der Funktion def process_contacts(): – durch den oben stehenden Code.
Diese Funktionen liegen in der Sektion „NEUER MODUS: CONTACTS“ (ungefähr im mittleren Bereich deines Skripts, direkt vor dem Main-Programm).
Die zusätzlichen Debug-Ausgaben sorgen dafür, dass du in der Konsole und in der Log-Datei siehst, welche Firmen gerade verarbeitet werden, welche Suchanfragen erstellt werden und welche Ergebnisse (bzw. ob ein Kontakt gefunden wurde) zurückkommen.
Neuer Modus (4) zur Suche von LinkedIn-Kontakten via SerpApi, Ausgabe im Tabellenblatt "Contacts" mit den Spalten Firmenname, Website, Vorname, Nachname, Position.
Bugfix: Im regulären Modus (1) wird jetzt ab dem letzten Timestamp in Spalte AH nur noch die angegebene Anzahl an Zeilen verarbeitet.
Bugfix: Bestehende Datensätze (mit Timestamp in AH) werden nicht überschrieben, es wird ab der ersten leeren Zeile gestartet.
Weitere Anpassungen bei den bisherigen Funktionen (FSM, Servicetechniker-Schätzung) bleiben erhalten.
Der Dekorator retry_on_failure wurde oben im Code definiert.
Wikipedia-Artikelvorschlag aus Spalte K wird bevorzugt genutzt.
Nach dem Schreiben der Wiki-Daten wird geprüft, ob das Update abgeschlossen ist, mit einer 3‑Sekunden-Pause.
Der FSM-Eignungsparser wurde flexibler angepasst, sodass auch freie Antworten erkannt werden.
Bei Abweichungen in der Servicetechniker-Schätzung wird jetzt zusätzlich eine detaillierte Erklärung von ChatGPT angefordert.
Die Spalten AF und AG werden mit "XX" befüllt.
Alle Debug-Ausgaben werden automatisch in einer Log-Datei im Ordner "Log" gespeichert, deren Name Datum, Uhrzeit und Versionsnummer enthält.
Wikipedia-Artikelvorschlag aus Spalte K wird bevorzugt genutzt.
Nach dem Schreiben der Wikipedia-Daten wird überprüft, ob das Update abgeschlossen ist (mit einer max. 5‑s‑Wartezeit) und es folgt eine 3‑s Pause.
Der FSM-Eignungsparser wurde angepasst, um auch freiere Antworten zu verarbeiten.
Bei Diskrepanzen in der Servicetechniker-Schätzung wird nun zusätzlich eine detaillierte Erklärung von ChatGPT angefordert.
Die Spalten AF und AG werden vorerst mit "XX" befüllt.
Alle Debug-Ausgaben werden automatisch in einer Log-Datei im Ordner "Log" mit Datum und Versionsnummer gespeichert.
Bevorzugter Wikipedia-Artikel aus Spalte K wird genutzt.
Nach dem Schreiben der Wiki-Daten erfolgt eine 3-Sekunden-Pause.
Neue Funktion zur FSM-Eignungsprüfung (Spalte Y/Z) integriert.
Neue Servicetechniker-Schätzung (Spalte AD) und Vergleich mit interner Angabe (Spalte AE) hinzugefügt.
Versionsnummer wurde auf v1.3.4 aktualisiert.
Neue Funktion zur Branchenzuordnung hinzugefügt. ChatGPT bewertet basierend auf CRM, Wikipedia-Daten und Fokusbranchen. Spalten V, W und X werden entsprechend aktualisiert. Versionsnummer wurde auf v1.3.2 aktualisiert.
Validierung:
Eine neue Funktion validate_company_data erstellt einen Prompt für die ChatGPT-API, in dem die relevanten CRM- und Wikipedia-Daten (Firmenname, Umsatz, Mitarbeiter, Branche) verglichen werden. Je nach Antwort wird „OK“ oder „X“ sowie eine Begründung zurückgegeben.
Alternative Suche:
Falls eine Inkonsistenz festgestellt wird (Validierung ergibt „X“), wird in der Funktion find_alternative_wikipedia_article nach einem alternativen Wikipedia-Artikel gesucht und dessen URL in Spalte T geschrieben.
Spalten R, S, T:
Die Ergebnisse der Validierung (Flag und Begründung) werden in Spalte R und S ausgegeben, während bei Inkonsistenz der alternative Artikel in Spalte T hinterlegt wird.
Validierungsschritt:
Die neue Funktion validate_article_with_chatgpt(crm_data, wiki_data) aggregiert die CRM-Daten (Spalten B–J) und die Wikipedia-Daten (Spalten L–Q) als CSV-Text. Der erstellte Prompt teilt ChatGPT mit, dass beide Datensätze verglichen werden sollen, um zu prüfen, ob sie zum selben Unternehmen gehören.
– Wichtige Vergleichskriterien sind der Firmenname, Ort und Branche (die Umsatzangaben können toleriert werden).
– Das Ergebnis (z. B. "OK" oder eine Begründung) wird in Spalte R (Konsistenzprüfung) gespeichert.
Integration:
Der Validierungsschritt wird direkt in _process_single_row nach dem Aktualisieren der Wikipedia-Daten ausgeführt. Eine 1‑Sekunden-Pause wurde eingebaut, um sicherzustellen, dass die Daten in Google Sheets aktualisiert sind, bevor die Validierung erfolgt.
Logging:
Ausführliche Debug-Ausgaben helfen dabei, den Vergleich und eventuelle Fehler zu überwachen.
Verbesserte numerische Extraktion:
Die Funktion extract_numeric_value wurde erweitert, um den Eingabetext zuerst mittels Unicode‑Normalisierung zu säubern.
Eine robustere Regex (r'([\d]+(?:[.,]\d+)*)') wurde eingeführt, um Zahlen zuverlässig zu erfassen.
Die extrahierte Zahl wird normalisiert (Standard-Komma und Punkt) und dann konvertiert.
Debug-Ausgabe: Es werden zusätzliche Debug-Nachrichten ausgegeben, die die bereinigten Vergleichswerte vor der Konversion anzeigen.
Pause: Eine 1‑Sekunden‑Pause wurde nach dem Speichern der Wikipedia-Daten in Google Sheets eingefügt, um sicherzustellen, dass die Werte tatsächlich ankommen.
Robuste numerische Extraktion:
Die Funktion extract_numeric_value wurde erweitert, um führende und umgebende Texte zu entfernen. Kommas werden je nach Kontext als Dezimaltrennzeichen oder Tausendertrennzeichen behandelt.
Verbesserte Vergleichslogik:
Vor dem Vergleich werden die bereinigten Werte geloggt. Falls einer der Werte nicht in einen Float konvertiert werden kann, wird "Daten unvollständig" zurückgegeben.
Erweiterte Debug-Ausgabe:
Log-Ausgaben zeigen jetzt explizit die bereinigten Vergleichswerte für CRM- und Wikipedia-Umsätze.
Pause zur Datensynchronisation:
Eine einsekündige Pause wurde nach dem Schreiben in Google Sheets eingeführt, um
• Neue Funktionen parse_currency_value und parse_employee_value extrahieren und wandeln Umsatz- bzw. Mitarbeiterzahlen korrekt um.
• Tausenderpunkte werden entfernt und Kommas als Dezimaltrenner ersetzt.
• Skalierung: Bei "mrd." wird der Wert mit 1000 multipliziert, bei "mio." bleibt er unverändert, andernfalls wird angenommen, dass der Wert in Euro vorliegt und durch 1e6 geteilt wird.
• Im Vergleichsabschnitt werden die zu vergleichenden Werte vor dem Versuch der Umwandlung geloggt.
• Es wird eine 1-Sekunden-Pause nach dem Schreiben in Google Sheets eingefügt, um sicherzustellen, dass die Daten übernommen wurden.
Verbesserte Numerische Extraktion:
In extract_numeric_value werden nun führende Nicht-Ziffern entfernt. Es wird unterschieden, ob ein Komma als Dezimaltrennzeichen oder als Tausendertrenner genutzt wird. Dadurch werden Werte wie "2,395 Mrd. Euro" korrekt in 2395 Mio. Euro umgerechnet und Mitarbeiterzahlen wie "ca. 800" werden korrekt extrahiert.
Erweiterte Debug-Ausgabe:
Die bereinigten Vergleichswerte für CRM- und Wikipedia-Umsätze werden im Log ausgegeben, um Formatierungsprobleme schneller zu erkennen.
Fallback-Handling:
Bei fehlerhafter Umwandlung wird der Originaltext als Fallback zurückgegeben.
Erweiterte String-Bereinigung:
Zusätzliche Ersetzungen in extract_numeric_value (Entfernung von "ca.", "circa", "etwa", "über", "rund") zur robusteren Extraktion numerischer Werte aus Rohtexten.
Fallback-Handling:
Bei Fehlern in der Umwandlung wird der Originaltext oder "k.A." als Fallback ausgegeben.
Zusätzliche Debug-Ausgabe:
Vor dem Vergleich der CRM- und Wikipedia-Umsätze werden die bereinigten Werte im Debug-Log ausgegeben.
Kurze Pause (1 Sekunde):
Eine 1-Sekunden-Pause wird nach dem Update in Google Sheets eingefügt, um sicherzustellen, dass die Werte vor dem Vergleich vollständig gespeichert sind.
1-Sekunden-Pause:
Nach dem Update der Wikipedia-Daten in Google Sheets wird eine 1-Sekunden-Pause eingefügt, um sicherzustellen, dass die Zellen aktualisiert wurden, bevor der Umsatzvergleich erfolgt.
Zusätzliche Debug-Ausgabe:
Vor dem Vergleich werden die CRM-Umsatz- und Wikipedia-Umsatzwerte im Debug-Log ausgegeben, um besser nachvollziehen zu können, welche Werte verglichen werden.
Umsatz-Abgleich:
Die Funktion compare_umsatz_values vergleicht den in Spalte I (CRM) hinterlegten Umsatz mit dem aus Wikipedia extrahierten Umsatz. Bei Abweichungen wird eine entsprechende Meldung in Spalte AG ausgegeben.
ChatGPT API Integration:
Die Funktion evaluate_umsatz_chatgpt liest den API-Key aus api_key.txt und fragt ChatGPT zur Schätzung des Umsatzes in Mio. € basierend auf dem Firmennamen und Wikipedia-Umsatz.
Das Ergebnis wird in Spalte AF ("Schätzung Umsatz ChatGPT") geschrieben.
Umsatz-Vergleich:
Die Funktion compare_umsatz_values vergleicht den CRM-Umsatz (Spalte I) mit dem Wikipedia-Umsatz (Spalte O).
Das Vergleichsergebnis ("OK" oder eine Abweichungsangabe) wird in Spalte AG ("Begründung für Abweichung Umsatz") eingetragen.
Spaltenzuordnung & Alignment:
Das neue Spaltenschema wird weiterhin über den Alignment-Demo-Modus (Modus 3) getestet.
ChatGPT API Integration:
Neue Funktion evaluate_umsatz_chatgpt liest den API-Token aus der Datei api_key.txt und sendet einen strukturierten Prompt an die ChatGPT API.
Der Prompt fordert zur Schätzung des Umsatzes in Mio. Euro auf Basis des Unternehmensnamens und der Wikipedia-Umsatzangabe auf.
Das Ergebnis (nur eine Zahl) wird verarbeitet und in Spalte AF (Schätzung Umsatz ChatGPT) eingetragen.
Update der DataProcessor-Logik:
Nach der Aktualisierung der Wikipedia-Daten (Spalten K bis Q) wird die ChatGPT-API-Funktion aufgerufen, um den Umsatz zu evaluieren, und das Ergebnis in Spalte AF geschrieben.
Zusammenfassung der Änderungen (v1.2.2 → v1.2.3)
Neues Spaltenschema:
Die neue Spaltenzuordnung wurde gemäß der CSV-Vorlage umgesetzt. Die relevanten Felder aus Wikipedia werden jetzt in:
Spalte K: Vorschlag Wiki URL (Platzhalter "k.A.")
Spalte L: Wikipedia URL
Spalte M: Wikipedia Absatz
Spalte N: Wikipedia Branche
Spalte O: Wikipedia Umsatz
Spalte P: Wikipedia Mitarbeiter
Spalte Q: Wikipedia Kategorien
geschrieben.
Timestamp & Version:
Der Timestamp wird in Spalte AH und die Version in Spalte AI aktualisiert.
Alignment-Demo:
Der Alignment-Demo-Modus (Option 3) schreibt nun die neuen Spaltenüberschriften in den Range A11200:AI11200 (34 Spalten entsprechend dem neuen Schema).
Zusammenfassung der Änderungen (v1.2.1 → v1.2.2)
Wikipedia-Kategorien:
Neue Methode extract_categories im WikipediaScraper extrahiert die Kategorien aus dem <div id="mw-normal-catlinks"> und gibt sie als kommagetrennten String zurück.
In extract_company_data wird das Ergebnis unter dem Schlüssel "categories" in die Rückgabe aufgenommen.
Update-Range:
Die Wikipedia-Daten werden nun in Spalten J bis O geschrieben (6 Spalten: URL, Absatz, Branche, Umsatz, Mitarbeiter, Kategorien).
Spaltenzuordnung:
Timestamp wird in Spalte Y und Version in Spalte Z aktualisiert.
Neues Spaltenschema:
Das Schema wurde gemäß deiner Vorgaben aktualisiert:
Spalte A: ReEval Flag
Spalte B: Firmenname
Spalte C: Website
Spalte D: Ort
Spalte E: Beschreibung
Spalte F: Aktuelle Branche
Spalte G: Beschreibung Branche extern
Spalte H: Anzahl Techniker CRM
Spalte I: Vorschlag Wiki URL
Spalte J: Wikipedia URL
Spalte K: Wikipedia Absatz
Spalte L: Wikipedia Branche
Spalte M: Wikipedia Umsatz
Spalte N: Wikipedia Mitarbeiter
Spalte O: Wikipedia Kategorien
Spalte P: Konsistenzprüfung
Spalte Q: Begründung bei Inkonsistenz
Spalte R: Vorschlag Wiki Artikel ChatGPT
Spalte S: FSM Relevanz Ja / Nein
Spalte T: Begründung für FSM Relevanz
Spalte U: Schätzung Anzahl Mitarbeiter
Spalte V: Begründung bei Abweichung
Spalte W: Einschätzung Anzahl Servicetechniker
Spalte X: Begründung bei Abweichung Anzahl Servicetechniker
Spalte Y: Timestamp letzte Prüfung (verschoben von U)
Spalte Z: Version
Alignment-Demo-Modus (Option 3):
Der Alignment-Demo-Modus (Modus 3) schreibt die neuen Spaltenüberschriften in den Range A11200:Z11200, sodass du die korrekte Anordnung vor der inhaltlichen Befüllung überprüfen kannst.
Update-Ranges angepasst:
Sowohl im normalen als auch im Re‑Evaluierungsmodus werden die extrahierten Wikipedia-Felder nun in Spalte J bis N geschrieben, der Timestamp in Spalte Y und die Versionsnummer in Spalte Z.
Diese Version (v1.2.1) spiegelt nun die von dir gewünschte Spaltenanordnung wider. Bitte teste diese Version und gib mir Feedback zur weiteren Optimierung.
Neues Spaltenschema:
Die Alignment-Demo (Modus 3) wurde angepasst, um die neuen Spaltenüberschriften A–Z gemäß dem neuen Schema zu schreiben:
Spalte A (ReEval Flag)
Spalte B (Firmenname)
Spalte C (Website)
Spalte D (Ort)
Spalte E (Beschreibung)
Spalte F (Aktuelle Branche)
Spalte G (Beschreibung Branche extern)
Spalte H (Anzahl Techniker CRM)
Spalte I (Vorschlag Wiki URL)
Spalte J (Wikipedia URL)
Spalte K (Wikipedia Absatz)
Spalte L (Wikipedia Branche)
Spalte M (Wikipedia Umsatz)
Spalte N (Wikipedia Mitarbeiter)
Spalte O (Wikipedia Kategorien)
Spalte P (Konsistenzprüfung)
Spalte Q (Begründung bei Inkonsistenz)
Spalte R (Vorschlag Wiki Artikel ChatGPT)
Spalte S (FSM Relevanz Ja / Nein)
Spalte T (Begründung für FSM Relevanz)
Spalte U (Timestamp letzte Prüfung)
Spalte V (Schätzung Anzahl Mitarbeiter)
Spalte W (Begründung bei Abweichung)
Spalte X (Einschätzung Anzahl Servicetechniker)
Spalte Y (Begründung bei Abweichung Anzahl Servicetechniker)
Spalte Z (Version)
Alignment-Demo-Modus (Option 3):
Beim Starten des Modus 3 wird in Zeile 11200 der Range A11200:Z11200 mit den neuen Überschriften gefüllt, sodass du das Spaltenlayout vor der inhaltlichen Befüllung überprüfen kannst.
Restliche Funktionalität:
Die bestehenden Funktionen (Wikipedia-Suche, Umsatz- und Mitarbeiterextraktion etc.) bleiben unverändert.
Zusammenfassung der Änderungen (v1.1.16 → v1.2.0)
Neue Alignment-Demo (Modus 3):
Ein neuer Modus „3“ wurde hinzugefügt, der ausschließlich eine Demo-Zeile (Zeile 11200) mit den neuen Spaltenüberschriften in das Google Sheet schreibt.
Dies ermöglicht die Validierung der neuen Spaltenanordnung anhand einer Übersetzungstabelle.
Spaltenzuordnung:
Die Code-Logik für das Update der Zellen wurde so angepasst, dass bei normalen bzw. Re‑Evaluierungsmodi die korrekten Spaltenadressen genutzt werden.
Sonstiges:
Unicode-Normalisierung und bestehende Umsatz- sowie Mitarbeiterextraktion (v1.1.16) bleiben erhalten.
Unicode Normalisierung:
clean_text nutzt nun unicodedata.normalize("NFKC", ...) zur Vereinheitlichung ambigue Unicode-Zeichen.
Umsatz-Extraktion:
In extract_numeric_value wird nun vor der Regex-Suche nichtbrechende Leerzeichen (\xa0) durch normale Leerzeichen ersetzt.
Bei fehlender Umwandlung (z. B. wenn kein numerischer String gefunden wird) wird ein Debug-Log ausgegeben, der den Original-Rohtext zeigt.
Mitarbeiterextraktion:
Gleiche Methode wie bei Umsatz, wobei die Mitarbeiterzahl als ganze Zahl zurückgegeben wird.
Flexible Regex (unter Nutzung von in im Vergleich) fängt Varianten ab, sodass z. B. "4.175 (2021/22)" zu "4175" wird.
Unicode Normalisierung:
In der Funktion clean_text wird nun unicodedata.normalize("NFKC", ...) verwendet, um ambigue Unicode-Zeichen zu vereinheitlichen. Dadurch sollten unerwartete Leerzeichen oder Sonderzeichen keine Probleme mehr verursachen.
Umsatz-Extraktion:
Der numerische Teil wird korrekt extrahiert, indem Punkte als Tausendertrennzeichen entfernt und Kommas als Dezimaltrenner interpretiert werden.
Bei "Mrd" wird der Wert mit 1000 multipliziert, sodass z. B. "2,395 Mrd. Euro" zu 2395 Mio. umgerechnet wird.
Mitarbeiterextraktion:
Die Mitarbeiterzahl wird mittels der gleichen Helper-Funktion extrahiert. Unicode-Normalisierung und flexible Regex (mit "in" anstatt exakter Vergleiche) sorgen dafür, dass Werte wie "4.175 (2021/22)" korrekt als 4175 erkannt werden.
Allgemeines:
Der Re‑Evaluierungsmodus verarbeitet alle Zeilen mit „x“ in Spalte A und gibt den vollständigen Infobox-Inhalt in der Konsole aus.
Diese Version (v1.1.15) sollte nun das Problem beheben, dass Mitarbeiterzahlen nicht extrahiert wurden, und gleichzeitig die Umsatzwerte korrekt in Mio € umrechnen. Bitte teste die Version und gib Bescheid, falls noch weitere Anpassungen erforderlich sind.
Zusammenfassung der Änderungen (v1.1.13 → v1.1.14)
Unicode Normalisierung:
Die Funktion clean_text nutzt nun unicodedata.normalize("NFKC", ...) um ambigue Unicode-Zeichen zu vereinheitlichen. Dadurch werden unerwartete Zeichen in Infobox-Titeln eliminiert.
Umsatz-Extraktion:
Die Helper-Funktion extract_numeric_value behandelt Zahlenstrings nun robust.
Bei "2,395 Mrd. Euro" wird "2,395" extrahiert, Punkte als Tausendertrennzeichen entfernt und das Komma als Dezimaltrenner genutzt.
"mrd" führt zur Multiplikation mit 1000, was den Wert korrekt in Mio € umrechnet (2395 Mio).
Mitarbeiterextraktion:
Der numerische Teil der Mitarbeiterzahl wird mit derselben Helper-Funktion extrahiert.
Unicode-Normalisierung und ein leicht gelockertes Matching in extract_fields_from_infobox_text („if field.lower() in token.lower()“) sollen sicherstellen, dass auch Zahlen wie "4.175 (2021/22)" erkannt und korrekt zu "4175" verarbeitet werden.
Re-Evaluierungsmodus:
Alle Zeilen mit "x" in Spalte A werden verarbeitet; der vollständige Infobox-Inhalt wird in der Konsole ausgegeben, um die Daten zu überprüfen.
Umsatz-Extraktion:
Die Helper-Funktion extract_numeric_value wurde angepasst, um leere Eingaben explizit als "k.A." zurückzugeben.
Bei Werten wie "2,395 Mrd. Euro" wird zuerst "2,395" extrahiert, dann werden Punkte als Tausendertrennzeichen entfernt und das Komma als Dezimaltrenner genutzt.
Wird "mrd" gefunden, wird der Wert mit 1000 multipliziert, sodass "2,395 Mrd." zu 2395 Mio. wird.
Falls keine Einheit angegeben ist, wird der Wert als Euro angenommen und durch 1e6 geteilt.
Mitarbeiterextraktion:
Die Funktion extract_numeric_value wird auch für die Mitarbeiterzahl genutzt.
Falls der extrahierte String leer ist, wird "k.A." zurückgegeben.
Beispiel: "4.175 (2021/22)" wird so verarbeitet, dass der Punkt als Tausendertrennzeichen entfernt wird, sodass der Wert "4175" resultiert.
Ambiguitäten bei Tausendertrennzeichen (Punkt als Tausendertrennzeichen) werden nun korrekt behandelt.
Allgemeines:
Der Re‑Evaluierungsmodus gibt weiterhin den vollständigen Infobox-Inhalt in der Konsole aus.
Unicode-Warnungen können ignoriert werden, sofern sie nicht zu funktionalen Problemen führen.
Umsatz-Extraktion:
Der numerische Teil des Umsatzes wird mittels der Helper-Funktion extract_numeric_value extrahiert.
Komma als Dezimaltrenner wird berücksichtigt (Punkte als Tausendertrennzeichen werden entfernt).
Enthält der Text "mrd" oder "milliarden", wird der Wert mit 1000 multipliziert; enthält er "mio" oder "millionen" bleibt der Wert unverändert.
Fehlt eine Einheit, wird der Wert als Euro angenommen und durch 1.000.000 geteilt.
Beispiel: "10,0 Mrd. Euro (2021/22)" ergibt 10 * 1000 = "10000" Mio.
Mitarbeiterextraktion:
Der numerische Teil der Mitarbeiterzahl wird ebenfalls mit extract_numeric_value extrahiert.
Für Mitarbeiter wird der String ohne Skalierung zurückgegeben.
Beispiel: "4.175 (2021/22)" wird so verarbeitet, dass die Punkte als Tausendertrennzeichen entfernt werden, was "4175" ergibt.
Verwendung von extrahierten Feldern:
In der Funktion extract_company_data werden die rohen Felder ("Branche", "Umsatz", "Mitarbeiter") zuerst über extract_fields_from_infobox_text bezogen und dann mittels extract_numeric_value (für Umsatz und Mitarbeiter) normalisiert.
Re‑Evaluierungsmodus:
Im Modus "2" werden alle Zeilen mit einem "x" in Spalte A verarbeitet, ohne dass nach der Zeilenzahl gefragt wird.
Zusätzlich wird im Re‑Evaluierungsmodus der komplette Infobox-Inhalt in der Konsole ausgegeben.
Warnung zu Unicode:
Die Warnung bezüglich ambigue Unicode-Zeichen kann ignoriert werden, wenn sie nicht zu funktionalen Problemen führt.
Umsatz-Extraktion:
Der numerische Teil wird mittels einer neuen Helper-Funktion extract_numeric_value extrahiert.
Wenn im Text "mrd" (Milliarden) vorkommt, wird der extrahierte Wert mit 1000 multipliziert; wenn "mio" vorkommt, bleibt der Wert unverändert.
Wenn keine Einheit angegeben ist, wird angenommen, dass der Wert in Euro ist, und er wird durch 1.000.000 geteilt.
Beispiel: Aus "10,0 Mrd. Euro (2021/22)" wird der Wert 10,0 → 10 * 1000 = 10000 Mio.
Mitarbeiter-Extraktion:
Der numerische Teil wird ebenfalls mit extract_numeric_value extrahiert, ohne Skalierung.
Beispiel: Aus "4.175 (2021/22)" wird "4.175" erkannt und die Punkte als Tausendertrennzeichen entfernt, sodass "4175" resultiert.
Re-Evaluierungsmodus:
Alle Zeilen mit "x" in Spalte A werden verarbeitet (ohne Abfrage der Zeilenzahl).
Zusätzlich wird im Re-Evaluierungsmodus der komplette Infobox-Inhalt in der Konsole ausgegeben.
Spaltenanpassungen:
Im normalen Modus: Firmenname in Spalte A, Website in Spalte B; Ausgabe in G:K, Datum in N, Version in Q.
Im Re‑Evaluierungsmodus: Firmenname in Spalte B, Website in Spalte C; Ausgabe in H:L, Datum in O, Version in R.
Umsatz-Extraktion:
Die Regex erfasst nun den Zahlenstring (z. B. „10,0“) und entfernt Tausendertrennzeichen (Punkte, Leerzeichen).
Wird im Text "mrd" gefunden, wird der Wert mit 1000 multipliziert, ansonsten bleibt er (bei "mio") unverändert.
Fehlt eine Einheit, wird der Wert als in Euro angegeben angenommen und durch 1.000.000 geteilt, sodass der Umsatz in Mio € resultiert.
Mitarbeiter-Extraktion:
Spezifische Suche mittels Regex nach dem Schlüsselwort "mitarbeiterzahl" (oder "mitarbeiter") gefolgt von einem Zahlenformat (z. B. "4.175").
Falls der gefundene Zahlenstring einen Punkt als Tausendertrennzeichen enthält (und kein Komma), wird dieser entfernt, sodass "4.175" zu "4175" wird.
Re-Evaluierungsmodus:
Alle Zeilen mit einem "x" in Spalte A werden verarbeitet, und der komplette Infobox-Inhalt wird in der Konsole ausgegeben.
Spaltenanpassungen:
Normalmodus: Firmenname in Spalte A, Website in Spalte B; Ausgabe in G:K, Datum in N, Version in Q.
Re‑Evaluierungsmodus: Firmenname in Spalte B, Website in Spalte C; Ausgabe in H:L, Datum in O, Version in R.
Umsatz-Extraktion:
Der Zahlenstring wird robust normalisiert, indem Tausendertrennzeichen (Punkte, Leerzeichen) entfernt und das Komma als Dezimaltrenner berücksichtigt wird.
Falls keine Einheit ("mio" oder "mrd") angegeben ist, wird der Wert als Euro angenommen und durch 1.000.000 geteilt.
Mitarbeiter-Extraktion:
Die Regex wurde erweitert, um gezielt nach dem Begriff "mitarbeiterzahl" (oder "mitarbeiter") zu suchen und alle Ziffern (einschließlich Tausendertrennzeichen) zu extrahieren, sodass z. B. aus "4.175" der Wert "4175" wird.
Re-Evaluierungsmodus:
Im Modus "2" werden alle Zeilen mit "x" in Spalte A verarbeitet, und der komplette Infobox-Inhalt wird in der Konsole ausgegeben.
Spaltenanpassungen:
Normalmodus: Firmenname in Spalte A, Website in Spalte B; Ausgabe in G:K, Datum in N, Version in Q.
Re‑Evaluierungsmodus: Firmenname in Spalte B, Website in Spalte C; Ausgabe in H:L, Datum in O, Version in R.
Infobox-Debug im Re-Evaluierungsmodus:
Im Re-Evaluierungsmodus (Modus "2") wird nun der komplette Inhalt der Infobox (Key "full_infobox") in der Konsole ausgegeben.
Umsatz-Extraktion:
Die Regex wurde angepasst, um Zahlenstrings robuster zu normalisieren – Punkte als Tausendertrennzeichen werden entfernt, Kommas als Dezimaltrenner genutzt. Fehlt eine Einheit ("mio"/"mrd"), wird der Wert als Euro angenommen und durch 1.000.000 geteilt.
Mitarbeiterextraktion:
Die Regex für Mitarbeiter wurde erweitert: Wird explizit "mitarbeiterzahl" gefunden, wird der direkt folgende Zahlenwert extrahiert; sonst wird der erste gefundene Zahlenwert verwendet. Weitere Synonyme wie "angestellte", "belegschaft" und "personalstärke" sind in der Schlüsselwortliste enthalten.
Re-Evaluierungsmodus:
Im Modus "2" werden alle Zeilen verarbeitet, die in Spalte A ein "x" enthalten – ohne Nachfrage nach Zeilenzahl und ohne Ausgabe von übersprungenen Zeilen.
Spaltenanpassungen:
Normalmodus: Firmenname in A, Website in B; Ausgabe in G:K, Datum in N, Version in Q.
Re‑Evaluierungsmodus: Firmenname in B, Website in C; Ausgabe in H:L, Datum in O, Version in R.
Umsatz-Extraktion:
Erweiterte Regex, um Zahlenstrings robust zu normalisieren:
Entfernt Tausendertrennzeichen (Punkte und Leerzeichen).
Verwendet Komma als Dezimaltrenner, falls vorhanden.
Wenn keine Einheit (Mio, Mrd) vorhanden ist, wird der Wert als Euro angenommen und durch 1.000.000 geteilt.
Mitarbeiter-Extraktion:
Erweiterung der Schlüsselwortliste (z. B. "mitarbeiterzahl", "angestellte", "belegschaft", "personalstärke").
Falls "mitarbeiterzahl" explizit vorkommt, wird direkt der Zahlenwert danach extrahiert.
Re‑Evaluierungsmodus:
Im Modus "2" werden alle Zeilen verarbeitet, bei denen in Spalte A ein "x" steht, ohne dass nach der Anzahl der zu überprüfenden Zeilen gefragt wird.
Übersprungene Zeilen werden nicht geloggt.
Spaltenanpassungen:
Im normalen Modus: Firmenname in Spalte A, Website in Spalte B; Ausgabe in G:K, Datum in N, Version in Q.
Im Re‑Evaluierungsmodus: Firmenname in Spalte B, Website in Spalte C; Ausgabe in H:L, Datum in O, Version in R.
Umsatz‑Extraktion:
Die Regex zur Erfassung der Zahl wurde leicht vereinfacht, sodass nun zunächst alle Ziffern und die Zeichen „,.“ erfasst werden.
Falls ein Komma vorhanden ist, werden Punkte als Tausendertrennzeichen entfernt und das Komma als Dezimaltrenner verwendet; falls nicht, werden alle Punkte (und Leerzeichen) entfernt.
Anschließend wird geprüft, ob im Text Hinweise wie „mrd“ oder „mio“ vorkommen, um den Wert korrekt in Mio € umzurechnen.
Mitarbeiter‑Extraktion:
Wenn der Text in der Zelle „Mitarbeiterzahl“ enthält, wird dieser Teil abgespalten und danach mittels Regex das erste Zahlenfragment erfasst.
Re‑Evaluierungsmodus:
Der Modus „2“ verarbeitet alle Zeilen, in denen in Spalte A ein „x“ steht und ignoriert die Abfrage der Zeilenzahl (das kannst du aber optional beibehalten, falls gewünscht).
Modus-Auswahl:
Beim Programmstart wird abgefragt, ob der normale Modus (alle Zeilen, Spalten A = Firmenname, B = Website, Ausgabe in G:K, N und Q) oder der Re‑Evaluierungsmodus (nur Zeilen mit "x" in Spalte A, Firmenname in B, Website in C, Ausgabe in H:L, O und R) verwendet werden soll.
Spaltenanpassung:
Die Ausgabespalten werden je nach Modus um eine Spalte verschoben, sodass der Re‑Evaluierungsmodus eine Flag-Spalte in A nutzt.
Anpassung der Verarbeitung:
Zeilen ohne "x" in Spalte A werden im Re‑Evaluierungsmodus übersprungen.
Beibehaltung der bisherigen Logik:
Die Umsatz- und Mitarbeiterextraktion sowie die übrigen Funktionen bleiben unverändert.
Flag-Spalte A:
Nur Zeilen mit einem "x" in Spalte A werden verarbeitet.
Verschiebung der Spaltenzuordnungen:
Firmenname in Spalte B, Website in Spalte C.
Ausgabe erfolgt in den Spalten H bis L (H: Wikipedia URL, I: erster Absatz, J: Branche, K: Umsatz in Mio €, L: Mitarbeiterzahl).
Datum und Uhrzeit in Spalte O, Version in Spalte R.
Umsatz-Extraktion:
Erweiterte Regex-Logik zur Erkennung von Tausendertrennzeichen und zur Umrechnung in Mio €.
Mitarbeiterextraktion:
Umstellung auf re.findall, um robust das erste Zahlenfragment zu erfassen.
Weitere Anpassungen:
Deprecation-Warnings bei den Update-Aufrufen wurden behoben (mittels benannter Argumente).
Zusammenfassung:
Spaltenreihenfolge aktualisiert:
G: Wikipedia URL
H: Erster Absatz des Wikipedia-Artikels
I: Branche (aus der Infobox)
J: Umsatz (als Zahl in Mio €, z. B. "159")
K: Anzahl Mitarbeiter (aus der Infobox)
N: Datum und aktuelle Zeit
Q: Version
Umsatz-Extraktion:
Regex erkennt jetzt "Mio"/"Millionen" und "Mrd"/"Milliarden".
Ist keine Einheit vorhanden, wird der Wert in Euro in Mio € umgerechnet (Division durch 1.000.000).
Mitarbeiterzahl-Extraktion:
Regex wurde erweitert, um Zahlen mit Leerzeichen zu erfassen.
Zusätzliche Schlüsselwörter wie "Mitarbeiterzahl" werden berücksichtigt.
Deprecation-Warnings:
Die Update-Aufrufe für Google Sheets wurden so angepasst, dass die Werte vor dem Range-Namen übergeben werden.
