From 4b349f66a8a23e8ac22e692bbd18d0a8093a90e7 Mon Sep 17 00:00:00 2001 From: Floke Date: Tue, 8 Apr 2025 14:05:57 +0000 Subject: [PATCH] bugfix --- brancheneinstufung.py | 879 +++++------------------------------------- 1 file changed, 92 insertions(+), 787 deletions(-) diff --git a/brancheneinstufung.py b/brancheneinstufung.py index 05f1485a..2c0e05df 100644 --- a/brancheneinstufung.py +++ b/brancheneinstufung.py @@ -3,14 +3,14 @@ Version: v1.4.4 Datum: {aktuelles Datum} Git-Überschrift (max. 100 Zeichen): -v1.4.4 Fallback über Website integriert, Alignment Demo um Website-Rohtext & -Zusammenfassung erweitert +v1.4.4 Fallback über Website integriert, Alignment Demo erweitert Git-Änderungsbeschreibung: -- Neue Funktion get_website_raw(url, max_length=1000): Extrahiert den bereinigten Rohtext der Firmenstartseite (bis maximal 1000 Zeichen). -- Neue Funktion summarize_website_content(raw_text): Fordert ChatGPT auf, aus dem extrahierten Rohtext eine kurze Zusammenfassung (fokussiert auf Tätigkeitsfeld, Produkte und Leistungen) zu erstellen. -- In evaluate_branche_chatgpt wird ein neuer Parameter website_summary eingefügt. Falls sowohl wiki_branche als auch die externe Beschreibung (beschreibung, Spalte H) "k.A." sind, wird der Website-Zusammenfassungstext als externe Information herangezogen. -- In _process_single_row (und in process_verification_only) wird die Firmenwebsite (Spalte D) ausgelesen, deren Rohtext in Spalte AR und Zusammenfassung in Spalte AS geschrieben wird. -- Die Alignment Demo wurde erweitert um zwei zusätzliche Spalten (AR und AS). Die Branchenbewertung (Chat Vorschlag Branche) erfolgt weiterhin in Spalte W. +- Neue Funktionen: get_website_raw(url, max_length=1000) und summarize_website_content(raw_text) zur Extraktion und Zusammenfassung der Startseitendaten. +- Erweiterung der evaluate_branche_chatgpt um den Parameter website_summary; falls Wikipedia-Branche und externe Beschreibung "k.A." sind, wird website_summary als Fallback verwendet. +- In _process_single_row werden die Website-Daten (Rohtext in Spalte AR, Zusammenfassung in Spalte AS) abgerufen und gespeichert. +- Die Alignment Demo wird um zwei Spalten (AR, AS) erweitert (Range A1:AS5). +- Die Funktion process_verification_only() ist integriert. """ import os @@ -201,7 +201,6 @@ def get_website_raw(url, max_length=1000): try: response = requests.get(url, timeout=10) soup = BeautifulSoup(response.text, Config.HTML_PARSER) - # Wir nutzen den Text des als repräsentativen Inhalt der Startseite body = soup.find('body') if body: text = body.get_text(separator=' ', strip=True) @@ -241,525 +240,108 @@ def summarize_website_content(raw_text): debug_print(f"Fehler beim Erstellen der Website-Zusammenfassung: {e}") return "k.A." -# ==================== NEUE FUNKTIONEN FÜR MITARBEITER ==================== -def process_employee_estimation(company_name, wiki_first_paragraph, crm_employee): - if wiki_first_paragraph.strip().lower() == "k.a.": - return "Skipped (k.A.)" +# ==================== NEUE FUNKTION: process_verification_only ==================== +def process_verification_only(): + debug_print("Starte Verifizierungsmodus (Modus 51) im Batch-Prozess...") try: - crm_val = int(crm_employee) - return str(crm_val) + rows_limit = int(input("Wie viele Zeilen sollen im Batch verarbeitet werden? ")) except Exception: - return "100" - -def process_employee_consistency(crm_employee, wiki_employee, chat_employee): - try: - crm_val = float(crm_employee) if crm_employee not in ["", "k.A."] else None - wiki_val = float(wiki_employee) if wiki_employee not in ["", "k.A."] else None - chat_val = float(chat_employee) if chat_employee not in ["", "k.A.", "Skipped (k.A.)"] else None - except Exception: - return "Nicht geprüft (Daten unvollständig)" - values = [v for v in [crm_val, wiki_val, chat_val] if v is not None] - if not values: - return "Nicht geprüft (keine Daten)" - avg_value = sum(values) / len(values) - diff_percent = abs(crm_val - avg_value) / avg_value * 100 if crm_val is not None else 0 - if diff_percent < 30: - return f"OK (Differenz {diff_percent:.1f}%)" - else: - return f"Abweichung: {diff_percent:.1f}% – CRM-Wert ({crm_val}) plausibler" - -# ==================== ALIGNMENT DEMO (Hauptblatt) ==================== -def alignment_demo(sheet): - new_headers = [ - [ # Spaltenname (Zeile 1) - "ReEval Flag", # A - "CRM Name", # B - "CRM Kurzform", # C - "CRM Website", # D - "CRM Ort", # E - "CRM Beschreibung", # F - "CRM Branche", # G - "CRM Beschreibung Branche extern", # H - "CRM Anzahl Techniker", # I - "CRM Umsatz", # J - "CRM Anzahl Mitarbeiter", # K - "CRM Vorschlag Wiki URL", # L - "Wiki URL", # M - "Wiki Absatz", # N - "Wiki Branche", # O - "Wiki Umsatz", # P - "Wiki Mitarbeiter", # Q - "Wiki Kategorien", # R - "Chat Wiki Konsistenzprüfung", # S - "Chat Begründung Wiki Inkonsistenz", # T - "Chat Vorschlag Wiki Artikel", # U - "Begründung bei Abweichung", # V - "Chat Vorschlag Branche", # W - "Chat Konsistenz Branche", # X - "Chat Begründung Abweichung Branche", # Y - "Chat Prüfung FSM Relevanz", # Z - "Chat Begründung für FSM Relevanz", # AA - "Chat Schätzung Anzahl Mitarbeiter", # AB - "Chat Konsistenzprüfung Mitarbeiterzahl", # AC - "Chat Begründung Abweichung Mitarbeiterzahl", # AD - "Chat Einschätzung Anzahl Servicetechniker", # AE - "Chat Begründung Abweichung Anzahl Servicetechniker", # AF - "Chat Schätzung Umsatz", # AG - "Chat Begründung Abweichung Umsatz", # AH - "Linked Serviceleiter gefunden", # AI - "Linked It-Leiter gefunden", # AJ - "Linked Management gefunden", # AK - "Linked Disponent gefunden", # AL - "Contact Search Timestamp", # AM - "Wikipedia Timestamp", # AN - "Timestamp letzte Prüfung", # AO - "Version", # AP - "Tokens", # AQ - "Website Rohtext", # AR - "Website Zusammenfassung" # AS - ], - [ # Quelle der Daten (Zeile 2) - "CRM", "CRM", "CRM", "CRM", "CRM", "CRM", "CRM", "CRM", "CRM", "CRM", "CRM", - "CRM", "Wikipediascraper", "Wikipediascraper", "Wikipediascraper", "Wikipediascraper", "Wikipediascraper", - "Wikipediascraper", "Chat GPT API", "Chat GPT API", "Chat GPT API", "Chat GPT API", "Chat GPT API", - "Chat GPT API", "Chat GPT API", "Chat GPT API", "Chat GPT API", "Chat GPT API", "Chat GPT API", - "Chat GPT API", "Chat GPT API", "Chat GPT API", "Chat GPT API", - "LinkedIn (via SerpApi)", "LinkedIn (via SerpApi)", "LinkedIn (via SerpApi)", "LinkedIn (via SerpApi)", - "System", "System", "System", "System", "System", - "Web Scraper", # AR - "Chat GPT API" # AS - ], - [ # Feldkategorie (Zeile 3) - "Prozess", "Firmenname", "Firmenname", "Website", "Ort", "Beschreibung (Text)", - "Branche", "Branche", "Anzahl Servicetechniker", "Umsatz", "Anzahl Mitarbeiter", - "Wikipedia Artikel URL", "Wikipedia Artikel", "Beschreibung (Text)", "Branche", - "Umsatz", "Anzahl Mitarbeiter", "Kategorien (Text)", "Verifizierung", - "Begründung bei Abweichung", "Wikipedia Artikel", "Wikipedia Artikel", - "Branche", "Branche", "Branche", "FSM Relevanz", "FSM Relevanz", - "Anzahl Mitarbeiter", "Anzahl Mitarbeiter", "Anzahl Mitarbeiter", - "Anzahl Servicetechniker", "Anzahl Servicetechniker", "Umsatz", "Umsatz", - "Kontakte zur Firma", "Kontakte zur Firma", "Kontakte zur Firma", "Kontakte zur Firma", - "Timestamp", "Timestamp", "Timestamp", - "Version des Skripts die verwendet wurde", "ChatGPT Tokens", - "Website-Content", # AR - "Website Zusammenfassung" # AS - ], - [ # Kurze Beschreibung (Zeile 4) - "Systemspalte, irrelevant für den Prompt. Wird zur manuellen Neuprüfung genutzt.", - "Enthält den Firmennamen; Normalisierung erfolgt bei der Suche.", - "Manuell gepflegte Kurzform, meist die ersten 2 Worte.", - "Website des Unternehmens.", - "Ort des Unternehmens.", - "Kurze Beschreibung des Unternehmens.", - "Aktuelle Branchenzuweisung gemäß Ziel-Branchenschema.", - "Externe Branchenbeschreibung (z.B. von Dealfront).", - "Recherchierte Anzahl Servicetechniker.", - "Umsatz in Mio. € (CRM).", - "Anzahl Mitarbeiter (CRM).", - "Vorgeschlagene Wikipedia URL (Ausgangspunkt).", - "Wikipedia URL (Ergebnis der Suche).", - "Erster Absatz des Wikipedia-Artikels.", - "Wikipedia-Branche – für den Branchenabgleich.", - "Wikipedia-Umsatz – zur Validierung.", - "Wikipedia-Mitarbeiterzahl – zur Validierung.", - "Liste der Wikipedia-Kategorien.", - "\"OK\" oder \"X\" – Ergebnis der Wikipedia-Validierung.", - "Begründung bei Inkonsistenz (Wiki).", - "Chat-Vorschlag Wiki Artikel: Falls kein passender Artikel gefunden, alternativ vorschlagen.", - "Nicht genutzt, evtl. für zukünftige Funktionen.", - "Branchenvorschlag via ChatGPT (alternativer Vorschlag).", - "Vergleich: Übereinstimmung CRM vs. ChatGPT-Branche (OK/X).", - "Begründung bei abweichender Branchenzuordnung.", - "FSM-Relevanz: Bewertung, ob das Unternehmen für FSM geeignet ist (OK/X).", - "Begründung zur FSM-Bewertung.", - "Schätzung Anzahl Mitarbeiter via ChatGPT (nur falls Wiki-Daten fehlen).", - "Vergleich CRM vs. Wiki vs. ChatGPT Mitarbeiterzahl (OK/X).", - "Begründung bei Mitarbeiterabweichung (Prozentdifferenz).", - "Schätzung Servicetechniker via ChatGPT (Kategorisierung, z.B. <50, >100 etc.).", - "Begründung bei Abweichung der Technikerzahl.", - "Schätzung Umsatz via ChatGPT.", - "Begründung bei Umsatzabweichung.", - "Anzahl Kontakte (Serviceleiter) gefunden.", - "Anzahl Kontakte (IT-Leiter) gefunden.", - "Anzahl Kontakte (Management) gefunden.", - "Anzahl Kontakte (Disponent) gefunden.", - "Timestamp der Kontaktsuche.", - "Timestamp der Wikipedia-Suche.", - "Timestamp der ChatGPT-Bewertung.", - "Ausgabe der Skriptversion, die das Ergebnis erzeugt hat.", - "Token-Zählung (separat pro Modul).", - "Roh extrahierter Text der Firmenwebsite (maximal 1000 Zeichen).", - "Zusammenfassung des Webseiteninhalts, fokussiert auf Tätigkeitsfeld, Produkte & Leistungen." - ], - [ # Aufgabe / Funktion (exakte Vorgabe deiner Ausgangsversion, unverändert) - "Datenquelle", - "Datenquelle", - "Datenquelle", - "Datenquelle", - "Datenquelle", - "Datenquelle", - "Datenquelle", - "Datenquelle", - "Datenquelle", - "Datenquelle", - "Datenquelle", - "Datenquelle", - "Wird durch Wikipedia Scraper bereitgestellt", - "Wird zunächst nicht verwendet, kann aber zum Vergleich mit der CRM-Beschreibung genutzt werden.", - "Wird u.a. zur finalen Ermittlung der Branche im Ziel-Branchenschema genutzt und mit der CRM-Branche bzw. CRM-Beschreibung Branche Extern verglichen. Stimmen alle drei Einstufungen grob überein, bestärkt dies die ursprüngliche Einstufung. Laufen diese Branchen weit auseinander, soll – sofern der Wikipedia-Artikel verifiziert ist – die Branche von Wikipedia als zuverlässigste Quelle bewertet werden, danach folgen CRM-Beschreibung Branche Extern und CRM-Branche an dritter Stelle.", - "Wird u.a. mit CRM-Umsatz zur Validierung des Unternehmens verglichen bzw. zur Bewertung der Größe / Einschätzung der Technikerzahl bzw. FSM-Relevanz genutzt.", - "Wird u.a. mit CRM-Anzahl Mitarbeiter zur Validierung des Unternehmens verglichen bzw. zur Bewertung der Größe / Einschätzung der Technikerzahl bzw. FSM-Relevanz genutzt.", - "Wenn Website-Daten fehlen, wird in diesem Feld keine zusätzliche Information einbezogen; ansonsten als zusätzlicher Kontext.", - "\"Es soll durch ChatGPT geprüft werden, ob anhand der vorliegenden Daten bestätigt werden kann, dass der Wikipedia-Eintrag das Unternehmen sicher beschreibt. Dabei können alle Daten (Website, Umsatz, Mitarbeiterzahl etc.) berücksichtigt werden. Eine gewisse Toleranz (±30%) ist erlaubt. Insbesondere bei Konzernstrukturen muss großzügig bewertet werden. Abweichungen sollen in der Spalte 'Chat Begründung Wiki Inkonsistenz' begründet werden.\"", - "\"Liegt eine Inkonsistenz zwischen dem gefundenen Wikipedia-Artikel und dem Unternehmen vor, so soll dies kurz begründet werden. Wurde der Artikel als unpassend identifiziert, soll ChatGPT einen alternativen Wikipedia-Artikel vorschlagen und diesen in 'Chat Vorschlag Wiki Artikel' ausgeben.\"", - "\"Sollte durch die Wikipedia-Suche kein Artikel gefunden werden oder als unpassend bewertet werden, soll ChatGPT eigenständig nach einem passenden Artikel recherchieren. Der gefundene Artikel muss vom als unpassend bewerteten Artikel abweichen. Wird kein passender Artikel gefunden, soll 'kein Artikel verfügbar' ausgegeben werden.\"", - "XXX derzeit nicht verwendet, wird vermutlich gelöscht xxx", - "\"ChatGPT soll anhand der vorliegenden Informationen prüfen, welcher Branche des Ziel-Branchenschemas das Unternehmen am ehesten zugeordnet werden kann. Das Ziel-Branchenschema darf nicht verändert werden, sondern die Vorschläge müssen exakt diesem Schema entsprechen.\"", - "Die in Spalte CRM festgelegte Branche soll mit der von ChatGPT ermittelten Branche in 'Chat Vorschlag Branche' verglichen werden.", - "Weicht die von ChatGPT ermittelte Branche von der in CRM vorliegenden ab, so soll ChatGPT die Abweichung kurz begründen.", - "ChatGPT soll anhand der vorliegenden Daten prüfen, ob das Unternehmen für den Einsatz einer Field Service Management Lösung geeignet ist.", - "Die in 'Chat Begründung für FSM Relevanz' angegebene Begründung soll zur Bewertung der FSM-Eignung herangezogen werden.", - "Nur wenn kein Wikipedia-Eintrag vorhanden ist, soll ChatGPT basierend auf öffentlich verfügbaren Informationen die Mitarbeiterzahl schätzen. Falls keine Schätzung möglich ist, wird 'keine Schätzung möglich' ausgegeben.", - "Entspricht die durch ChatGPT ermittelte Mitarbeiterzahl ungefähr den in CRM und Wikipedia ermittelten Werten (±30%), wird 'OK' ausgegeben, andernfalls 'X' und eine Begründung in 'Chat Begründung Abweichung Mitarbeiterzahl'.", - "Weicht die von ChatGPT geschätzte Mitarbeiterzahl signifikant von den CRM- oder Wikipedia-Werten ab, soll dies kurz begründet werden.", - "ChatGPT soll auf Basis öffentlich zugänglicher Informationen eine Schätzung der Anzahl Servicetechniker abgeben (Kategorisierung: 0, <50, >100, >200, >500). Bei Abweichungen der Recherche-Werte soll 'X' ausgegeben werden, ansonsten 'OK'.", - "Weicht die von ChatGPT geschätzte Technikerzahl von den CRM-Werten ab, soll dies begründet werden.", - "Nur wenn kein Wikipedia-Eintrag vorhanden ist, soll ChatGPT den Umsatz anhand der Unternehmenswebsite oder anderer Daten schätzen. Bei fehlender Schätzung soll 'keine Schätzung möglich' ausgegeben werden.", - "ChatGPT soll signifikante Umsatzabweichungen zwischen den Schätzungen von Chat, Wikipedia und CRM begründen. Stimmen die Werte (±30%) überein, wird 'OK' ausgegeben.", - "Über SerpAPI wird zusammen mit der in 'CRM Kurzform' enthaltenen Information nach 'Serviceleiter' gesucht.", - "Über SerpAPI wird zusammen mit 'CRM Kurzform' nach 'Leiter IT' gesucht.", - "Über SerpAPI wird zusammen mit 'CRM Kurzform' nach 'Geschäftsführer' gesucht.", - "Über SerpAPI wird zusammen mit 'CRM Kurzform' erneut nach 'Serviceleiter' gesucht.", - "Wenn die Kontaktsuche gestartet wird, wird der erste Eintrag ohne Zeitstempel gesucht; Zeilen mit vorhandenem Zeitstempel werden übersprungen.", - "Wenn die Wikipedia-Suche gestartet wird, wird der erste Eintrag ohne Zeitstempel gesucht; Zeilen mit vorhandenem Zeitstempel werden übersprungen.", - "Wenn die ChatGPT-Bewertung gestartet wird, wird der erste Eintrag ohne Zeitstempel gesucht; Zeilen mit vorhandenem Zeitstempel werden übersprungen.", - "Wird durch das System befüllt", - "Wird durch tiktoken berechnet" - ] - ] - header_range = "A1:AS5" # Neue Spalten AR und AS werden in den Bereich A1:AS5 aufgenommen. - sheet.update(values=new_headers, range_name=header_range) - print("Alignment-Demo abgeschlossen: Neues Spaltenschema in Zeilen A1 bis AS5 geschrieben.") - -# ==================== WIKIPEDIA SCRAPER ==================== -class WikipediaScraper: - def __init__(self): - wikipedia.set_lang(Config.LANG) - def _get_full_domain(self, website): - if not website: - return "" - website = website.lower().strip() - website = re.sub(r'^https?:\/\/', '', website) - website = re.sub(r'^www\.', '', website) - return website.split('/')[0] - def _generate_search_terms(self, company_name, website): - terms = [] - full_domain = self._get_full_domain(website) - if full_domain: - terms.append(full_domain) - normalized_name = normalize_company_name(company_name) - candidate = " ".join(normalized_name.split()[:2]).strip() - if candidate and candidate not in terms: - terms.append(candidate) - if normalized_name and normalized_name not in terms: - terms.append(normalized_name) - debug_print(f"Generierte Suchbegriffe: {terms}") - return terms - def _validate_article(self, page, company_name, website): - full_domain = self._get_full_domain(website) - domain_found = False - if full_domain: - try: - html_raw = requests.get(page.url).text - soup = BeautifulSoup(html_raw, Config.HTML_PARSER) - infobox = soup.find('table', class_=lambda c: c and 'infobox' in c.lower()) - if infobox: - links = infobox.find_all('a', href=True) - for link in links: - href = link.get('href').lower() - if href.startswith('/wiki/datei:'): - continue - if full_domain in href: - debug_print(f"Definitiver Link-Match in Infobox gefunden: {href}") - domain_found = True - break - if not domain_found and hasattr(page, 'externallinks'): - for ext_link in page.externallinks: - if full_domain in ext_link.lower(): - debug_print(f"Definitiver Link-Match in externen Links gefunden: {ext_link}") - domain_found = True - break - except Exception as e: - debug_print(f"Fehler beim Extrahieren von Links: {str(e)}") - normalized_title = normalize_company_name(page.title) - normalized_company = normalize_company_name(company_name) - similarity = SequenceMatcher(None, normalized_title, normalized_company).ratio() - debug_print(f"Ähnlichkeit (normalisiert): {similarity:.2f} ({normalized_title} vs {normalized_company})") - threshold = 0.60 if domain_found else Config.SIMILARITY_THRESHOLD - return similarity >= threshold - def extract_first_paragraph(self, page_url): + rows_limit = Config.BATCH_SIZE + gc = gspread.authorize(ServiceAccountCredentials.from_json_keyfile_name( + Config.CREDENTIALS_FILE, ["https://www.googleapis.com/auth/spreadsheets"])) + sh = gc.open_by_url(Config.SHEET_URL) + main_sheet = sh.sheet1 + data = main_sheet.get_all_values() + batch_entries = [] + row_indices = [] + for i, row in enumerate(data[1:], start=2): + if len(row) <= 25 or row[24].strip() == "": + entry_text = f"Eintrag {i}:\nFirmenname: {row[1] if len(row)>1 else ''}\nCRM-Beschreibung: {row[7] if len(row)>7 else ''}\nWikipedia-URL: {row[11] if len(row)>11 and row[11].strip() not in ['', 'k.A.'] else 'k.A.'}\nWiki-Absatz: {row[12] if len(row)>12 else 'k.A.'}\nWiki-Kategorien: {row[16] if len(row)>16 else 'k.A.'}\n-----\n" + batch_entries.append(entry_text) + row_indices.append(i) + if len(batch_entries) == rows_limit: + break + if not batch_entries: + debug_print("Keine Einträge für die Verifizierung gefunden.") + return + aggregated_prompt = ("Du bist ein Experte in der Verifizierung von Wikipedia-Artikeln für Unternehmen. " + "Für jeden der folgenden Einträge prüfe, ob der vorhandene Wikipedia-Artikel (URL, Absatz, Kategorien) plausibel passt. " + "Gib das Ergebnis für jeden Eintrag im Format aus:\nEintrag : \n" + "Dabei gelten folgende Regeln:\n- Bei Übereinstimmung: 'OK'\n- Bei Nichtübereinstimmung: 'Alternativer Wikipedia-Artikel vorgeschlagen: | X | '\n- Falls kein Artikel gefunden wurde: 'Kein Wikipedia-Eintrag vorhanden.'\n\n") + aggregated_prompt += "\n".join(batch_entries) + debug_print("Aggregierter Prompt für Verifizierungs-Batch erstellt.") + agg_token_count = "n.v." + if tiktoken: try: - response = requests.get(page_url) - soup = BeautifulSoup(response.text, Config.HTML_PARSER) - paragraphs = soup.find_all('p') - for p in paragraphs: - text = clean_text(p.get_text()) - if len(text) > 50: - return text - return "k.A." + enc = tiktoken.encoding_for_model(Config.TOKEN_MODEL) + agg_token_count = len(enc.encode(aggregated_prompt)) + debug_print(f"Token-Zahl für Batch: {agg_token_count}") except Exception as e: - debug_print(f"Fehler beim Extrahieren des ersten Absatzes: {e}") - return "k.A." - def extract_categories(self, soup): - cat_div = soup.find('div', id="mw-normal-catlinks") - if cat_div: - ul = cat_div.find('ul') - if ul: - cats = [clean_text(li.get_text()) for li in ul.find_all('li')] - return ", ".join(cats) - return "k.A." - def _extract_infobox_value(self, soup, target): - infobox = soup.find('table', class_=lambda c: c and any(kw in c.lower() for kw in ['infobox', 'vcard', 'unternehmen'])) - if not infobox: - return "k.A." - keywords_map = { - 'branche': ['branche', 'industrie', 'tätigkeit', 'geschäftsfeld', 'sektor', 'produkte', 'leistungen', 'aktivitäten', 'wirtschaftszweig'], - 'umsatz': ['umsatz', 'jahresumsatz', 'konzernumsatz', 'gesamtumsatz', 'erlöse', 'umsatzerlöse', 'einnahmen', 'ergebnis', 'jahresergebnis'], - 'mitarbeiter': ['mitarbeiter', 'beschäftigte', 'personal', 'mitarbeiterzahl', 'angestellte', 'belegschaft', 'personalstärke'] - } - keywords = keywords_map.get(target, []) - for row in infobox.find_all('tr'): - header = row.find('th') - if header: - header_text = clean_text(header.get_text()).lower() - if any(kw in header_text for kw in keywords): - value = row.find('td') - if value: - raw_value = clean_text(value.get_text()) - if target == 'branche': - clean_val = re.sub(r'\[.*?\]|\(.*?\)', '', raw_value) - return ' '.join(clean_val.split()).strip() - if target == 'umsatz': - return extract_numeric_value(raw_value, is_umsatz=True) - if target == 'mitarbeiter': - return extract_numeric_value(raw_value, is_umsatz=False) - return "k.A." - def extract_full_infobox(self, soup): - infobox = soup.find('table', class_=lambda c: c and any(kw in c.lower() for kw in ['infobox', 'vcard', 'unternehmen'])) - if not infobox: - return "k.A." - return clean_text(infobox.get_text(separator=' | ')) - def extract_fields_from_infobox_text(self, infobox_text, field_names): - result = {} - tokens = [token.strip() for token in infobox_text.split("|") if token.strip()] - for i, token in enumerate(tokens): - for field in field_names: - if field.lower() in token.lower(): - j = i + 1 - while j < len(tokens) and not tokens[j]: - j += 1 - result[field] = tokens[j] if j < len(tokens) else "k.A." - return result - def extract_company_data(self, page_url): - if not page_url: - return { - 'url': 'k.A.', - 'first_paragraph': 'k.A.', - 'branche': 'k.A.', - 'umsatz': 'k.A.', - 'mitarbeiter': 'k.A.', - 'categories': 'k.A.', - 'full_infobox': 'k.A.' - } - try: - response = requests.get(page_url) - soup = BeautifulSoup(response.text, Config.HTML_PARSER) - full_infobox = self.extract_full_infobox(soup) - extracted_fields = self.extract_fields_from_infobox_text(full_infobox, ['Branche', 'Umsatz', 'Mitarbeiter']) - raw_branche = extracted_fields.get('Branche', self._extract_infobox_value(soup, 'branche')) - raw_umsatz = extracted_fields.get('Umsatz', self._extract_infobox_value(soup, 'umsatz')) - raw_mitarbeiter = extracted_fields.get('Mitarbeiter', self._extract_infobox_value(soup, 'mitarbeiter')) - umsatz_val = extract_numeric_value(raw_umsatz, is_umsatz=True) - mitarbeiter_val = extract_numeric_value(raw_mitarbeiter, is_umsatz=False) - categories_val = self.extract_categories(soup) - first_paragraph = self.extract_first_paragraph(page_url) - return { - 'url': page_url, - 'first_paragraph': first_paragraph, - 'branche': raw_branche, - 'umsatz': umsatz_val, - 'mitarbeiter': mitarbeiter_val, - 'categories': categories_val, - 'full_infobox': full_infobox - } - except Exception as e: - debug_print(f"Extraktionsfehler: {str(e)}") - return { - 'url': 'k.A.', - 'first_paragraph': 'k.A.', - 'branche': 'k.A.', - 'umsatz': 'k.A.', - 'mitarbeiter': 'k.A.', - 'categories': 'k.A.', - 'full_infobox': 'k.A.' - } - @retry_on_failure - def search_company_article(self, company_name, website): - search_terms = self._generate_search_terms(company_name, website) - for term in search_terms: - try: - results = wikipedia.search(term, results=Config.WIKIPEDIA_SEARCH_RESULTS) - debug_print(f"Suchergebnisse für '{term}': {results}") - for title in results: - try: - page = wikipedia.page(title, auto_suggest=False) - if self._validate_article(page, company_name, website): - return page - except (wikipedia.exceptions.DisambiguationError, wikipedia.exceptions.PageError) as e: - debug_print(f"Seitenfehler: {str(e)}") - continue - except Exception as e: - debug_print(f"Suchfehler: {str(e)}") - continue - return None - -# ==================== NEUE FUNKTION: Website Zusammenfassung ==================== -def get_website_raw(url, max_length=1000): - try: - response = requests.get(url, timeout=10) - soup = BeautifulSoup(response.text, Config.HTML_PARSER) - body = soup.find('body') - if body: - text = body.get_text(separator=' ', strip=True) - text = re.sub(r'\s+', ' ', text) - return text[:max_length] - return "k.A." - except Exception as e: - debug_print(f"Fehler beim Abrufen der Website {url}: {e}") - return "k.A." - -def summarize_website_content(raw_text): - if raw_text == "k.A." or raw_text.strip() == "": - return "k.A." - prompt = ( - "Fasse den folgenden Text der Unternehmensstartseite zusammen. " - "Beschreibe kurz das Tätigkeitsfeld, die Produkte und Leistungen des Unternehmens:\n\n" - f"{raw_text}\n\n" - "Zusammenfassung:" - ) + debug_print(f"Fehler beim Token-Counting: {e}") try: with open("api_key.txt", "r") as f: api_key = f.read().strip() except Exception as e: - debug_print(f"Fehler beim Lesen des API-Tokens für Website-Zusammenfassung: {e}") - return "k.A." + debug_print(f"Fehler beim Lesen des API-Tokens (Verifizierung): {e}") + return openai.api_key = api_key try: response = openai.ChatCompletion.create( model=Config.TOKEN_MODEL, - messages=[{"role": "user", "content": prompt}], - temperature=0.3 - ) - result = response.choices[0].message.content.strip() - return result - except Exception as e: - debug_print(f"Fehler beim Erstellen der Website-Zusammenfassung: {e}") - return "k.A." - -# ==================== NEUE FUNKTION: Angepasste evaluate_branche_chatgpt ==================== -def evaluate_branche_chatgpt(crm_branche, beschreibung, wiki_branche, wiki_kategorien, website_summary): - def load_target_branches(): - try: - with open("ziel_Branchenschema.csv", "r", encoding="utf-8") as csvfile: - reader = csv.reader(csvfile) - branches = [row[0] for row in reader if row] - return branches - except Exception as e: - debug_print(f"Fehler beim Laden des Ziel-Branchenschemas: {e}") - return [] - target_branches = load_target_branches() - target_branches_str = "\n".join(target_branches) - focus_branches = [ - "Gutachter / Versicherungen > Baugutachter", - "Gutachter / Versicherungen > Technische Gutachten", - "Gutachter / Versicherungen > Versicherungsgutachten", - "Gutachter / Versicherungen > Medizinische Gutachten", - "Hersteller / Produzenten > Anlagenbau", - "Hersteller / Produzenten > Automaten (Vending, Slot)", - "Hersteller / Produzenten > Gebäudetechnik Allgemein", - "Hersteller / Produzenten > Gebäudetechnik Heizung, Lüftung, Klima", - "Hersteller / Produzenten > Maschinenbau", - "Hersteller / Produzenten > Medizintechnik", - "Service provider (Dienstleister) > Aufzüge und Rolltreppen", - "Service provider (Dienstleister) > Feuer- und Sicherheitssysteme", - "Service provider (Dienstleister) > Servicedienstleister / Reparatur ohne Produktion", - "Service provider (Dienstleister) > Facility Management", - "Versorger > Telekommunikation" - ] - focus_branches_str = "\n".join(focus_branches) - try: - with open("api_key.txt", "r") as f: - api_key = f.read().strip() - except Exception as e: - debug_print(f"Fehler beim Lesen des API-Tokens (Branche): {e}") - return {"branch": "k.A.", "consistency": "k.A.", "justification": "k.A."} - openai.api_key = api_key - - # Wenn weder Wikipedia-Branche noch externe Beschreibung vorliegen, nutze Website-Zusammenfassung als Fallback. - if wiki_branche.strip().lower() == "k.a." and beschreibung.strip().lower() == "k.a.": - beschreibung = website_summary - - system_prompt = ( - "Du bist ein Experte im Field Service Management. Deine Aufgabe ist es, ein Unternehmen basierend auf folgenden Angaben einer Branche zuzuordnen.\n\n" - f"CRM-Branche (Spalte F): {crm_branche if crm_branche.strip() != '' else 'k.A.'}\n" - f"Branchenbeschreibung (Spalte G): {beschreibung if beschreibung.strip() != '' else 'k.A.'}\n" - f"Wikipedia-Branche (Spalte N): {wiki_branche}\n" - f"Wikipedia-Kategorien (Spalte Q): {wiki_kategorien}\n\n" - "Das Ziel-Branchenschema umfasst ALLE gültigen Branchen, also sowohl Fokusbranchen als auch weitere, z. B. 'Housing > Sozialbau Unternehmen'.\n" - "Das vollständige Ziel-Branchenschema lautet:\n" - f"{target_branches_str}\n\n" - "Falls das Unternehmen mehreren Branchen zugeordnet werden könnte, wähle bitte bevorzugt eine Branche aus der folgenden Fokusliste, sofern zutreffend:\n" - f"{focus_branches_str}\n\n" - "Gewichtung der Angaben:\n" - "1. Wikipedia-Branche (Spalte N) zusammen mit Wikipedia-Kategorien (Spalte Q) (höchste Priorität, wenn verifiziert, ansonsten erhöhte Gewichtung der Kategorien)\n" - "2. Branchenbeschreibung (Spalte G)\n" - "3. CRM-Branche (Spalte F)\n\n" - "Ordne das Unternehmen exakt einer der oben genannten Branchen zu (keine zusätzlichen Branchen erfinden). " - "Bitte antworte im Format:\n" - "Branche: \nÜbereinstimmung: \nBegründung: " - ) - - try: - response = openai.ChatCompletion.create( - model="gpt-3.5-turbo", - messages=[{"role": "system", "content": system_prompt}], + messages=[{"role": "system", "content": aggregated_prompt}], temperature=0.0 ) result = response.choices[0].message.content.strip() - debug_print(f"Branchenabgleich ChatGPT Antwort: '{result}'") - branch = "k.A." - consistency = "k.A." - justification = "" - for line in result.split("\n"): - if line.lower().startswith("branche:"): - branch = line.split(":", 1)[1].strip() - elif line.lower().startswith("übereinstimmung:"): - consistency = line.split(":", 1)[1].strip() - elif line.lower().startswith("begründung:"): - justification = line.split(":", 1)[1].strip() - # Überprüfung: falls der Vorschlag nicht im Ziel-Branchenschema enthalten ist - if branch.lower() not in [tb.lower() for tb in target_branches]: - justification = "Vorgeschlagene Branche entspricht nicht dem Ziel-Branchenschema." - branch = "k.A." - consistency = "X" - # Falls der Vorschlag exakt mit der in CRM festgelegten Branche übereinstimmt, wird keine Begründung benötigt. - if crm_branche.strip() and branch.lower() == crm_branche.strip().lower(): - justification = "" - consistency = "ok" - return {"branch": branch, "consistency": consistency, "justification": justification} + debug_print(f"Antwort ChatGPT Verifizierung Batch: {result}") except Exception as e: - debug_print(f"Fehler beim Aufruf der ChatGPT API für Branchenabgleich: {e}") - return {"branch": "k.A.", "consistency": "k.A.", "justification": "k.A."} + debug_print(f"Fehler bei der ChatGPT Anfrage für Verifizierung: {e}") + return + answers = result.split("\n") + for idx, row_num in enumerate(row_indices): + answer = "k.A." + for line in answers: + if line.strip().startswith(f"Eintrag {row_num}:"): + answer = line.split(":", 1)[1].strip() + break + if answer.upper() == "OK": + wiki_confirm = "OK" + alt_article = "" + wiki_explanation = "" + elif answer.upper() == "KEIN WIKIPEDIA-EINTRAG VORHANDEN.": + wiki_confirm = "" + alt_article = "Kein Wikipedia-Eintrag vorhanden." + wiki_explanation = "" + elif answer.startswith("Alternativer Wikipedia-Artikel vorgeschlagen:"): + parts = answer.split(":", 1)[1].split("|") + alt_article = parts[0].strip() if len(parts) > 0 else "k.A." + wiki_explanation = parts[2].strip() if len(parts) > 2 else "" + wiki_confirm = "X" + else: + wiki_confirm = "" + alt_article = answer + wiki_explanation = answer + main_sheet.update(values=[[wiki_confirm]], range_name=f"S{row_num}") + main_sheet.update(values=[[alt_article]], range_name=f"U{row_num}") + main_sheet.update(values=[[wiki_explanation]], range_name=f"V{row_num}") + # Branchenbewertung (Spalte W) wird hier aufgerufen: + crm_branch = data[row_num-1][6] if len(data[row_num-1]) > 6 else "k.A." + ext_branch = data[row_num-1][7] if len(data[row_num-1]) > 7 else "k.A." + wiki_branch = data[row_num-1][14] if len(data[row_num-1]) > 14 else "k.A." + wiki_cats = data[row_num-1][17] if len(data[row_num-1]) > 17 else "k.A." + website_url = data[row_num-1][3] if len(data[row_num-1]) > 3 else "k.A." + website_raw = get_website_raw(website_url) + website_summary = summarize_website_content(website_raw) + branch_result = evaluate_branche_chatgpt(crm_branch, ext_branch, wiki_branch, wiki_cats, website_summary) + main_sheet.update(values=[[branch_result["branch"]]], range_name=f"W{row_num}") + main_sheet.update(values=[[branch_result["consistency"]]], range_name=f"X{row_num}") + main_sheet.update(values=[[branch_result["justification"]]], range_name=f"Y{row_num}") + current_dt = datetime.now().strftime("%Y-%m-%d %H:%M:%S") + main_sheet.update(values=[[current_dt]], range_name=f"AO{row_num}") + main_sheet.update(values=[[Config.VERSION]], range_name=f"AP{row_num}") + main_sheet.update(values=[[str(agg_token_count)]], range_name=f"AQ{row_num}") + debug_print(f"Zeile {row_num} verifiziert: Antwort: {answer}") + time.sleep(Config.RETRY_DELAY) + debug_print("Verifizierungs-Batch abgeschlossen.") # ==================== GOOGLE SHEET HANDLER ==================== class GoogleSheetHandler: @@ -824,7 +406,6 @@ class DataProcessor: if website_url != "k.A." and website_url.strip() != "": website_raw = get_website_raw(website_url) website_summary = summarize_website_content(website_raw) - # Speichere diese Daten in den Spalten AR (Website Rohtext) und AS (Website Zusammenfassung) self.sheet_handler.sheet.update(values=[[website_raw]], range_name=f"AR{row_num}") self.sheet_handler.sheet.update(values=[[website_summary]], range_name=f"AS{row_num}") company_data = {} @@ -1044,281 +625,6 @@ def count_linkedin_contacts(company_name, website, position_query): debug_print(f"Fehler bei der SerpAPI-Suche (Count): {e}") return 0 -# ==================== UMBENENNTE FUNKTION: process_wiki_verification ==================== -def process_wiki_verification(crm_data, wiki_data_str): - prompt_text = ( - "Bitte überprüfe, ob die folgenden beiden Datensätze grundsätzlich zum gleichen Unternehmen gehören. " - "Vergleiche insbesondere den Firmennamen, den Ort und die Branche. " - "Antworte mit 'OK', wenn die Daten übereinstimmen, andernfalls gib eine kurze Begründung aus. " - "Falls in den Wikipedia-Daten 'k.A.' steht, soll ChatGPT auf Basis der vorliegenden Informationen einen alternativen Artikel vorschlagen.\n\n" - f"CRM-Daten:\n{crm_data}\n\n" - f"Wikipedia-Daten:\n{wiki_data_str}\n\n" - "Antwort: " - ) - try: - with open("api_key.txt", "r") as f: - api_key = f.read().strip() - except Exception as e: - debug_print(f"Fehler beim Lesen des API-Tokens: {e}") - return "k.A." - openai.api_key = api_key - try: - response = openai.ChatCompletion.create( - model="gpt-3.5-turbo", - messages=[{"role": "system", "content": prompt_text}], - temperature=0.0 - ) - result = response.choices[0].message.content.strip() - debug_print(f"process_wiki_verification Ergebnis: '{result}'") - if "k.a." in result.lower(): - return "Skipped (k.A.)" - return result - except Exception as e: - debug_print(f"Fehler beim Aufruf der ChatGPT API in process_wiki_verification: {e}") - return "k.A." - -# ==================== ÜBRIGE CHATGPT-FUNKTIONEN ==================== -def evaluate_umsatz_chatgpt(company_name, wiki_umsatz): - try: - with open("api_key.txt", "r") as f: - api_key = f.read().strip() - except Exception as e: - debug_print(f"Fehler beim Lesen des API-Tokens: {e}") - return "k.A." - openai.api_key = api_key - prompt = ( - f"Bitte schätze den Umsatz in Mio. Euro für das Unternehmen '{company_name}'. " - f"Die Wikipedia-Daten zeigen: '{wiki_umsatz}'. " - "Antworte nur mit der Zahl." - ) - try: - response = openai.ChatCompletion.create( - model="gpt-3.5-turbo", - messages=[{"role": "user", "content": prompt}], - temperature=0.0 - ) - result = response.choices[0].message.content.strip() - debug_print(f"ChatGPT Umsatzschätzung: '{result}'") - try: - value = float(result.replace(',', '.')) - return str(int(round(value))) - except Exception as conv_e: - debug_print(f"Fehler bei der Verarbeitung der Umsatzschätzung '{result}': {conv_e}") - return result - except Exception as e: - debug_print(f"Fehler beim Aufruf der ChatGPT API für Umsatzschätzung: {e}") - return "k.A." - -def evaluate_fsm_suitability(company_name, company_data): - try: - with open("api_key.txt", "r") as f: - api_key = f.read().strip() - except Exception as e: - debug_print(f"Fehler beim Lesen des API-Tokens (FSM): {e}") - return {"suitability": "k.A.", "justification": "k.A."} - openai.api_key = api_key - prompt = ( - f"Bitte bewerte, ob das Unternehmen '{company_name}' für den Einsatz einer Field Service Management Lösung geeignet ist. " - "Antworte ausschließlich mit 'Ja' oder 'Nein' und gib eine kurze Begründung." - ) - try: - response = openai.ChatCompletion.create( - model="gpt-3.5-turbo", - messages=[{"role": "system", "content": prompt}], - temperature=0.0 - ) - result = response.choices[0].message.content.strip() - debug_print(f"FSM-Eignungsantwort ChatGPT: '{result}'") - suitability = "k.A." - justification = "" - lines = result.split("\n") - if len(lines) == 1: - parts = result.split(" ", 1) - suitability = parts[0].strip() - justification = parts[1].strip() if len(parts) > 1 else "" - else: - for line in lines: - if line.lower().startswith("eignung:"): - suitability = line.split(":", 1)[1].strip() - elif line.lower().startswith("begründung:"): - justification = line.split(":", 1)[1].strip() - if suitability not in ["Ja", "Nein"]: - parts = result.split(" ", 1) - suitability = parts[0].strip() - justification = " ".join(result.split()[1:]).strip() - return {"suitability": suitability, "justification": justification} - except Exception as e: - debug_print(f"Fehler beim Aufruf der ChatGPT API für FSM-Eignungsprüfung: {e}") - return {"suitability": "k.A.", "justification": "k.A."} - -def evaluate_branche_chatgpt(crm_branche, beschreibung, wiki_branche, wiki_kategorien, website_summary): - def load_target_branches(): - try: - with open("ziel_Branchenschema.csv", "r", encoding="utf-8") as csvfile: - reader = csv.reader(csvfile) - branches = [row[0] for row in reader if row] - return branches - except Exception as e: - debug_print(f"Fehler beim Laden des Ziel-Branchenschemas: {e}") - return [] - target_branches = load_target_branches() - target_branches_str = "\n".join(target_branches) - focus_branches = [ - "Gutachter / Versicherungen > Baugutachter", - "Gutachter / Versicherungen > Technische Gutachten", - "Gutachter / Versicherungen > Versicherungsgutachten", - "Gutachter / Versicherungen > Medizinische Gutachten", - "Hersteller / Produzenten > Anlagenbau", - "Hersteller / Produzenten > Automaten (Vending, Slot)", - "Hersteller / Produzenten > Gebäudetechnik Allgemein", - "Hersteller / Produzenten > Gebäudetechnik Heizung, Lüftung, Klima", - "Hersteller / Produzenten > Maschinenbau", - "Hersteller / Produzenten > Medizintechnik", - "Service provider (Dienstleister) > Aufzüge und Rolltreppen", - "Service provider (Dienstleister) > Feuer- und Sicherheitssysteme", - "Service provider (Dienstleister) > Servicedienstleister / Reparatur ohne Produktion", - "Service provider (Dienstleister) > Facility Management", - "Versorger > Telekommunikation" - ] - focus_branches_str = "\n".join(focus_branches) - try: - with open("api_key.txt", "r") as f: - api_key = f.read().strip() - except Exception as e: - debug_print(f"Fehler beim Lesen des API-Tokens (Branche): {e}") - return {"branch": "k.A.", "consistency": "k.A.", "justification": "k.A."} - openai.api_key = api_key - - # Wenn sowohl Wikipedia-Branche als auch externe Beschreibung fehlen, nutze Website-Zusammenfassung als Fallback - if wiki_branche.strip().lower() == "k.a." and beschreibung.strip().lower() == "k.a.": - beschreibung = website_summary - - system_prompt = ( - "Du bist ein Experte im Field Service Management. Deine Aufgabe ist es, ein Unternehmen basierend auf folgenden Angaben einer Branche zuzuordnen.\n\n" - f"CRM-Branche (Spalte F): {crm_branche if crm_branche.strip() != '' else 'k.A.'}\n" - f"Branchenbeschreibung (Spalte G): {beschreibung if beschreibung.strip() != '' else 'k.A.'}\n" - f"Wikipedia-Branche (Spalte N): {wiki_branche}\n" - f"Wikipedia-Kategorien (Spalte Q): {wiki_kategorien}\n\n" - "Das Ziel-Branchenschema umfasst ALLE gültigen Branchen, also sowohl Fokusbranchen als auch weitere, z. B. 'Housing > Sozialbau Unternehmen'.\n" - "Das vollständige Ziel-Branchenschema lautet:\n" - f"{target_branches_str}\n\n" - "Falls das Unternehmen mehreren Branchen zugeordnet werden könnte, wähle bitte bevorzugt eine Branche aus der folgenden Fokusliste, sofern zutreffend:\n" - f"{focus_branches_str}\n\n" - "Gewichtung der Angaben:\n" - "1. Wikipedia-Branche (Spalte N) zusammen mit Wikipedia-Kategorien (Spalte Q) (höchste Priorität, wenn verifiziert, ansonsten erhöhte Gewichtung der Kategorien)\n" - "2. Branchenbeschreibung (Spalte G) – (hier übernimmt dann gegebenenfalls auch der Website-Zusammenfassungstext, wenn beide fehlen)\n" - "3. CRM-Branche (Spalte F)\n\n" - "Ordne das Unternehmen exakt einer der oben genannten Branchen zu (keine zusätzlichen Branchen erfinden). " - "Bitte antworte im Format:\n" - "Branche: \nÜbereinstimmung: \nBegründung: " - ) - - try: - response = openai.ChatCompletion.create( - model="gpt-3.5-turbo", - messages=[{"role": "system", "content": system_prompt}], - temperature=0.0 - ) - result = response.choices[0].message.content.strip() - debug_print(f"Branchenabgleich ChatGPT Antwort: '{result}'") - branch = "k.A." - consistency = "k.A." - justification = "" - for line in result.split("\n"): - if line.lower().startswith("branche:"): - branch = line.split(":", 1)[1].strip() - elif line.lower().startswith("übereinstimmung:"): - consistency = line.split(":", 1)[1].strip() - elif line.lower().startswith("begründung:"): - justification = line.split(":", 1)[1].strip() - if branch.lower() not in [tb.lower() for tb in target_branches]: - justification = "Vorgeschlagene Branche entspricht nicht dem Ziel-Branchenschema." - branch = "k.A." - consistency = "X" - if crm_branche.strip() and branch.lower() == crm_branche.strip().lower(): - justification = "" - consistency = "ok" - return {"branch": branch, "consistency": consistency, "justification": justification} - except Exception as e: - debug_print(f"Fehler beim Aufruf der ChatGPT API für Branchenabgleich: {e}") - return {"branch": "k.A.", "consistency": "k.A.", "justification": "k.A."} - -def evaluate_servicetechnicians_estimate(company_name, company_data): - try: - with open("serpApiKey.txt", "r") as f: - serp_key = f.read().strip() - except Exception as e: - debug_print(f"Fehler beim Lesen des SerpAPI-Schlüssels (Servicetechniker): {e}") - return "k.A." - try: - with open("api_key.txt", "r") as f: - api_key = f.read().strip() - except Exception as e: - debug_print(f"Fehler beim Lesen des API-Tokens (Servicetechniker): {e}") - return "k.A." - openai.api_key = api_key - prompt = ( - f"Bitte schätze auf Basis öffentlich zugänglicher Informationen (insbesondere verifizierte Wikipedia-Daten) " - f"die Anzahl der Servicetechniker für das Unternehmen '{company_name}' ein. " - "Gib die Antwort ausschließlich in einer der folgenden Kategorien aus: '<50 Techniker', '>100 Techniker', '>200 Techniker', '>500 Techniker'." - ) - try: - response = openai.ChatCompletion.create( - model="gpt-3.5-turbo", - messages=[{"role": "system", "content": prompt}], - temperature=0.0 - ) - result = response.choices[0].message.content.strip() - debug_print(f"Schätzung Servicetechniker ChatGPT: '{result}'") - return result - except Exception as e: - debug_print(f"Fehler beim Aufruf der ChatGPT API für Servicetechniker-Schätzung: {e}") - return "k.A." - -def evaluate_servicetechnicians_explanation(company_name, st_estimate, company_data): - try: - with open("api_key.txt", "r") as f: - api_key = f.read().strip() - except Exception as e: - debug_print(f"Fehler beim Lesen des API-Tokens (ST-Erklärung): {e}") - return "k.A." - openai.api_key = api_key - prompt = ( - f"Bitte erkläre, warum du für das Unternehmen '{company_name}' die Anzahl der Servicetechniker als '{st_estimate}' geschätzt hast. " - "Berücksichtige dabei öffentlich zugängliche Informationen (z.B. Branche, Umsatz, Mitarbeiterzahl)." - ) - try: - response = openai.ChatCompletion.create( - model="gpt-3.5-turbo", - messages=[{"role": "system", "content": prompt}], - temperature=0.0 - ) - result = response.choices[0].message.content.strip() - debug_print(f"Servicetechniker-Erklärung ChatGPT: '{result}'") - return result - except Exception as e: - debug_print(f"Fehler beim Aufruf der ChatGPT API für Servicetechniker-Erklärung: {e}") - return "k.A." - -def map_internal_technicians(value): - try: - num = int(value) - except Exception: - return "k.A." - if num < 50: - return "<50 Techniker" - elif num < 100: - return ">100 Techniker" - elif num < 200: - return ">200 Techniker" - else: - return ">500 Techniker" - -def process_batch_token_count(): - debug_print("Batch Token Count Modus (Modus 8) wird ausgeführt.") - time.sleep(Config.RETRY_DELAY) - debug_print("Batch Token Count abgeschlossen.") - # ==================== MAIN-FUNKTION ==================== def main(): global MODE, LOG_FILE @@ -1336,7 +642,6 @@ def main(): MODE = "1" LOG_FILE = create_log_filename(MODE) debug_print(f"Start Betriebsmodus {MODE}") - # Log-Prompt Übersicht for entry in prompt_overview()[1:]: debug_print(f"{entry[0]}: {entry[1]}") dp = DataProcessor()