diff --git a/brancheneinstufung.py b/brancheneinstufung.py index 6fbe3d66..026879cd 100644 --- a/brancheneinstufung.py +++ b/brancheneinstufung.py @@ -1174,25 +1174,37 @@ def _process_single_row(self, row_num, row_data, process_wiki=True, process_chat else: debug_print(f"Zeile {row_num}: Keine Website gefunden für {company_name}.") - # Unabhängig vom process_wiki-Flag: Führe Website-Scraping durch, sofern eine Website vorliegt - website_raw = "k.A." - website_summary = "k.A." - if website_url.strip() != "" and website_url.strip().lower() != "k.a.": - website_raw = get_website_raw(website_url) - website_summary = summarize_website_content(website_raw) - try: - self.sheet_handler.sheet.update(values=[[website_raw]], range_name=f"AR{row_num}") - debug_print(f"Zeile {row_num}: Website-Rohtext in Spalte AR erfolgreich aktualisiert.") - except Exception as e: - debug_print(f"Zeile {row_num}: Fehler beim Update von Spalte AR: {e}") - try: - self.sheet_handler.sheet.update(values=[[website_summary]], range_name=f"AS{row_num}") - debug_print(f"Zeile {row_num}: Website-Zusammenfassung in Spalte AS erfolgreich aktualisiert.") - except Exception as e: - debug_print(f"Zeile {row_num}: Fehler beim Update von Spalte AS: {e}") - debug_print(f"Zeile {row_num}: Website-Daten gescrapt. Rohtext (Länge {len(website_raw)}): {website_raw[:100]}..., Zusammenfassung: {website_summary}") - else: - debug_print(f"Zeile {row_num}: Kein gültiger Website-URL vorhanden, Website-Scraping wird übersprungen.") +# Unabhängig vom process_wiki-Flag: Führe Website-Scraping durch, sofern eine Website vorliegt +website_raw = "k.A." +website_summary = "k.A." +if website_url.strip() != "" and website_url.strip().lower() != "k.a.": + # Extrahiere den Rohtext der Website + website_raw = get_website_raw(website_url) + # Erstelle eine Zusammenfassung des Website-Contents + website_summary = summarize_website_content(website_raw) + + # Debug: Ausgabe der Länge und eines Ausschnitts des Rohtexts + debug_print(f"Zeile {row_num}: Gescrappter Website-Rohtext Länge: {len(website_raw)}; erster Ausschnitt: {website_raw[:100]}") + debug_print(f"Zeile {row_num}: Website-Zusammenfassung: {website_summary}") + + # Aktualisiere Spalte AR (Website-Rohtext) + try: + update_result_ar = self.sheet_handler.sheet.update(values=[[website_raw]], range_name=f"AR{row_num}") + debug_print(f"Zeile {row_num}: Spalte AR Update erfolgreich: {update_result_ar}") + except Exception as e: + debug_print(f"Zeile {row_num}: Fehler beim Update von Spalte AR: {e}") + + # Aktualisiere Spalte AS (Website Zusammenfassung) + try: + update_result_as = self.sheet_handler.sheet.update(values=[[website_summary]], range_name=f"AS{row_num}") + debug_print(f"Zeile {row_num}: Spalte AS Update erfolgreich: {update_result_as}") + except Exception as e: + debug_print(f"Zeile {row_num}: Fehler beim Update von Spalte AS: {e}") + + debug_print(f"Zeile {row_num}: Website-Daten gescrapt. Rohtext (Länge {len(website_raw)}): {website_raw[:100]}..., Zusammenfassung: {website_summary}") +else: + debug_print(f"Zeile {row_num}: Kein gültiger Website-URL vorhanden, Website-Scraping wird übersprungen.") + # Weiterer Verarbeitungsteil: Wikipedia-Verarbeitung (falls process_wiki True) wiki_update_range = f"L{row_num}:R{row_num}"