diff --git a/brancheneinstufung.py b/brancheneinstufung.py index f15dd2da..78191d12 100644 --- a/brancheneinstufung.py +++ b/brancheneinstufung.py @@ -12,7 +12,7 @@ import csv # ==================== KONFIGURATION ==================== class Config: - VERSION = "1.1.1" + VERSION = "1.1.2" LANG = "de" CREDENTIALS_FILE = "service_account.json" SHEET_URL = "https://docs.google.com/spreadsheets/d/1u_gHr9JUfmV1-iviRzbSe3575QEp7KLhK5jFV_gJcgo" @@ -84,7 +84,7 @@ class WikipediaScraper: wikipedia.set_lang(Config.LANG) def _get_domain_key(self, website): - """Extrahiert den Domain-Key aus der URL (erster Teil ohne Protokoll und www)""" + """Extrahiert den Domain-Key aus der URL (ohne Protokoll und www)""" if not website: return "" website = website.lower().strip() @@ -97,47 +97,56 @@ class WikipediaScraper: def _generate_search_terms(self, company_name, website): """ - Generiert Suchbegriffe basierend auf: - 1. Dem Original-Firmennamen - 2. Den ersten zwei Wörtern des Firmennamens - 3. Dem Domain-Key der Website (sofern vorhanden) + Generiert Suchbegriffe in folgender Reihenfolge: + 1. Domain-Key (falls vorhanden) + 2. Die ersten zwei Wörter des Firmennamens + 3. Der vollständige Firmenname """ terms = [] - original_name = company_name.strip() - candidate = " ".join(company_name.split()[:2]) - if original_name: - terms.append(original_name) + domain_key = self._get_domain_key(website) + if domain_key: + terms.append(domain_key) + candidate = " ".join(company_name.split()[:2]).strip() if candidate and candidate not in terms: terms.append(candidate) - domain_key = self._get_domain_key(website) - if domain_key and domain_key not in terms: - terms.append(domain_key) + original = company_name.strip() + if original and original not in terms: + terms.append(original) debug_print(f"Generierte Suchbegriffe: {terms}") return terms def _validate_article(self, page, company_name, domain_key): """ Validiert den Artikel: - - Prüft, ob der Domain-Key im HTML-Inhalt vorkommt (falls vorhanden) - - Vergleicht den Wikipedia-Titel mit dem Firmennamen mittels Ähnlichkeitsvergleich + - Sucht in der Infobox nach externen Links, die den Domain-Key enthalten. + Wird der Domain-Key gefunden, wird der Artikel als definitiv korrekt akzeptiert. + - Andernfalls wird der Wikipedia-Titel mit dem Firmennamen mittels Ähnlichkeitsvergleich geprüft. """ + # Zuerst: Prüfe, ob der Domain-Key in den Links der Infobox vorkommt. + if domain_key: + try: + html_raw = requests.get(page.url).text + soup = BeautifulSoup(html_raw, Config.HTML_PARSER) + infobox = soup.find('table', class_=lambda c: c and 'infobox' in c.lower()) + if infobox: + links = infobox.find_all('a', href=True) + for link in links: + href = link['href'].lower() + if domain_key in href: + debug_print(f"Definitiver Link-Match in Infobox gefunden: {href}") + return True + except Exception as e: + debug_print(f"Fehler beim Extrahieren des Infobox-Links: {str(e)}") + # Falls kein definitiver Link-Match, mache den Ähnlichkeitsvergleich: clean_title = re.sub(r'\(.*?\)', '', page.title).lower() clean_company = company_name.lower().strip() similarity = SequenceMatcher(None, clean_title, clean_company).ratio() debug_print(f"Ähnlichkeit: {similarity:.2f} ({clean_title} vs {clean_company})") - if domain_key: - try: - html_raw = requests.get(page.url).text.lower() - if domain_key not in html_raw: - debug_print(f"Domain-Hinweis '{domain_key}' nicht gefunden") - return False - except Exception as e: - debug_print(f"Domain-Check fehlgeschlagen: {str(e)}") return similarity >= Config.SIMILARITY_THRESHOLD @retry_on_failure def search_company_article(self, company_name, website): - """Sucht zuerst mit optimierten Suchbegriffen (Name, Candidate, Domain-Key) nach dem Artikel.""" + """Sucht mit optimierten Suchbegriffen (Domain-Key, Candidate, Name) nach dem Wikipedia-Artikel.""" search_terms = self._generate_search_terms(company_name, website) domain_key = self._get_domain_key(website) for term in search_terms: @@ -246,33 +255,4 @@ class DataProcessor: print(f"\n[{datetime.now().strftime('%H:%M:%S')}] Verarbeite Zeile {row_num}: {company_name}") article = self.wiki_scraper.search_company_article(company_name, website) if article: - company_data = self.wiki_scraper.extract_company_data(article.url) - else: - company_data = {'branche': 'k.A.', 'umsatz': 'k.A.', 'url': '', 'full_infobox': 'k.A.'} - - current_values = self.sheet_handler.sheet.row_values(row_num) - new_values = [ - company_data.get('full_infobox', 'k.A.'), # Spalte G: kompletter Infobox-Text - company_data['branche'] if company_data['branche'] != "k.A." else current_values[6] if len(current_values) > 6 else "k.A.", - "k.A.", - company_data['umsatz'] if company_data['umsatz'] != "k.A." else current_values[8] if len(current_values) > 8 else "k.A.", - "k.A.", "k.A.", "k.A.", - company_data['url'] if company_data['url'] else current_values[12] if len(current_values) > 12 else "", - datetime.now().strftime("%Y-%m-%d %H:%M:%S"), - "k.A.", "k.A.", - Config.VERSION - ] - self.sheet_handler.update_row(row_num, new_values) - print(f"✅ Aktualisiert: Branche: {new_values[1]}, Umsatz: {new_values[3]}, URL: {new_values[7]}") - time.sleep(Config.RETRY_DELAY) - -# ==================== MAIN ==================== -if __name__ == "__main__": - try: - num_rows = int(input("Wieviele Zeilen sollen überprüft werden? ")) - except Exception as e: - print("Ungültige Eingabe. Bitte eine Zahl eingeben.") - exit(1) - processor = DataProcessor() - processor.process_rows(num_rows) - print("\n✅ Wikipedia-Auswertung abgeschlossen") + company_data = self.w_