Priorisierung url in Infobox
Infobox-Links als definitiver Beleg: In der Methode _validate_article wird nun die Infobox des Wikipedia-Artikels nach externen Links durchsucht. Wird der Domain-Key (extrahiert aus der URL) in einem dieser Links gefunden, wird der Artikel ohne weiteren Ähnlichkeitsvergleich als korrekt akzeptiert. Optimierte Suchbegriff-Generierung: Die Funktion _generate_search_terms nutzt nun zuerst den Domain-Key, dann die ersten zwei Wörter des Firmennamens und zuletzt den vollständigen Namen, um die relevantesten Treffer zu erzielen. Weitere kleinere Verbesserungen: Debug-Log-Ausgaben wurden angepasst, um den Such- und Validierungsprozess besser nachvollziehen zu können.
This commit is contained in:
@@ -12,7 +12,7 @@ import csv
|
||||
|
||||
# ==================== KONFIGURATION ====================
|
||||
class Config:
|
||||
VERSION = "1.1.1"
|
||||
VERSION = "1.1.2"
|
||||
LANG = "de"
|
||||
CREDENTIALS_FILE = "service_account.json"
|
||||
SHEET_URL = "https://docs.google.com/spreadsheets/d/1u_gHr9JUfmV1-iviRzbSe3575QEp7KLhK5jFV_gJcgo"
|
||||
@@ -84,7 +84,7 @@ class WikipediaScraper:
|
||||
wikipedia.set_lang(Config.LANG)
|
||||
|
||||
def _get_domain_key(self, website):
|
||||
"""Extrahiert den Domain-Key aus der URL (erster Teil ohne Protokoll und www)"""
|
||||
"""Extrahiert den Domain-Key aus der URL (ohne Protokoll und www)"""
|
||||
if not website:
|
||||
return ""
|
||||
website = website.lower().strip()
|
||||
@@ -97,47 +97,56 @@ class WikipediaScraper:
|
||||
|
||||
def _generate_search_terms(self, company_name, website):
|
||||
"""
|
||||
Generiert Suchbegriffe basierend auf:
|
||||
1. Dem Original-Firmennamen
|
||||
2. Den ersten zwei Wörtern des Firmennamens
|
||||
3. Dem Domain-Key der Website (sofern vorhanden)
|
||||
Generiert Suchbegriffe in folgender Reihenfolge:
|
||||
1. Domain-Key (falls vorhanden)
|
||||
2. Die ersten zwei Wörter des Firmennamens
|
||||
3. Der vollständige Firmenname
|
||||
"""
|
||||
terms = []
|
||||
original_name = company_name.strip()
|
||||
candidate = " ".join(company_name.split()[:2])
|
||||
if original_name:
|
||||
terms.append(original_name)
|
||||
domain_key = self._get_domain_key(website)
|
||||
if domain_key:
|
||||
terms.append(domain_key)
|
||||
candidate = " ".join(company_name.split()[:2]).strip()
|
||||
if candidate and candidate not in terms:
|
||||
terms.append(candidate)
|
||||
domain_key = self._get_domain_key(website)
|
||||
if domain_key and domain_key not in terms:
|
||||
terms.append(domain_key)
|
||||
original = company_name.strip()
|
||||
if original and original not in terms:
|
||||
terms.append(original)
|
||||
debug_print(f"Generierte Suchbegriffe: {terms}")
|
||||
return terms
|
||||
|
||||
def _validate_article(self, page, company_name, domain_key):
|
||||
"""
|
||||
Validiert den Artikel:
|
||||
- Prüft, ob der Domain-Key im HTML-Inhalt vorkommt (falls vorhanden)
|
||||
- Vergleicht den Wikipedia-Titel mit dem Firmennamen mittels Ähnlichkeitsvergleich
|
||||
- Sucht in der Infobox nach externen Links, die den Domain-Key enthalten.
|
||||
Wird der Domain-Key gefunden, wird der Artikel als definitiv korrekt akzeptiert.
|
||||
- Andernfalls wird der Wikipedia-Titel mit dem Firmennamen mittels Ähnlichkeitsvergleich geprüft.
|
||||
"""
|
||||
# Zuerst: Prüfe, ob der Domain-Key in den Links der Infobox vorkommt.
|
||||
if domain_key:
|
||||
try:
|
||||
html_raw = requests.get(page.url).text
|
||||
soup = BeautifulSoup(html_raw, Config.HTML_PARSER)
|
||||
infobox = soup.find('table', class_=lambda c: c and 'infobox' in c.lower())
|
||||
if infobox:
|
||||
links = infobox.find_all('a', href=True)
|
||||
for link in links:
|
||||
href = link['href'].lower()
|
||||
if domain_key in href:
|
||||
debug_print(f"Definitiver Link-Match in Infobox gefunden: {href}")
|
||||
return True
|
||||
except Exception as e:
|
||||
debug_print(f"Fehler beim Extrahieren des Infobox-Links: {str(e)}")
|
||||
# Falls kein definitiver Link-Match, mache den Ähnlichkeitsvergleich:
|
||||
clean_title = re.sub(r'\(.*?\)', '', page.title).lower()
|
||||
clean_company = company_name.lower().strip()
|
||||
similarity = SequenceMatcher(None, clean_title, clean_company).ratio()
|
||||
debug_print(f"Ähnlichkeit: {similarity:.2f} ({clean_title} vs {clean_company})")
|
||||
if domain_key:
|
||||
try:
|
||||
html_raw = requests.get(page.url).text.lower()
|
||||
if domain_key not in html_raw:
|
||||
debug_print(f"Domain-Hinweis '{domain_key}' nicht gefunden")
|
||||
return False
|
||||
except Exception as e:
|
||||
debug_print(f"Domain-Check fehlgeschlagen: {str(e)}")
|
||||
return similarity >= Config.SIMILARITY_THRESHOLD
|
||||
|
||||
@retry_on_failure
|
||||
def search_company_article(self, company_name, website):
|
||||
"""Sucht zuerst mit optimierten Suchbegriffen (Name, Candidate, Domain-Key) nach dem Artikel."""
|
||||
"""Sucht mit optimierten Suchbegriffen (Domain-Key, Candidate, Name) nach dem Wikipedia-Artikel."""
|
||||
search_terms = self._generate_search_terms(company_name, website)
|
||||
domain_key = self._get_domain_key(website)
|
||||
for term in search_terms:
|
||||
@@ -246,33 +255,4 @@ class DataProcessor:
|
||||
print(f"\n[{datetime.now().strftime('%H:%M:%S')}] Verarbeite Zeile {row_num}: {company_name}")
|
||||
article = self.wiki_scraper.search_company_article(company_name, website)
|
||||
if article:
|
||||
company_data = self.wiki_scraper.extract_company_data(article.url)
|
||||
else:
|
||||
company_data = {'branche': 'k.A.', 'umsatz': 'k.A.', 'url': '', 'full_infobox': 'k.A.'}
|
||||
|
||||
current_values = self.sheet_handler.sheet.row_values(row_num)
|
||||
new_values = [
|
||||
company_data.get('full_infobox', 'k.A.'), # Spalte G: kompletter Infobox-Text
|
||||
company_data['branche'] if company_data['branche'] != "k.A." else current_values[6] if len(current_values) > 6 else "k.A.",
|
||||
"k.A.",
|
||||
company_data['umsatz'] if company_data['umsatz'] != "k.A." else current_values[8] if len(current_values) > 8 else "k.A.",
|
||||
"k.A.", "k.A.", "k.A.",
|
||||
company_data['url'] if company_data['url'] else current_values[12] if len(current_values) > 12 else "",
|
||||
datetime.now().strftime("%Y-%m-%d %H:%M:%S"),
|
||||
"k.A.", "k.A.",
|
||||
Config.VERSION
|
||||
]
|
||||
self.sheet_handler.update_row(row_num, new_values)
|
||||
print(f"✅ Aktualisiert: Branche: {new_values[1]}, Umsatz: {new_values[3]}, URL: {new_values[7]}")
|
||||
time.sleep(Config.RETRY_DELAY)
|
||||
|
||||
# ==================== MAIN ====================
|
||||
if __name__ == "__main__":
|
||||
try:
|
||||
num_rows = int(input("Wieviele Zeilen sollen überprüft werden? "))
|
||||
except Exception as e:
|
||||
print("Ungültige Eingabe. Bitte eine Zahl eingeben.")
|
||||
exit(1)
|
||||
processor = DataProcessor()
|
||||
processor.process_rows(num_rows)
|
||||
print("\n✅ Wikipedia-Auswertung abgeschlossen")
|
||||
company_data = self.w_
|
||||
|
||||
Reference in New Issue
Block a user