Floke/Brancheneinstufung2
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

deepseek V7

Browse Source 
Vollständige Implementierung der _extract_infobox_value-Methode

Erweiterte Schlüsselwörter für deutsche Infoboxen

Verbesserte Textbereinigung für Branchenangaben

Toleranz für verschiedene Zahlenformate

Debug-Output für jeden Verarbeitungsschritt
This commit is contained in:
Floke
2025-03-31 16:45:02 +00:00
parent 661825cb63
commit e2ebae10af
1 changed files with 61 additions and 60 deletions
Download Patch File Download Diff File Expand all files Collapse all files

67
brancheneinstufung.py
View File

@@ -179,70 +179,71 @@ class WikipediaScraper:
debug_print(f"Extraktionsfehler: {str(e)}") debug_print(f"Extraktionsfehler: {str(e)}")
return {'branche': 'k.A.', 'umsatz': 'k.A.', 'url': page_url} return {'branche': 'k.A.', 'umsatz': 'k.A.', 'url': page_url}
def _extract_infobox_value(self, soup, target):
"""Verbesserte Infobox-Extraktion mit erweiterten Mustern"""
# Erweiterte Infobox-Erkennung
def _extract_infobox_value(self, soup, target): def _extract_infobox_value(self, soup, target):
"""Robuste Infobox-Extraktion mit erweiterten Mustern""" """Robuste Infobox-Extraktion mit erweiterten Mustern"""
debug_print(f"Starte Extraktion für: {target}")
# Erweiterte Infobox-Erkennung # Erweiterte Infobox-Erkennung
infobox = soup.find('table', {'class': lambda c: c and 'infobox' in c.lower()}) infobox = soup.find('table', class_=lambda c: c and any(
kw in c.lower() for kw in ['infobox', 'vcard', 'unternehmen', 'firmendaten']
))
if not infobox: if not infobox:
debug_print("Keine Infobox mit Klasse 'infobox' gefunden") debug_print("Keine Infobox gefunden")
infobox = soup.find('table', {'class': 'wikitable'})
if not infobox:
return "k.A." return "k.A."
# Erweiterte Keywords für Deutsch
keywords = { keywords = {
'branche': [ 'branche': [
'branche', 'industrie', 'tätigkeitsfeld', 'branche', 'industrie', 'tätigkeitsfeld',
'geschäftsfeld', 'sektor', 'produkte', 'geschäftsfeld', 'sektor', 'branchen',
'leistungen', 'aktivitäten', 'geschäftsbereich' 'wirtschaftszweig', 'tätigkeitsbereich',
'produkte', 'leistungen', 'aktivität'
], ],
'umsatz': [ 'umsatz': [
'umsatz', 'jahresumsatz', 'konzernumsatz', 'umsatz', 'jahresumsatz', 'konzernumsatz',
'gesamtumsatz', 'erlöse', 'umsatzerlöse', 'gesamtumsatz', 'umsatzerlöse', 'erlöse',
'ergebnis', 'einnahmen' 'umsatzentwicklung', 'ergebnis',
'einnahmen', 'jahresergebnis'
] ]
}[target] }[target]
# Durchsuche alle Tabellenzeilen # Durchsuche alle Tabellenzeilen
for row in infobox.find_all('tr'): for row in infobox.find_all('tr'):
th = row.find('th') header = row.find('th')
if not th: if header:
continue header_text = clean_text(header.get_text()).lower()
header_text = clean_text(th.get_text()).lower()
debug_print(f"Prüfe Header: {header_text}") debug_print(f"Prüfe Header: {header_text}")
if any(kw in header_text for kw in keywords): if any(kw in header_text for kw in keywords):
td = row.find('td') value_cell = row.find('td')
if not td: if value_cell:
continue value = clean_text(value_cell.get_text())
value = clean_text(td.get_text()) # Branchenbereinigung
# Spezielle Verarbeitung für Branche
if target == 'branche': if target == 'branche':
# Entferne überflüssige Zusätze # Entferne Klammerzusätze und Formatierungen
value = re.sub(r'\(.*?\)', '', value) value = re.sub(r'\[.*?\]|\(.*?\)', '', value)
return value.strip() return ' '.join(value.split()).strip()
# Umsatzverarbeitung # Umsatzbereinigung
if target == 'umsatz': if target == 'umsatz':
# Finde numerische Werte mit Einheiten # Finde numerische Werte
match = re.search( match = re.search(
r'(\d{1,3}(?:[.,]\d{3})*)\s*(?:Mio\.?|Millionen|Mrd\.?|Milliarden)?', r'(\d{1,3}(?:[.,]\d{3})*)\s*'
value.replace('.', '').replace(',', '.') r'(?:Mio\.?|Millionen|Mrd\.?|Milliarden)?\s*'
r'(?:€|Euro|EUR)?',
value.replace('.', '').replace(',', '.'),
re.IGNORECASE
) )
if match: if match:
number = float(match.group(1)) num_value = float(match.group(1))
if 'mrd' in value.lower() or 'milliarden' in value.lower(): if 'mrd' in value.lower() or 'milliarden' in value.lower():
number *= 1000 num_value *= 1000
return f"{number:.1f} Mio €" return f"{num_value:.1f} Mio €"
return value.strip() return value.strip()
debug_print(f"{target}-Eintrag nicht gefunden") debug_print(f"{target} nicht gefunden")
return "k.A." return "k.A."
# ==================== DATA PROCESSOR ==================== # ==================== DATA PROCESSOR ====================