Floke/Brancheneinstufung2
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
1,231 Commits 3 Branches 0 Tags
36e28be05186f650a5ea2533087375bf7f83f98d
Commit Graph

1231 Commits

This Branch
This Branch
All Branches
Author SHA1 Message Date
Floke
36e28be051 app.py aktualisiert 2025-08-08 08:40:10 +00:00
Floke
e916e4ebc1 feat(duplicate-checker): Quality-first++ – Domain-Gate, Location-Penalties, Smart Blocking (IDF-ligh 
- Domain-Gate: Domain (100) zählt nur, wenn Name >= MIN_NAME_FOR_DOMAIN (70) ODER (City & Country) matchen
- Location-Penalties: City-Mismatch -30, Country-Mismatch -40 (nur wenn Felder befüllt)
- Name-Scoring: max(token_set, partial, token_sort) auf bereinigten Tokens (Stopwörter + City-Tokens)
- City-Bias-Guard: City-only Overlap -> Name-Score Cap auf 70
- Rare-Token-Check (IDF-light): Name-only-Matches brauchen seltenen Token-Overlap
- Weak-Threshold: 95, wenn weder Domain_used noch (City & Country) matchen
- Smart Blocking: Domain-Index -> seltenster Token -> Prefilter (partial>=70, Top 30, nur wenn seltenster Token im Kandidaten vorkommt)
- SerpAPI: nur für Matching-Accounts und nur wenn B/E leer; schreibt „Gefundene Website“ + „Serp Vertrauen“, Domain-100 nur bei Vertrauen=hoch
- Output: neue Spalten „Gefundene Website“, „Serp Vertrauen“, „Match“, „Score“, „Match_Grund“
- Writeback: SAFE (alle Originalspalten), interne Felder werden gedroppt + CSV-Backup
- Logging: Log/{timestamp}_duplicate_check_v2.15.txt, Summary-Metriken am Ende
 2025-08-08 07:40:50 +00:00
Floke
56430d6838 duplicate_checker.py aktualisiert 2025-08-08 06:35:24 +00:00
Floke
96ba680cb9 duplicate_checker.py aktualisiert 2025-08-08 06:31:57 +00:00
Floke
aea5d45c7d feat(duplicate-checker): quality-first Matching (Domain-Gate, Location-Penalties, Smart Blocking) 
- Domain-Gate: Domain-Score (100) nur, wenn Name >= MIN_NAME_FOR_DOMAIN (default 70) ODER Ort+Land exakt matchen
- Location-Penalties: City-Mismatch -30, Country-Mismatch -40 (wenn Felder befüllt)
- Smart Blocking: Domain-Index -> seltenster Name-Token (Stopwörter gefiltert) -> Prefilter (partial_ratio >= 60, Top 50)
- Name-Score: max(token_set_ratio, partial_ratio, token_sort_ratio) + Name-only Bonus (+20) bei starken Namen
- SerpAPI nur für Matching-Accounts: schreibt "Gefundene Website"; Domain wird NUR bei Vertrauen=hoch genutzt
- Serp-Trust: hoch/mittel/niedrig (Token-Check gegen Domain)
- Transparenz: neue Spalten "Match", "Score", "Match_Grund", "Gefundene Website", "Serp Vertrauen"
- Safe Writeback: Originalspalten bleiben erhalten; interne Felder werden vor Write entfernt
- Logs: Log/{$timestamp}_duplicate_check_v2.13.txt, Summary-Metriken am Ende
- Backup: Log/{$timestamp}_backup_Matching_Accounts.csv

BREAKING CHANGES: none
 2025-08-08 06:28:35 +00:00
Floke
8e80a3f75e duplicate_checker.py aktualisiert 2025-08-08 06:11:37 +00:00
Floke
f420b84aee duplicate_checker.py aktualisiert 2025-08-08 06:07:04 +00:00
Floke
ec56daa9ea duplicate_checker.py aktualisiert 2025-08-08 06:00:19 +00:00
Floke
be3f48aceb url_check nur für matching 2025-08-08 05:43:45 +00:00
Floke
aa4cf6ed24 url check ergänzt 2025-08-08 05:34:32 +00:00
Floke
4cd5dccc6f duplicate_checker.py aktualisiert 2025-08-06 14:04:03 +00:00
Floke
e58e493e38 duplicate_checker.py aktualisiert 2025-08-06 13:50:38 +00:00
Floke
3febe14526 duplicate_checker.py aktualisiert 2025-08-06 13:39:30 +00:00
Floke
63d014b057 duplicate_checker.py aktualisiert 2025-08-06 13:35:25 +00:00
Floke
4f6d51df56 duplicate_checker.py aktualisiert 2025-08-06 13:28:50 +00:00
Floke
558b75f325 duplicate_checker.py aktualisiert 2025-08-06 13:19:44 +00:00
Floke
e43efa44cb duplicate_checker.py aktualisiert 2025-08-06 13:11:09 +00:00
Floke
cfd1e8b536 duplicate_checker.py aktualisiert 2025-08-06 12:50:12 +00:00
Floke
8d717f3b9f duplicate_checker.py aktualisiert 2025-08-06 12:42:02 +00:00
Floke
99dec72345 duplicate_checker.py aktualisiert 2025-08-06 11:37:35 +00:00
Floke
a3315eae3d duplicate_checker.py aktualisiert 2025-08-06 10:32:38 +00:00
Floke
b9a046bd0b Add Logging 2025-08-06 09:31:33 +00:00
Floke
9193ab1a2f duplicate_checker.py aktualisiert 2025-08-06 09:08:12 +00:00
Floke
4aa1effee1 duplicate_checker.py aktualisiert 2025-08-06 09:07:10 +00:00
Floke
dfcb270a7f duplicate_checker.py aktualisiert 2025-08-06 09:06:07 +00:00
Floke
6b4c8295c7 duplicate_checker.py aktualisiert 2025-08-06 05:59:05 +00:00
Floke
4a41ffb0fa duplicate_checker.py aktualisiert 2025-08-06 05:45:15 +00:00
Floke
600b977a9f duplicate_checker.py aktualisiert 2025-08-05 15:54:08 +00:00
Floke
b876ea20ec duplicate_checker.py aktualisiert 2025-08-05 14:38:52 +00:00
Floke
2f70e05e33 duplicate_checker.py aktualisiert 2025-08-05 14:36:25 +00:00
Floke
9685bc5a2d duplicate_checker.py aktualisiert 2025-08-05 14:34:08 +00:00
Floke
270a5fc0e2 duplicate_checker.py aktualisiert 2025-08-05 14:30:02 +00:00
Floke
7d3821ad3d chat GPT version 2025-08-05 14:27:07 +00:00
Floke
0163600f19 added Is part of a group to reeval 2025-08-05 06:06:32 +00:00
Floke
663cdf7fc8 v2.0.4: refactor: Integrate Google-First Wikipedia logic 
- Umbau von `_process_single_row` im DataProcessor zur Nutzung der neuen Such- und Validierungslogik.
- Anpassung der an `search_company_article` übergebenen Parameter.
- Härtung der Wikipedia-Pipeline gegen fehlgeschlagene Suchen oder Validierungen.
 2025-08-04 18:43:16 +00:00
Floke
e8b7381b97 v2.0.2: feat: Implement Google-First Wikipedia Search 
- Erstellung einer robusten `serp_wikipedia_lookup`-Funktion im WikipediaScraper.
- Verbesserung der `_validate_article`-Logik um harte Fakten (Domain, Sitz).
- Anpassung von `search_company_article` zur Nutzung der neuen "Google-First"-Strategie.
 2025-08-04 18:39:16 +00:00
Floke
f2ced4f312 data_processor.py aktualisiert 2025-08-04 17:52:51 +00:00
Floke
f5034ecf7a data_processor.py aktualisiert 2025-08-04 17:35:18 +00:00
Floke
9b9697d676 data_processor.py aktualisiert 2025-08-04 17:32:23 +00:00
Floke
b6f1786525 data_processor.py aktualisiert 2025-08-04 17:29:55 +00:00
Floke
12df945b87 evaluate_branche_chatgpt wieder ergänzt 2025-08-04 17:28:12 +00:00
Floke
6c35a770fb entferne def evaluate_branche_chatgpt 2025-08-04 17:19:21 +00:00
Floke
815398651e data_processor.py aktualisiert 
Regex suche "self\.sheet_handler\._get_col_letter" replace by "_get_col_letter"
 2025-08-04 17:07:07 +00:00
Floke
ae1191dbe2 data_processor.py aktualisiert 2025-08-04 16:44:27 +00:00
Floke
8b1577c956 data_processor.py aktualisiert 2025-08-04 15:19:32 +00:00
Floke
110faee883 data_processor.py aktualisiert 2025-08-04 15:13:08 +00:00
Floke
25368b3726 data_processor.py aktualisiert 2025-08-04 14:29:46 +00:00
Floke
a555a8d9a9 data_processor.py aktualisiert 2025-08-04 14:28:30 +00:00
Floke
406285ebfc data_processor.py aktualisiert 2025-08-04 14:24:59 +00:00
Floke
ae12bc13cc data_processor.py aktualisiert 2025-08-04 14:23:29 +00:00