24aa0600df
app.py aktualisiert
2025-08-18 09:45:15 +00:00
8637d2e6dd
app.py aktualisiert
2025-08-18 09:39:05 +00:00
e49acabd8d
helpers.py aktualisiert
2025-08-18 09:15:33 +00:00
975014d5b0
duplicate_checker.py aktualisiert
2025-08-18 08:39:27 +00:00
5723533f65
app.py aktualisiert
2025-08-18 08:28:26 +00:00
c020881826
Dockerfile.brancheneinstufung aktualisiert
2025-08-18 07:22:58 +00:00
dcbe5d726c
app.py aktualisiert
2025-08-18 07:20:29 +00:00
d59f9645e1
requirements.txt aktualisiert
2025-08-18 07:19:27 +00:00
ffab6e61a7
Dockerfile.brancheneinstufung aktualisiert
2025-08-18 06:38:00 +00:00
606f2f8f30
ngrok_authtoken.txt hinzugefügt
2025-08-18 06:26:31 +00:00
239869fb94
requirements.txt aktualisiert
2025-08-18 06:09:39 +00:00
35d73a8721
Dockerfile.brancheneinstufung hinzugefügt
2025-08-18 06:08:54 +00:00
01282dd5b4
app.py aktualisiert
2025-08-08 12:17:55 +00:00
0e2bb5155d
app.py aktualisiert
2025-08-08 12:07:11 +00:00
e7de241ef9
app.py aktualisiert
2025-08-08 08:40:10 +00:00
c356203b52
feat(duplicate-checker): Quality-first++ – Domain-Gate, Location-Penalties, Smart Blocking (IDF-ligh
...
- Domain-Gate: Domain (100) zählt nur, wenn Name >= MIN_NAME_FOR_DOMAIN (70) ODER (City & Country) matchen
- Location-Penalties: City-Mismatch -30, Country-Mismatch -40 (nur wenn Felder befüllt)
- Name-Scoring: max(token_set, partial, token_sort) auf bereinigten Tokens (Stopwörter + City-Tokens)
- City-Bias-Guard: City-only Overlap -> Name-Score Cap auf 70
- Rare-Token-Check (IDF-light): Name-only-Matches brauchen seltenen Token-Overlap
- Weak-Threshold: 95, wenn weder Domain_used noch (City & Country) matchen
- Smart Blocking: Domain-Index -> seltenster Token -> Prefilter (partial>=70, Top 30, nur wenn seltenster Token im Kandidaten vorkommt)
- SerpAPI: nur für Matching-Accounts und nur wenn B/E leer; schreibt „Gefundene Website“ + „Serp Vertrauen“, Domain-100 nur bei Vertrauen=hoch
- Output: neue Spalten „Gefundene Website“, „Serp Vertrauen“, „Match“, „Score“, „Match_Grund“
- Writeback: SAFE (alle Originalspalten), interne Felder werden gedroppt + CSV-Backup
- Logging: Log/{timestamp}_duplicate_check_v2.15.txt, Summary-Metriken am Ende
2025-08-08 07:40:50 +00:00
da55159cb5
duplicate_checker.py aktualisiert
2025-08-08 06:35:24 +00:00
bb7710d8a1
duplicate_checker.py aktualisiert
2025-08-08 06:31:57 +00:00
2a7d546713
feat(duplicate-checker): quality-first Matching (Domain-Gate, Location-Penalties, Smart Blocking)
...
- Domain-Gate: Domain-Score (100) nur, wenn Name >= MIN_NAME_FOR_DOMAIN (default 70) ODER Ort+Land exakt matchen
- Location-Penalties: City-Mismatch -30, Country-Mismatch -40 (wenn Felder befüllt)
- Smart Blocking: Domain-Index -> seltenster Name-Token (Stopwörter gefiltert) -> Prefilter (partial_ratio >= 60, Top 50)
- Name-Score: max(token_set_ratio, partial_ratio, token_sort_ratio) + Name-only Bonus (+20) bei starken Namen
- SerpAPI nur für Matching-Accounts: schreibt "Gefundene Website"; Domain wird NUR bei Vertrauen=hoch genutzt
- Serp-Trust: hoch/mittel/niedrig (Token-Check gegen Domain)
- Transparenz: neue Spalten "Match", "Score", "Match_Grund", "Gefundene Website", "Serp Vertrauen"
- Safe Writeback: Originalspalten bleiben erhalten; interne Felder werden vor Write entfernt
- Logs: Log/{$timestamp}_duplicate_check_v2.13.txt, Summary-Metriken am Ende
- Backup: Log/{$timestamp}_backup_Matching_Accounts.csv
BREAKING CHANGES: none
2025-08-08 06:28:35 +00:00
07630e4de1
duplicate_checker.py aktualisiert
2025-08-08 06:11:37 +00:00
526302c96f
duplicate_checker.py aktualisiert
2025-08-08 06:07:04 +00:00
0ecf8aa9f4
duplicate_checker.py aktualisiert
2025-08-08 06:00:19 +00:00
ec4fc642ff
url_check nur für matching
2025-08-08 05:43:45 +00:00
d607e442f1
url check ergänzt
2025-08-08 05:34:32 +00:00
6b7d321811
duplicate_checker.py aktualisiert
2025-08-06 14:04:03 +00:00
6e5e4364c0
duplicate_checker.py aktualisiert
2025-08-06 13:50:38 +00:00
7263755f83
duplicate_checker.py aktualisiert
2025-08-06 13:39:30 +00:00
3f8a05f349
duplicate_checker.py aktualisiert
2025-08-06 13:35:25 +00:00
9362c47ab7
duplicate_checker.py aktualisiert
2025-08-06 13:28:50 +00:00
e11b96aee3
duplicate_checker.py aktualisiert
2025-08-06 13:19:44 +00:00
f890eebaa1
duplicate_checker.py aktualisiert
2025-08-06 13:11:09 +00:00
39016bff94
duplicate_checker.py aktualisiert
2025-08-06 12:50:12 +00:00
33c4ee187a
duplicate_checker.py aktualisiert
2025-08-06 12:42:02 +00:00
97b640fff5
duplicate_checker.py aktualisiert
2025-08-06 11:37:35 +00:00
1d8a067746
duplicate_checker.py aktualisiert
2025-08-06 10:32:38 +00:00
722fd8fb9a
Add Logging
2025-08-06 09:31:33 +00:00
555d9dcbfc
duplicate_checker.py aktualisiert
2025-08-06 09:08:12 +00:00
42e09ed7ad
duplicate_checker.py aktualisiert
2025-08-06 09:07:10 +00:00
1c55039404
duplicate_checker.py aktualisiert
2025-08-06 09:06:07 +00:00
8cf8929308
duplicate_checker.py aktualisiert
2025-08-06 05:59:05 +00:00
f96ceb65f9
duplicate_checker.py aktualisiert
2025-08-06 05:45:15 +00:00
dedb647e19
duplicate_checker.py aktualisiert
2025-08-05 15:54:08 +00:00
6cf123d98e
duplicate_checker.py aktualisiert
2025-08-05 14:38:52 +00:00
4cb3e12c21
duplicate_checker.py aktualisiert
2025-08-05 14:36:25 +00:00
0bdea85563
duplicate_checker.py aktualisiert
2025-08-05 14:34:08 +00:00
a933423638
duplicate_checker.py aktualisiert
2025-08-05 14:30:02 +00:00
dc8c338b96
chat GPT version
2025-08-05 14:27:07 +00:00
fcf05cd2a6
added Is part of a group to reeval
2025-08-05 06:06:32 +00:00
5018d2c819
v2.0.4: refactor: Integrate Google-First Wikipedia logic
...
- Umbau von `_process_single_row` im DataProcessor zur Nutzung der neuen Such- und Validierungslogik.
- Anpassung der an `search_company_article` übergebenen Parameter.
- Härtung der Wikipedia-Pipeline gegen fehlgeschlagene Suchen oder Validierungen.
2025-08-04 18:43:16 +00:00
5137e5d22e
v2.0.2: feat: Implement Google-First Wikipedia Search
...
- Erstellung einer robusten `serp_wikipedia_lookup`-Funktion im WikipediaScraper.
- Verbesserung der `_validate_article`-Logik um harte Fakten (Domain, Sitz).
- Anpassung von `search_company_article` zur Nutzung der neuen "Google-First"-Strategie.
2025-08-04 18:39:16 +00:00
