Commit Graph

1055 Commits

Author SHA1 Message Date
72313d701b großes rework, vieles gelöscht
- Refactors the website scraping batch process to fix critical stability issues.
- Replaces multiple redundant and conflicting scraping functions (`_scrape_website_task`, `_scrape_raw_text_task`, `_scrape_and_summarize_task`) with a single, robust worker function: `_scrape_website_task_batch`.
- The new worker function now consistently returns a structured dictionary, resolving the `TypeError` that prevented results from being written to the sheet.
- The main batch function `process_website_scraping_batch` is updated to correctly handle this new dictionary structure, including error states.
- Functionality is now aligned with the single-row processing mode by also fetching meta-details in the batch process, not just raw text.
- The two large, duplicated, and now obsolete `process_website_scraping` functions have been removed to improve code clarity and maintainability.
2025-07-20 09:18:49 +00:00
2cb8fdd0b3 data_processor.py aktualisiert 2025-07-20 08:49:15 +00:00
979ca436c5 data_processor.py aktualisiert 2025-07-20 08:47:54 +00:00
c77cf5c065 data_processor.py aktualisiert 2025-07-20 08:33:21 +00:00
90a99794fa data_processor.py aktualisiert 2025-07-20 08:05:15 +00:00
6e6d78fcde data_processor.py aktualisiert 2025-07-20 07:57:06 +00:00
6b335f8158 data_processor.py aktualisiert 2025-07-20 07:56:31 +00:00
07d8596eb9 data_processor.py aktualisiert 2025-07-20 07:52:24 +00:00
15db01fe61 data_processor.py aktualisiert 2025-07-20 07:48:03 +00:00
3845ad42f5 data_processor.py aktualisiert 2025-07-20 07:46:35 +00:00
ce827a73bd data_processor.py aktualisiert 2025-07-20 07:40:30 +00:00
0b07cb1e50 data_processor.py aktualisiert 2025-07-20 07:21:01 +00:00
4569c71e0d wikipedia_scraper.py aktualisiert 2025-07-20 06:53:02 +00:00
f12b6564e0 Robuste, lineare Wikipedia-Suche
- REFACTOR: Die komplexe, rekursive `search_company_article`-Funktion in `wikipedia_scraper.py` wurde durch eine einfache, lineare Implementierung ersetzt.
- FIX: Der hartnäckige `TypeError` bei der Parameter-Übergabe wurde durch die neue, übersichtlichere Struktur endgültig behoben.
- FEATURE: Die Suche prüft nun intelligent eine Liste von Suchbegriffen und validiert jeden potenziellen Treffer, was die Zuverlässigkeit erhöht.
2025-07-20 06:39:29 +00:00
57ee2d2fb6 wikipedia_scraper.py aktualisiert 2025-07-20 06:34:33 +00:00
12cd240c26 wikipedia_scraper.py aktualisiert 2025-07-20 06:28:43 +00:00
c41b84a44c data_processor.py aktualisiert 2025-07-20 06:04:56 +00:00
c3434c03aa data_processor.py aktualisiert 2025-07-20 06:03:11 +00:00
09c9bf3090 helpers.py aktualisiert 2025-07-20 05:44:56 +00:00
73030d3ed5 helpers.py aktualisiert 2025-07-20 05:35:57 +00:00
815b4cddea data_processor.py aktualisiert 2025-07-20 05:26:00 +00:00
b36b46c691 google_sheet_handler.py aktualisiert 2025-07-20 05:07:03 +00:00
1b04070d2c data_processor.py aktualisiert 2025-07-20 04:47:04 +00:00
b48acba690 data_processor.py aktualisiert 2025-07-20 04:28:51 +00:00
4f2b6247cd data_processor.py aktualisiert 2025-07-19 20:25:35 +00:00
ddd41d523e data_processor.py aktualisiert 2025-07-19 20:24:50 +00:00
9c958c19c1 data_processor.py aktualisiert 2025-07-19 20:23:56 +00:00
d9844b0e3e wikipedia_scraper.py aktualisiert 2025-07-19 20:10:19 +00:00
67c9300de0 data_processor.py aktualisiert 2025-07-19 20:03:28 +00:00
410875c085 data_processor.py aktualisiert 2025-07-19 19:56:18 +00:00
7ffe14bf39 helpers.py aktualisiert 2025-07-19 19:53:33 +00:00
34af35142b Regex anpassung
COLUMN_MAP\["([^"]+)"\]
get_col_idx("$1")
2025-07-19 19:45:01 +00:00
2268306605 data_processor.py aktualisiert 2025-07-19 19:14:16 +00:00
bc761ed783 wikipedia_scraper.py aktualisiert 2025-07-19 19:03:02 +00:00
82496a2df3 helpers.py aktualisiert 2025-07-19 18:45:43 +00:00
a189124de4 data_processor.py aktualisiert 2025-07-19 18:42:41 +00:00
56fbdded2c Added def get_col_idx(key): 2025-07-19 18:34:20 +00:00
8905a585df Neue COLUMN_ORDER ergänzt 2025-07-19 18:12:49 +00:00
39215bf79d Anpassung reeval 2025-07-19 15:38:56 +00:00
bdb27d06bd Anpassung Verify Wiki 2025-07-19 15:25:34 +00:00
f99943137a Anpassung Verify Wiki Article 2025-07-19 15:15:58 +00:00
58e4882006 wikipedia_scraper.py aktualisiert 2025-07-19 15:13:00 +00:00
0fec249c70 data_processor.py aktualisiert 2025-07-18 18:09:22 +00:00
db6bcda460 helpers.py aktualisiert 2025-07-18 18:03:22 +00:00
2bdf43a44d helpers.py aktualisiert 2025-07-18 18:02:32 +00:00
8450d0da18 helpers.py aktualisiert 2025-07-18 17:58:34 +00:00
92b497509c helpers.py aktualisiert 2025-07-18 17:56:30 +00:00
a576caef69 data_processor.py aktualisiert 2025-07-18 16:45:22 +00:00
f5da41daad helpers.py aktualisiert 2025-07-18 16:43:50 +00:00
eae4f1455b data_processor.py aktualisiert 2025-07-18 15:49:47 +00:00