Floke/Brancheneinstufung2
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

dealfront_enrichment.py aktualisiert

Browse Source
This commit is contained in:
Floke
2025-07-13 15:24:27 +00:00
parent 6269efe796
commit e4eddbc24f
1 changed files with 21 additions and 21 deletions
Download Patch File Download Diff File Expand all files Collapse all files

42
dealfront_enrichment.py
View File

@@ -201,28 +201,28 @@ class DealfrontScraper:
def page_changed(driver): def page_changed(driver):
try: try:
except Exception as e: except Exception as e:
logger.error(f"Fehler beim Klicken auf den Weiter-Button oder beim Warten auf neue Seite: {e}") logger.error(f"Fehler beim Klicken auf den Weiter-Button oder beim Warten auf neue Seite: {e}")
# Screenshot und HTML speichern # Screenshot und HTML speichern
try: try:
timestamp = time.strftime("%Y%m%d-%H%M%S") timestamp = time.strftime("%Y%m%d-%H%M%S")
self.driver.save_screenshot(f"/app/output/pagination_error_{timestamp}.png") self.driver.save_screenshot(f"/app/output/pagination_error_{timestamp}.png")
with open(f"/app/output/pagination_error_{timestamp}.html", "w", encoding="utf-8") as f: with open(f"/app/output/pagination_error_{timestamp}.html", "w", encoding="utf-8") as f:
f.write(self.driver.page_source) f.write(self.driver.page_source)
logger.info(f"Screenshot und HTML der Seite nach Pagination-Fehler gespeichert.") logger.info(f"Screenshot und HTML der Seite nach Pagination-Fehler gespeichert.")
except Exception as ee: except Exception as ee:
logger.error(f"Fehler beim Speichern von Screenshot/HTML: {ee}") logger.error(f"Fehler beim Speichern von Screenshot/HTML: {ee}")
# Zusätzlich: Logge alle Zeilen nach dem Fehler (nur Text und HTML-Start) # Zusätzlich: Logge alle Zeilen nach dem Fehler (nur Text und HTML-Start)
try: try:
all_rows = self.driver.find_elements(By.CSS_SELECTOR, "table#t-result-table tbody tr") all_rows = self.driver.find_elements(By.CSS_SELECTOR, "table#t-result-table tbody tr")
except Exception as eee: except Exception as eee:
logger.error(f"Fehler beim Finden der Tabellenzeilen nach Fehler: {eee}") logger.error(f"Fehler beim Finden der Tabellenzeilen nach Fehler: {eee}")
all_rows = [] all_rows = []
logger.info(f"Nach Pagination-Fehler: Es sind {len(all_rows)} Zeilen im DOM.") logger.info(f"Nach Pagination-Fehler: Es sind {len(all_rows)} Zeilen im DOM.")
for i, r in enumerate(all_rows): for i, r in enumerate(all_rows):
html_snippet = r.get_attribute('outerHTML')[:120].replace('\n', ' ') html_snippet = r.get_attribute('outerHTML')[:120].replace('\n', ' ')
logger.info(f"Zeile {i}: Text='{r.text.strip()}', HTML-Start={html_snippet}...") logger.info(f"Zeile {i}: Text='{r.text.strip()}', HTML-Start={html_snippet}...")
break break
return all_companies return all_companies