Floke/Brancheneinstufung2
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

dealfront_enrichment.py aktualisiert

Browse Source
This commit is contained in:
Floke
2025-07-13 13:57:01 +00:00
parent 41414fc6d8
commit bbe25a614d
1 changed files with 69 additions and 35 deletions
Download Patch File Download Diff File Expand all files Collapse all files

104
dealfront_enrichment.py
View File

@@ -25,7 +25,7 @@ logging.getLogger("selenium.webdriver.remote").setLevel(logging.WARNING)
logger = logging.getLogger(__name__)
os.makedirs(Config.OUTPUT_DIR, exist_ok=True)
log_filepath = os.path.join(Config.OUTPUT_DIR, f"dealfront_run_{time.strftime('%Y%m%d-%H%M%S')}.txt")
log_filepath = os.path.join(Config.OUTPUT_DIR, f"dealfront_run_{time.strftime('%Y%m%d-%H%M%S')}.log")
file_handler = logging.FileHandler(log_filepath, mode='w', encoding='utf-8')
file_handler.setFormatter(logging.Formatter(LOG_FORMAT))
logging.getLogger().addHandler(file_handler)
@@ -82,12 +82,13 @@ class DealfrontScraper:
logger.info("Login-Befehl gesendet. Warte 5 Sekunden auf Session-Etablierung.")
time.sleep(5)
# Verifizierung, dass wir nicht mehr auf der Login-Seite sind
if "login" in self.driver.current_url:
raise Exception("Weiterleitung nach Login fehlgeschlagen.")
logger.info("Login erfolgreich.")
return True
if "login" not in self.driver.current_url:
logger.info("Login erfolgreich, URL hat sich geändert.")
return True
self._save_debug_artifacts("login_stuck")
return False
except Exception as e:
logger.critical(f"Login-Prozess fehlgeschlagen.", exc_info=True)
logger.critical("Login-Prozess fehlgeschlagen.", exc_info=True)
self._save_debug_artifacts("login_exception")
return False
@@ -130,41 +131,74 @@ class DealfrontScraper:
return results
def scrape_all_pages(self, max_pages=6):
all_companies = {}
def scrape_all_pages(self, max_pages=10):
"""
Iteriert durch alle Ergebnisseiten, wartet nach jedem Paginieren explizit auf neue Daten,
und sammelt alle Firmenzeilen seitengetreu (keine Deduplizierung).
"""
all_companies = []
for page_number in range(1, max_pages + 1):
logger.info(f"--- Verarbeite Seite {page_number} ---")
self.wait.until(EC.visibility_of_element_located((By.CSS_SELECTOR, "table#t-result-table")))
# Scrollen, um alle 20 Zeilen zu laden
logger.info("Scrolle Seite nach unten, um alle Zeilen zu laden...")
self.driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
time.sleep(2) # Pause für das Rendern
page_results = self.extract_current_page_results()
for company in page_results:
unique_key = (company.get('name'), company.get('website'))
all_companies[unique_key] = company
logger.info(f"Seite {page_number}: {len(page_results)} Firmen extrahiert. Gesamt einzigartig: {len(all_companies)}")
# Vor dem Klick: Erste Zeilen-ID merken (oder Text, falls keine ID vorhanden)
try:
# Eindeutiger XPath für den "Weiter"-Pfeil-Button, der nicht deaktiviert ist
next_button_selector = (By.XPATH, "//nav//a[not(contains(@class, 'disabled')) and .//svg[contains(@class, 'fa-angle-right')]]")
next_button = self.driver.find_element(*next_button_selector)
self.driver.execute_script("arguments[0].scrollIntoView(true);", next_button)
time.sleep(1)
next_button.click()
logger.info(f"Auf Seite {page_number + 1} geblättert. Warte auf neue Inhalte...")
time.sleep(4) # Feste Wartezeit für Seitenwechsel
except NoSuchElementException:
first_row_element = self.driver.find_element(By.CSS_SELECTOR, "table#t-result-table tbody tr[id]")
first_row_id = first_row_element.get_attribute("id")
logger.debug(f"Vor Pagination: Erste Zeilen-ID ist {first_row_id}")
except Exception:
first_row_id = None
logger.debug("Vor Pagination: Keine Zeilen-ID gefunden.")
# Extrahiere aktuelle Seite
page_results = self.extract_current_page_results()
logger.info(f"Seite {page_number}: {len(page_results)} Firmen gefunden. Gesamt bisher: {len(all_companies) + len(page_results)}")
all_companies.extend(page_results)
# Pagination-Buttons loggen
try:
pagination_nav = self.driver.find_element(By.CSS_SELECTOR, "nav.eb-pagination")
buttons = pagination_nav.find_elements(By.CSS_SELECTOR, "a.eb-pagination-button")
logger.info(f"Gefundene Paginierungs-Buttons auf Seite {page_number}: {len(buttons)}")
for idx, btn in enumerate(buttons):
btn_text = btn.text.strip()
btn_classes = btn.get_attribute('class')
btn_html = btn.get_attribute('outerHTML')
has_svg = "svg" in btn_html
logger.info(f"Button {idx}: Text='{btn_text}', Klassen='{btn_classes}', SVG={has_svg}, HTML={btn_html}")
except Exception as e:
logger.warning(f"Konnte Pagination-Buttons nicht vollständig loggen: {e}")
buttons = []
# Suche nach dem Weiter-Button
next_button = None
for btn in buttons:
btn_html = btn.get_attribute('outerHTML')
if ("svg" in btn_html) and ("disabled" not in btn.get_attribute('class')) and (btn.text.strip() == ""):
next_button = btn
break
if not next_button:
logger.info("Kein klickbarer 'Weiter'-Button mehr gefunden. Paginierung abgeschlossen.")
break
return list(all_companies.values())
logger.info("Klicke auf 'Weiter'-Button...")
try:
self.driver.execute_script("arguments[0].click();", next_button)
# Warten, bis die erste Zeile eine andere ID hat (also wirklich neue Seite geladen ist)
if first_row_id:
self.wait.until(
lambda d: d.find_element(By.CSS_SELECTOR, "table#t-result-table tbody tr[id]").get_attribute("id") != first_row_id
)
logger.info("Seitenwechsel erfolgreich verifiziert (erste Zeile hat neue ID).")
else:
time.sleep(2) # Fallback, falls keine ID gefunden wurde
except Exception as e:
logger.error(f"Fehler beim Klicken auf den Weiter-Button oder beim Warten auf neue Seite: {e}")
break
return all_companies
def close(self):
if self.driver:
@@ -177,7 +211,7 @@ if __name__ == "__main__":
if not scraper.login(): raise Exception("Login fehlgeschlagen")
if not scraper.navigate_and_load_search(Config.SEARCH_NAME): raise Exception("Navigation/Suche fehlgeschlagen")
all_companies = scraper.scrape_all_pages(max_pages=6)
all_companies = scraper.scrape_all_pages(max_pages=6) # Limitiere auf 6 Seiten
if all_companies:
df = pd.DataFrame(all_companies)