Retting av 'Kan ikke lese egenskaper for Null (Reading'shadowRoot')' Selen Web Scraping Feil

Forstå og fikse vanlige JavaScript-feil i Selenium

Ved nettskraping med Selenium WebDriver, er det ikke uvanlig å støte på JavaScript-relaterte feil, spesielt når du arbeider med dynamiske nettelementer som skygge-DOM-er. En hyppig feil som utviklere møter er JavascriptException: Kan ikke lese egenskapene til null (leser 'shadowRoot'), som ofte oppstår når du samhandler med komplekse sideelementer.

Denne feilen oppstår vanligvis når Selenium ikke er i stand til å få tilgang til eller samhandle med elementer i en skygge DOM, en unik type innkapslet DOM-struktur som brukes av mange moderne nettsteder for bedre modularitet. I Python kan det være vanskelig å bruke Selenium for å kontrollere nettleseren med slike elementer.

I sammenheng med nettskraping fra plattformer som Shopee, bruker popup-vinduer eller bannere ofte skygge-DOM-er, som kan være utfordrende å lukke programmatisk. Dette problemet kan hindre den jevne flyten av automatiserte oppgaver og forstyrre datainnsamlingen.

Denne guiden vil lede deg gjennom en klar løsning for å løse problemet "Kan ikke lese egenskaper for null" feil og gi en praktisk tilnærming til å lukke popup-vinduer innebygd i skygge-DOM-er i Shopee ved å bruke Python Selen.

Hvordan håndtere Shadow DOM og Popups i Selenium Web Scraping

Skriptene ovenfor tar sikte på å løse et vanlig problem som oppstår ved nettskraping med Selenium WebDriver når du samhandler med skygge-DOM-elementer. En skygge-DOM er en del av en nettside som opererer separat fra hoved-DOM, ofte brukt i komplekse webkomponenter. I sammenheng med skraping av nettsteder som Shopee, vises popup-vinduer ofte inne i skygge-DOM-er, noe som kan føre til feil hvis de åpnes med tradisjonelle seleniummetoder. Det første skriptet er utformet for å lukke popup-vinduet ved hjelp av JavaScript-kjøring execute_script(), et kraftig verktøy som lar Selenium kjøre rå JavaScript i nettleserkonteksten.

Hovedutfordringen er at elementer inne i en skygge-DOM ikke er tilgjengelige med vanlige Selenium-kommandoer som find_element_by_xpath(). I stedet bruker vi JavaScript for å gå inn i skygge-DOM ved hjelp av shadowRoot eiendom. Skriptet retter seg mot Shopee-popup-ens lukkeknapp ved først å få tilgang til skyggevertselementet, og deretter spørre om dets interne struktur. Ved å utnytte driver.execute_script(), er skriptet i stand til å manipulere og lukke elementer inne i denne isolerte DOM. Denne løsningen fungerer bra når den kombineres med eksplisitte ventetider for å håndtere dynamiske sideelementer som lastes asynkront.

Det andre manuset introduserer WebDriverWait, et viktig verktøy for å administrere timingen for dynamiske sideelementer. Siden Shopees popup-vinduer lastes asynkront, kan direkte interaksjon med disse elementene forårsake feil. For å unngå dette, WebDriverWait() sikrer at elementene vi ønsker å samhandle med er fulladet og klare. Dette skriptet venter på tilstedeværelsen av både hoved-DOM-elementet og skygge-DOM-elementene. Metoden EC.presence_of_element_located() sikrer at Selen samhandler med elementer først etter at de er synlige og tilstede, noe som er avgjørende for å unngå nullreferansefeil.

I begge skriptene håndterer vi feilsituasjoner med en prøve-unntatt blokk for å sikre at programmet ikke krasjer på grunn av uventede feil, for eksempel at elementer ikke blir funnet. Feilhåndtering er spesielt viktig når du skraper nettsteder som ofte oppdaterer strukturen eller endrer popup-atferd. I tillegg følger disse skriptene beste praksis ved å avslutte nettleserøkten ved å bruke driver.quit() etter utførelse for å unngå minnelekkasjer eller ytelsesproblemer.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.common.exceptions import JavascriptException
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = driver.find_element(By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button')
th_button.click()
# Pause to allow popups to load
time.sleep(3)
# Try to close the shadow DOM popup
try:
    close_button = driver.execute_script('return document.querySelector("shopee-banner-popup-stateful")'
                                      '.shadowRoot.querySelector("div.shopee-popup__close-btn")')
    close_button.click()
except JavascriptException as e:
    print("Error: ", e)
# Close the browser
driver.quit()

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = WebDriverWait(driver, 10).until(
    EC.element_to_be_clickable((By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button'))
)
th_button.click()
# Wait for the shadow DOM popup to be present
try:
    shadow_host = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, 'shopee-banner-popup-stateful'))
    )
    shadow_root = driver.execute_script('return arguments[0].shadowRoot', shadow_host)
    close_button = shadow_root.find_element(By.CSS_SELECTOR, 'div.shopee-popup__close-btn')
    close_button.click()
except Exception as e:
    print("Error closing the popup: ", e)
# Close the browser
driver.quit()

Håndtering av dynamisk innhold med Selenium WebDriver

Et annet viktig aspekt å vurdere når du arbeider med Selenium WebDriver for nettskraping, er hvordan du håndterer dynamisk innhold som kontinuerlig oppdateres eller endres etter sideinnlasting. Mange moderne nettsteder, som Shopee, bruker JavaScript for å laste og oppdatere innhold dynamisk. Dette betyr at elementer på siden kanskje ikke er tilgjengelig umiddelbart etter at siden er lastet inn. I slike tilfeller kan det hende at Seleniums standardoppførsel for å vente på sideinnlastingshendelsen ikke er tilstrekkelig. Bruker eksplisitte venter som WebDriverWait kan løse dette problemet ved å vente til spesifikke elementer vises eller blir klikkbare.

For å skrape nettsteder med popup-vinduer, bannere eller komplekse brukergrensesnittkomponenter som er avhengige av skygge-DOM-er, er det viktig å vite hvordan man samhandler med dem. Disse komponentene skjuler elementer i en isolert DOM-struktur som ikke kan nås med tradisjonelle metoder som XPath eller CSS-velgere. Ved å bruke execute_script() kommandoen hjelper til med å bygge bro over dette gapet ved å la deg kjøre JavaScript direkte i nettleseren, gi deg tilgang til skygge-DOM og tillate interaksjoner med elementer som lukkeknapper eller skjemafelt innenfor de skjulte delene av siden.

I tillegg blir feilhåndtering avgjørende i slike tilfeller. Nettsteder kan ofte endre strukturen, noe som fører til ødelagte skraper. Riktig bruk av prøve-unntatt blokker i Python lar deg fange opp feil som f.eks JavascriptException og håndtere dem på en elegant måte, slik at skrapen ikke krasjer uventet. Å inkludere logging for å fange opp feildetaljene kan hjelpe til med å identifisere årsaken og løse den i fremtidige utskrapinger.