Retter 'Kan ikke læse egenskaber for Null (Reading'shadowRoot')' Selen Web Scraping Fejl

Forståelse og rettelse af almindelige JavaScript-fejl i Selenium

Når der webskrabes med Selen webdriver, at støde på JavaScript-relaterede fejl er ikke ualmindeligt, især når man har at gøre med dynamiske webelementer som f.eks. skygge-DOM'er. En hyppig fejl, som udviklere står over for, er JavascriptException: Kan ikke læse egenskaber for null (læser 'shadowRoot'), som ofte opstår, når man interagerer med komplekse sideelementer.

Denne fejl opstår typisk, når Selenium ikke er i stand til at få adgang til eller interagere med elementer inde i en skygge DOM, en unik type indkapslet DOM-struktur, der bruges af mange moderne websteder for bedre modularitet. I Python kan det være vanskeligt at bruge Selenium til at styre browseren med sådanne elementer.

I forbindelse med web-scraping fra platforme som Shopee, bruger popups eller bannere ofte skygge-DOM'er, som kan være udfordrende at lukke programmatisk. Dette problem kan hindre den jævne strøm af automatiserede opgaver og forstyrre dataindsamlingen.

Denne guide vil lede dig gennem en klar løsning til at løse problemet 'Kan ikke læse egenskaber for Null' fejl og give en praktisk tilgang til at lukke popup indlejret i shadow DOM i Shopee ved hjælp af Python Selen.

Sådan håndteres Shadow DOM og popups i Selenium Web Scraping

Ovenstående scripts har til formål at løse et almindeligt problem, man støder på i web-skrabning med Selen webdriver når du interagerer med shadow DOM-elementer. En skygge-DOM er en del af en webside, der fungerer adskilt fra hoved-DOM, ofte brugt i komplekse webkomponenter. I forbindelse med skrabesider som Shopee vises popups ofte inde i skygge-DOM'er, hvilket kan føre til fejl, hvis de tilgås med traditionelle selenmetoder. Det første script er designet til at lukke pop op-vinduet ved hjælp af JavaScript-udførelse igennem execute_script(), et kraftfuldt værktøj, der gør det muligt for Selenium at køre rå JavaScript i browserkonteksten.

Den vigtigste udfordring er, at elementer inde i en skygge-DOM ikke er tilgængelige med almindelige Selenium-kommandoer som f.eks. find_element_by_xpath(). I stedet bruger vi JavaScript til at krydse ind i skygge-DOM ved hjælp af shadowRoot ejendom. Scriptet er målrettet mod Shopee-popup'ens lukkeknap ved først at få adgang til dets skyggeværtselement og derefter forespørge på dets interne struktur. Ved at udnytte driver.execute_script(), scriptet er i stand til at manipulere og lukke elementer inde i denne isolerede DOM. Denne løsning fungerer godt, når den kombineres med eksplicitte ventetider for at håndtere dynamiske sideelementer, der indlæses asynkront.

Det andet script introducerer WebDriverWait, et vigtigt værktøj til at styre timingen af ​​dynamiske sideelementer. Da Shopees popups indlæses asynkront, kan direkte interaktion med disse elementer forårsage fejl. For at undgå dette, WebDriverWait() sikrer, at de elementer, vi ønsker at interagere med, er fuldt indlæste og klar. Dette script venter på tilstedeværelsen af ​​både hoved-DOM-elementet og skygge-DOM-elementerne. Metoden EC.presence_of_element_located() sikrer, at Selen kun interagerer med elementer, efter at de er synlige og tilstede, hvilket er afgørende for at undgå nul-referencefejl.

I begge scripts håndterer vi fejlsituationer med en prøve-undtagen blok for at sikre, at programmet ikke går ned på grund af uventede fejl, såsom elementer, der ikke bliver fundet. Fejlhåndtering er især vigtig, når du skraber websteder, der ofte opdaterer deres struktur eller ændrer popup-adfærd. Derudover følger disse scripts bedste praksis ved at afslutte browsersessionen vha driver.quit() efter udførelse for at undgå hukommelseslækager eller ydeevneproblemer.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.common.exceptions import JavascriptException
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = driver.find_element(By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button')
th_button.click()
# Pause to allow popups to load
time.sleep(3)
# Try to close the shadow DOM popup
try:
    close_button = driver.execute_script('return document.querySelector("shopee-banner-popup-stateful")'
                                      '.shadowRoot.querySelector("div.shopee-popup__close-btn")')
    close_button.click()
except JavascriptException as e:
    print("Error: ", e)
# Close the browser
driver.quit()

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = WebDriverWait(driver, 10).until(
    EC.element_to_be_clickable((By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button'))
)
th_button.click()
# Wait for the shadow DOM popup to be present
try:
    shadow_host = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, 'shopee-banner-popup-stateful'))
    )
    shadow_root = driver.execute_script('return arguments[0].shadowRoot', shadow_host)
    close_button = shadow_root.find_element(By.CSS_SELECTOR, 'div.shopee-popup__close-btn')
    close_button.click()
except Exception as e:
    print("Error closing the popup: ", e)
# Close the browser
driver.quit()

Håndtering af dynamisk indhold med Selenium WebDriver

Et andet vigtigt aspekt at overveje, når du arbejder med Selenium WebDriver til web-skrabning, er, hvordan man håndterer dynamisk indhold der løbende opdateres eller ændres efter sideindlæsning. Mange moderne websteder, som Shopee, bruger JavaScript til at indlæse og opdatere indhold dynamisk. Det betyder, at elementer på siden muligvis ikke er tilgængelige umiddelbart efter, at siden er indlæst. I sådanne tilfælde er Seleniums standardadfærd med at vente på sideindlæsningshændelsen muligvis ikke tilstrækkelig. Brug af eksplicitte venter som WebDriverWait kan løse dette problem ved at vente på, at specifikke elementer vises eller bliver klikbare.

Til at skrabe websteder med popup-vinduer, bannere eller komplekse brugergrænsefladekomponenter, der er afhængige af skygge-DOM'er, er det vigtigt at vide, hvordan man interagerer med dem. Disse komponenter skjuler elementer i en isoleret DOM-struktur, som ikke kan tilgås med traditionelle metoder som XPath eller CSS-vælgere. Ved hjælp af execute_script() kommando hjælper med at bygge bro over dette hul ved at give dig mulighed for at køre JavaScript direkte i browseren, hvilket giver dig adgang til skygge-DOM og giver mulighed for interaktioner med elementer som lukkeknapper eller formularfelter inden for de skjulte dele af siden.

Derudover bliver fejlhåndtering afgørende i sådanne tilfælde. Hjemmesider kan ofte ændre deres struktur, hvilket fører til ødelagte skrabere. Korrekt brug af prøve-undtagen blokke i Python giver dig mulighed for at fange fejl som f.eks JavascriptException og håndtere dem med ynde og sikre, at skraberen ikke styrter uventet. Inkorporering af logning for at fange fejldetaljerne kan hjælpe med at identificere årsagen og løse den i fremtidige skrammer.