Oplossing voor 'Kan eigenschappen van Null niet lezen (Reading'shadowRoot')' Selenium Web Scraping-fout

Veelvoorkomende JavaScript-fouten in Selenium begrijpen en oplossen

Bij webscrapen met Selenium-webdriver, het tegenkomen van JavaScript-gerelateerde fouten is niet ongewoon, vooral als het gaat om dynamische webelementen zoals schaduw DOM's. Een veel voorkomende fout waarmee ontwikkelaars worden geconfronteerd, is de JavascriptException: Kan eigenschappen van null niet lezen (leest 'shadowRoot'), wat vaak voorkomt bij interactie met complexe pagina-elementen.

Deze fout treedt meestal op wanneer Selenium geen toegang heeft tot of interactie heeft met elementen in een schaduw DOM, een uniek type ingekapselde DOM-structuur dat door veel moderne websites wordt gebruikt voor betere modulariteit. In Python kan het lastig zijn om Selenium te gebruiken om de browser te besturen met dergelijke elementen.

In de context van webscraping van platforms zoals Shopee maken pop-ups of banners vaak gebruik van schaduw-DOM's, wat een uitdaging kan zijn om programmatisch te sluiten. Dit probleem kan de soepele stroom van geautomatiseerde taken belemmeren en de gegevensverzameling verstoren.

Deze gids leidt u door een duidelijke oplossing om het probleem aan te pakken 'Kan eigenschappen van Null niet lezen' fout en bieden een praktische aanpak om pop-ups te sluiten die zijn ingebed in schaduw-DOM's in Shopee met behulp van Python Selenium.

Hoe om te gaan met schaduw-DOM en pop-ups in Selenium Web Scraping

De hierboven verstrekte scripts zijn bedoeld om een ​​veelvoorkomend probleem aan te pakken dat u tegenkomt bij webschrapen met Selenium-webdriver bij interactie met schaduw-DOM-elementen. Een schaduw-DOM is een onderdeel van een webpagina dat afzonderlijk van de hoofd-DOM werkt en vaak wordt gebruikt in complexe webcomponenten. In de context van scraping-sites zoals Shopee verschijnen pop-ups vaak in schaduw-DOM's, wat tot fouten kan leiden als deze wordt benaderd met traditionele Selenium-methoden. Het eerste script is ontworpen om de pop-up te sluiten met behulp van JavaScript-uitvoering voer_script() uit, een krachtige tool waarmee Selenium onbewerkte JavaScript binnen de browsercontext kan uitvoeren.

De belangrijkste uitdaging is dat elementen binnen een schaduw-DOM niet toegankelijk zijn met gewone Selenium-opdrachten zoals find_element_by_xpath(). In plaats daarvan gebruiken we JavaScript om naar de schaduw-DOM te gaan met behulp van de schaduwWortel eigendom. Het script richt zich op de sluitknop van de Shopee-pop-up door eerst toegang te krijgen tot het schaduwhostelement en vervolgens de interne structuur ervan te bevragen. Door te benutten stuurprogramma.execute_script(), kan het script elementen binnen deze geïsoleerde DOM manipuleren en sluiten. Deze oplossing werkt goed in combinatie met expliciete wachttijden voor het verwerken van dynamische pagina-elementen die asynchroon worden geladen.

Het tweede script introduceert WebDriverWacht, een essentieel hulpmiddel voor het beheren van de timing van dynamische pagina-elementen. Omdat de pop-ups van Shopee asynchroon worden geladen, kan directe interactie met deze elementen fouten veroorzaken. Om dit te voorkomen, WebDriverWacht() zorgt ervoor dat de elementen waarmee we willen communiceren, volledig geladen en gereed zijn. Dit script wacht op de aanwezigheid van zowel het hoofd-DOM-element als de schaduw-DOM-elementen. De methode EC.presence_of_element_located() zorgt ervoor dat Selenium pas interactie heeft met elementen nadat ze zichtbaar en aanwezig zijn, wat cruciaal is om nulreferentiefouten te voorkomen.

In beide scripts behandelen we foutsituaties met a proberen-behalve blokkeren om ervoor te zorgen dat het programma niet crasht als gevolg van onverwachte fouten, zoals het niet vinden van elementen. Foutafhandeling is vooral belangrijk bij het schrapen van websites die regelmatig hun structuur bijwerken of pop-upgedrag veranderen. Bovendien volgen deze scripts de best practices door de browsersessie te beëindigen met behulp van stuurprogramma.quit() na uitvoering om geheugenlekken of prestatieproblemen te voorkomen.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.common.exceptions import JavascriptException
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = driver.find_element(By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button')
th_button.click()
# Pause to allow popups to load
time.sleep(3)
# Try to close the shadow DOM popup
try:
    close_button = driver.execute_script('return document.querySelector("shopee-banner-popup-stateful")'
                                      '.shadowRoot.querySelector("div.shopee-popup__close-btn")')
    close_button.click()
except JavascriptException as e:
    print("Error: ", e)
# Close the browser
driver.quit()

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = WebDriverWait(driver, 10).until(
    EC.element_to_be_clickable((By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button'))
)
th_button.click()
# Wait for the shadow DOM popup to be present
try:
    shadow_host = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, 'shopee-banner-popup-stateful'))
    )
    shadow_root = driver.execute_script('return arguments[0].shadowRoot', shadow_host)
    close_button = shadow_root.find_element(By.CSS_SELECTOR, 'div.shopee-popup__close-btn')
    close_button.click()
except Exception as e:
    print("Error closing the popup: ", e)
# Close the browser
driver.quit()

Omgaan met dynamische inhoud met Selenium WebDriver

Een ander belangrijk aspect waarmee u rekening moet houden bij het werken met Selenium WebDriver voor webscrapen is hoe u ermee om moet gaan dynamische inhoud die voortdurend wordt bijgewerkt of gewijzigd nadat de pagina is geladen. Veel moderne websites, zoals Shopee, gebruiken JavaScript om inhoud dynamisch te laden en bij te werken. Dit betekent dat elementen op de pagina mogelijk niet onmiddellijk beschikbaar zijn nadat de pagina is geladen. In dergelijke gevallen is het standaardgedrag van Selenium, namelijk wachten op de gebeurtenis voor het laden van de pagina, mogelijk niet voldoende. Het gebruik van expliciete wachttijden zoals WebDriverWacht kan dit probleem oplossen door te wachten tot specifieke elementen verschijnen of klikbaar worden.

Voor het schrapen van sites met pop-ups, banners of complexe UI-componenten die afhankelijk zijn van schaduw DOM's, is het essentieel om te weten hoe u met hen om moet gaan. Deze componenten verbergen elementen binnen een geïsoleerde DOM-structuur die niet toegankelijk zijn via traditionele methoden zoals XPath- of CSS-selectors. Met behulp van de voer_script() uit command helpt deze kloof te overbruggen door u toe te staan ​​JavaScript rechtstreeks in de browser uit te voeren, waardoor u toegang krijgt tot de schaduw-DOM en interacties mogelijk maakt met elementen zoals sluitknoppen of formuliervelden binnen die verborgen delen van de pagina.

Bovendien wordt foutafhandeling in dergelijke gevallen van cruciaal belang. Websites kunnen vaak hun structuur veranderen, wat leidt tot kapotte scrapers. Correct gebruik van proberen-behalve Met blokken in Python kun je fouten opvangen zoals JavaScriptUitzondering en ga er netjes mee om, zodat de schraper niet onverwachts crasht. Het opnemen van logboekregistratie om de foutdetails vast te leggen, kan helpen de hoofdoorzaak te identificeren en deze bij toekomstige scrapes op te lossen.