A "Null tulajdonságai nem olvashatók ("shadowRoot olvasása")" Selenium Web Scraping hiba javítása

A szelénben előforduló gyakori JavaScript-hibák megértése és kijavítása

Amikor webkaparás a Szelén WebDriver, a JavaScripttel kapcsolatos hibák nem ritkák, különösen akkor, ha olyan dinamikus webelemekkel foglalkozunk, mint pl árnyék DOM-ok. Az egyik gyakori hiba, amellyel a fejlesztők szembesülnek, az JavascriptException: A null tulajdonságai nem olvashatók ("shadowRoot" olvasása), ami gyakran előfordul összetett oldalelemekkel való interakció során.

Ez a hiba általában akkor fordul elő, ha a szelén nem tud hozzáférni a belső elemekhez, vagy nem tud kölcsönhatásba lépni azokkal árnyék DOM, egy egyedi típusú tokozott DOM-struktúra, amelyet számos modern webhely használ a jobb modularitás érdekében. Pythonban a Selenium használata a böngésző vezérlésére trükkös lehet az ilyen elemekkel.

Az olyan platformokról, mint a Shopee, az előugró ablakok és a szalaghirdetések gyakran árnyék-DOM-okat használnak, amelyek programozott bezárása kihívást jelenthet. Ez a probléma akadályozhatja az automatizált feladatok zökkenőmentes lebonyolítását és megzavarhatja az adatgyűjtést.

Ez az útmutató világos megoldást mutat be a probléma kezelésére "Null tulajdonságai nem olvashatók" hiba, és praktikus megközelítést kínál a Shopee árnyék DOM-jaiba ágyazott előugró ablakok bezárásához Python szelén.

Az árnyék DOM és a felugró ablakok kezelése a Selenium Web Scrapingben

A fent megadott szkriptek célja a webkaparás során fellépő gyakori probléma megoldása Szelén WebDriver árnyék DOM elemekkel való interakció során. Az árnyék-DOM egy weboldal része, amely a fő DOM-tól külön működik, és gyakran használják összetett webkomponensekben. Az olyan webhelyek lekaparásakor, mint a Shopee, gyakran megjelennek a felugró ablakok az árnyék DOM-okon belül, ami hibákhoz vezethet, ha hagyományos szelén módszerekkel érik el. Az első szkript arra szolgál, hogy bezárja a felugró ablakot JavaScript-végrehajtással execute_script(), egy hatékony eszköz, amely lehetővé teszi a Selenium számára a nyers JavaScript futtatását a böngésző kontextusában.

A fő kihívás az, hogy az árnyék-DOM-on belüli elemek nem érhetők el a szokásos Selenium-parancsokkal, például elem_keresése_xpath(). Ehelyett JavaScriptet használunk az árnyék DOM-ba való belépéshez a shadowRoot ingatlan. A szkript a Shopee felugró ablak bezárás gombját célozza meg úgy, hogy először eléri az árnyékgazda elemét, majd lekérdezi a belső szerkezetét. Használatával driver.execute_script(), a szkript képes manipulálni és bezárni az elemeket ezen az elszigetelt DOM-on belül. Ez a megoldás jól működik, ha explicit várakozással kombinálják az aszinkron módon betöltődő dinamikus oldalelemek kezeléséhez.

A második szkript bemutatja WebDriverVárjon, amely elengedhetetlen eszköz a dinamikus oldalelemek időzítésének kezeléséhez. Mivel a Shopee előugró ablakai aszinkron módon töltődnek be, az ezekkel az elemekkel való közvetlen interakció hibákat okozhat. Ennek elkerülése érdekében WebDriverWait() biztosítja, hogy azok az elemek, amelyekkel kapcsolatba kívánunk lépni, teljesen betöltve és készen legyenek. Ez a szkript a fő DOM-elem és az árnyék-DOM-elemek jelenlétére vár. A módszer EC.presence_of_element_located() biztosítja, hogy a szelén csak akkor lép kölcsönhatásba az elemekkel, ha azok láthatóak és jelen vannak, ami elengedhetetlen a nulla referenciahibák elkerüléséhez.

Mindkét szkriptben a hibahelyzeteket a-val kezeljük próba-kivéve blokkolja annak biztosítására, hogy a program ne omoljon le váratlan hibák, például nem található elemek miatt. A hibakezelés különösen fontos olyan webhelyek lekaparásakor, amelyek gyakran frissítik szerkezetüket vagy megváltoztatják a felugró ablakok viselkedését. Ezenkívül ezek a szkriptek követik a bevált gyakorlatokat: a böngésző munkamenetet a használatával fejezik be driver.quit() végrehajtás után, hogy elkerülje a memóriaszivárgást vagy a teljesítményproblémákat.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.common.exceptions import JavascriptException
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = driver.find_element(By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button')
th_button.click()
# Pause to allow popups to load
time.sleep(3)
# Try to close the shadow DOM popup
try:
    close_button = driver.execute_script('return document.querySelector("shopee-banner-popup-stateful")'
                                      '.shadowRoot.querySelector("div.shopee-popup__close-btn")')
    close_button.click()
except JavascriptException as e:
    print("Error: ", e)
# Close the browser
driver.quit()

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = WebDriverWait(driver, 10).until(
    EC.element_to_be_clickable((By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button'))
)
th_button.click()
# Wait for the shadow DOM popup to be present
try:
    shadow_host = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, 'shopee-banner-popup-stateful'))
    )
    shadow_root = driver.execute_script('return arguments[0].shadowRoot', shadow_host)
    close_button = shadow_root.find_element(By.CSS_SELECTOR, 'div.shopee-popup__close-btn')
    close_button.click()
except Exception as e:
    print("Error closing the popup: ", e)
# Close the browser
driver.quit()

Dinamikus tartalom kezelése Selenium WebDriver segítségével

Egy másik kulcsfontosságú szempont, amelyet figyelembe kell venni a Selenium WebDriver webkaparáshoz való használatakor, a kezelés módja dinamikus tartalom amely az oldal betöltése után folyamatosan frissül vagy változik. Sok modern webhely, például a Shopee, JavaScriptet használ a tartalom dinamikus betöltésére és frissítésére. Ez azt jelenti, hogy előfordulhat, hogy az oldalon lévő elemek nem lesznek azonnal elérhetők az oldal betöltése után. Ilyen esetekben előfordulhat, hogy a Selenium alapértelmezett viselkedése, amely az oldalbetöltési eseményre vár, nem elegendő. Explicit várakozások használata WebDriverVárjon megoldhatja ezt a problémát, ha megvárja, amíg bizonyos elemek megjelennek vagy kattinthatóvá válnak.

Előugró ablakokat, szalaghirdetéseket vagy összetett felhasználói felület-összetevőket tartalmazó webhelyek lekaparásához, amelyekre támaszkodnak árnyék DOM-ok, elengedhetetlen, hogy tudd, hogyan lépj kapcsolatba velük. Ezek az összetevők olyan elemeket rejtenek el egy elszigetelt DOM-struktúrán belül, amelyek nem érhetők el hagyományos módszerekkel, például XPath vagy CSS-szelektorokkal. A execute_script() A parancs segít áthidalni ezt a szakadékot azáltal, hogy lehetővé teszi a JavaScript futtatását közvetlenül a böngészőn belül, hozzáférést biztosít az árnyék DOM-hoz, és lehetővé teszi az interakciót olyan elemekkel, mint a bezárás gombok vagy űrlapmezők az oldal rejtett részein.

Ezen túlmenően a hibakezelés kulcsfontosságúvá válik ilyen esetekben. A webhelyek gyakran megváltoztathatják szerkezetüket, ami tönkrement kaparáshoz vezethet. Megfelelő használata próba-kivéve blokkok a Pythonban lehetővé teszi olyan hibák elkapását, mint pl JavascriptException és kecsesen kezelje őket, biztosítva, hogy a kaparó ne zuhanjon le váratlanul. A naplózás beépítése a hiba részleteinek rögzítésére segíthet azonosítani a kiváltó okot, és megoldani azt a jövőbeni törléseknél.