Seleno žiniatinklio grandymo klaidos „Neįmanoma nuskaityti nulinės reikšmės (skaitoma šešėlinės šaknies“) taisymas

Įprastų seleno „JavaScript“ klaidų supratimas ir taisymas

Kai žiniatinklio grandymas su Seleno žiniatinklio tvarkyklė, pasitaiko su „JavaScript“ susijusių klaidų, ypač kai susiduriama su tokiais dinaminiais žiniatinklio elementais kaip šešėliniai DOM. Viena dažna klaida, su kuria susiduria kūrėjai, yra „JavascriptException“: negalima nuskaityti nul savybių (skaitoma „shadowRoot“), kuris dažnai pasitaiko sąveikaujant su sudėtingais puslapio elementais.

Ši klaida paprastai atsiranda, kai Selenas negali pasiekti arba sąveikauti su elementais, esančiais a šešėlis DOM, unikalus įkapsuliuotos DOM struktūros tipas, naudojamas daugelyje šiuolaikinių svetainių, siekiant geresnio moduliškumo. „Python“ naudojant „Selenium“ naršyklei valdyti gali būti sudėtinga naudojant tokius elementus.

Vykdant žiniatinklio nuskaitymą iš tokių platformų kaip Shopee, iššokančiuose languose ar reklamjuostėse dažnai naudojami šešėliniai DOM, kuriuos gali būti sudėtinga uždaryti programiškai. Ši problema gali trukdyti sklandžiai atlikti automatizuotas užduotis ir sutrikdyti duomenų rinkimą.

Šis vadovas padės jums rasti aiškų sprendimą, kaip išspręsti problemą „Negaliu nuskaityti nulio savybių“ klaidą ir pateikia praktinį būdą uždaryti iššokančiuosius langus, įterptus į šešėlinius DOM „Shopee“, naudojant Python selenas.

Kaip tvarkyti šešėlinį DOM ir iššokančiuosius langus naudojant Selenium Web scraping

Aukščiau pateiktais scenarijais siekiama išspręsti dažną problemą, su kuria susiduriama naudojant žiniatinklį Seleno žiniatinklio tvarkyklė kai sąveikauja su šešėliniais DOM elementais. Šešėlinis DOM yra tinklalapio dalis, kuri veikia atskirai nuo pagrindinio DOM, dažnai naudojama sudėtinguose žiniatinklio komponentuose. Naudojant tokias svetaines kaip „Shopee“, iššokantieji langai dažnai pasirodo šešėliniuose DOM, dėl kurių gali atsirasti klaidų, jei pasiekiama naudojant tradicinius seleno metodus. Pirmasis scenarijus skirtas uždaryti iššokantįjį langą naudojant „JavaScript“ vykdymą execute_script(), galingas įrankis, leidžiantis Seleniui paleisti neapdorotą „JavaScript“ naršyklės kontekste.

Pagrindinis iššūkis yra tas, kad šešėlinio DOM elementai nepasiekiami naudojant įprastas Selenium komandas rasti_element_by_xpath(). Vietoj to naudojame JavaScript, kad pereitume į šešėlinį DOM naudodami shadowRoot nuosavybė. Scenarijus nukreipiamas į „Shopee“ iššokančiojo lango uždarymo mygtuką, pirmiausia pasiekdamas šešėlinį pagrindinį elementą, o tada užklausdamas jo vidinę struktūrą. Naudojant driver.execute_script(), scenarijus gali manipuliuoti ir uždaryti elementus šio izoliuoto DOM viduje. Šis sprendimas gerai veikia, kai derinamas su aiškiais laukimais, kad būtų galima apdoroti dinaminius puslapio elementus, kurie įkeliami asinchroniškai.

Antrasis scenarijus pristato WebDriverPalauk, esminis įrankis, skirtas valdyti dinaminių puslapio elementų laiką. Kadangi „Shopee“ iššokantys langai įkeliami asinchroniškai, tiesiogiai sąveikaujant su šiais elementais gali atsirasti klaidų. Norėdami to išvengti, WebDriverWait () užtikrina, kad elementai, su kuriais norime bendrauti, būtų visiškai įkelti ir paruošti. Šis scenarijus laukia, kol bus ir pagrindinis DOM elementas, ir šešėliniai DOM elementai. Metodas EC.presence_of_element_located() užtikrina, kad selenas sąveikauja su elementais tik tada, kai jie yra matomi ir yra, o tai labai svarbu norint išvengti nulinių atskaitos klaidų.

Abiejuose scenarijuose klaidų situacijas tvarkome su a pabandyk-išskyrus blokuoti, kad programa nesustrigtų dėl netikėtų klaidų, pvz., nerasta elementų. Klaidų tvarkymas yra ypač svarbus, kai renkamos svetainės, kurios dažnai atnaujina savo struktūrą arba keičia iššokančiųjų langų elgseną. Be to, šie scenarijai vadovaujasi geriausios praktikos pavyzdžiais, nutraukdami naršyklės seansą naudodami driver.quit() po vykdymo, kad išvengtumėte atminties nutekėjimo ar veikimo problemų.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.common.exceptions import JavascriptException
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = driver.find_element(By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button')
th_button.click()
# Pause to allow popups to load
time.sleep(3)
# Try to close the shadow DOM popup
try:
    close_button = driver.execute_script('return document.querySelector("shopee-banner-popup-stateful")'
                                      '.shadowRoot.querySelector("div.shopee-popup__close-btn")')
    close_button.click()
except JavascriptException as e:
    print("Error: ", e)
# Close the browser
driver.quit()

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = WebDriverWait(driver, 10).until(
    EC.element_to_be_clickable((By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button'))
)
th_button.click()
# Wait for the shadow DOM popup to be present
try:
    shadow_host = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, 'shopee-banner-popup-stateful'))
    )
    shadow_root = driver.execute_script('return arguments[0].shadowRoot', shadow_host)
    close_button = shadow_root.find_element(By.CSS_SELECTOR, 'div.shopee-popup__close-btn')
    close_button.click()
except Exception as e:
    print("Error closing the popup: ", e)
# Close the browser
driver.quit()

Dinaminio turinio tvarkymas naudojant Selenium WebDriver

Kitas svarbus aspektas, į kurį reikia atsižvelgti dirbant su Selenium WebDriver žiniatinklio grandymui, yra tai, kaip elgtis dinamiškas turinys kuris nuolat atnaujinamas arba keičiasi įkėlus puslapį. Daugelis šiuolaikinių svetainių, pvz., „Shopee“, naudoja „JavaScript“ turiniui dinamiškai įkelti ir atnaujinti. Tai reiškia, kad puslapio elementai gali būti nepasiekiami iškart po puslapio įkėlimo. Tokiais atvejais numatytosios Seleno elgsenos laukiant puslapio įkėlimo įvykio gali nepakakti. Naudojant aiškų laukimą patinka WebDriverPalauk gali išspręsti šią problemą laukdamas, kol pasirodys konkretūs elementai arba taps spustelėtini.

Svetainėms su iššokančiaisiais langais, reklamjuostėmis arba sudėtingais vartotojo sąsajos komponentais, kuriais remiamasi, rinkti šešėliniai DOM, labai svarbu žinoti, kaip su jais bendrauti. Šie komponentai slepia elementus izoliuotoje DOM struktūroje, kurių negalima pasiekti naudojant tradicinius metodus, pvz., XPath arba CSS parinkiklius. Naudojant execute_script() komanda padeda užpildyti šią spragą, leisdama paleisti „JavaScript“ tiesiogiai naršyklėje, suteikdama prieigą prie šešėlinio DOM ir leisdama sąveikauti su elementais, tokiais kaip uždarymo mygtukai arba formos laukai tose paslėptose puslapio dalyse.

Be to, tokiais atvejais labai svarbus tampa klaidų valdymas. Tinklalapiai dažnai gali pakeisti savo struktūrą, dėl ko sugenda grandikliai. Tinkamas naudojimas pabandyk-išskyrus blokai Python leidžia sugauti klaidas, tokias kaip JavascriptException ir elkitės su jais grakščiai, užtikrindami, kad grandiklis netikėtai nesudužtų. Įtraukus registravimą, kad būtų užfiksuota išsami klaidos informacija, galima nustatyti pagrindinę priežastį ir ją išspręsti ateityje.