Seleeni veebikraapimise vea parandamine "Nulli atribuute ei saa lugeda (lugemine"shadowRoot")

Seleeni levinumate JavaScripti vigade mõistmine ja parandamine

Veebi kraapimisel Seleeni veebidraiver, ei ole JavaScriptiga seotud vigade ilmnemine haruldane, eriti dünaamiliste veebielementidega (nt vari-DOM-id. Üks sagedane viga, millega arendajad silmitsi seisavad, on JavascriptException: nulli atribuute ei saa lugeda (loetakse "shadowRoot"), mis esineb sageli keerukate leheelementidega suhtlemisel.

See tõrge ilmneb tavaliselt siis, kui seleen ei pääse juurde ega saa nendega suhelda vari DOM, ainulaadne kapseldatud DOM-i struktuur, mida kasutavad parema modulaarsuse tagamiseks paljud kaasaegsed veebisaidid. Pythonis võib seleeni kasutamine brauseri juhtimiseks olla selliste elementidega keeruline.

Seoses veebikraapimisega platvormidelt, nagu Shopee, kasutavad hüpikaknad või bännerid sageli vari-DOM-e, mille programmiline sulgemine võib olla keeruline. See probleem võib takistada automatiseeritud ülesannete sujuvat kulgu ja andmete kogumist.

See juhend annab teile selge lahenduse selle probleemi lahendamiseks "Nulli omadusi ei saa lugeda" viga ja pakkuda praktilist lähenemist Shopee vari-DOM-idesse manustatud hüpikakende sulgemiseks Pythoni seleen.

Kuidas käsitleda varju-DOM-i ja hüpikaknaid seleeni veebikraapimisel

Ülaltoodud skriptide eesmärk on lahendada tavaline probleem, mis ilmneb veebi kraapimisel Seleeni veebidraiver DOM-i varielementidega suhtlemisel. Vari-DOM on veebilehe osa, mis töötab peamisest DOM-ist eraldi ja mida kasutatakse sageli keerukates veebikomponentides. Kaapivate saitide (nt Shopee) kontekstis ilmuvad hüpikaknad sageli vari-DOM-i sees, mis võib traditsiooniliste seleenimeetoditega juurdepääsu korral põhjustada vigu. Esimene skript on loodud hüpikakna sulgemiseks JavaScripti käivitamise kaudu execute_script(), võimas tööriist, mis võimaldab Seleniumil brauseri kontekstis käivitada toores JavaScripti.

Peamine väljakutse on see, et vari-DOM-i elementidele ei pääse juurde tavaliste Seleniumi käskude abil find_element_by_xpath(). Selle asemel kasutame vari-DOM-i liikumiseks JavaScripti shadowRoot vara. Skript sihib Shopee hüpikakna sulgemisnuppu, pääsedes esmalt juurde selle varihostielemendile ja esitades seejärel päringu selle sisestruktuurile. Kasutades driver.execute_script(), suudab skript selle isoleeritud DOM-i elemente manipuleerida ja sulgeda. See lahendus töötab hästi koos selgete ootamistega, et käsitleda asünkroonselt laaditavaid dünaamilisi leheelemente.

Teine skript tutvustab WebDriverOota, mis on oluline tööriist dünaamiliste leheelementide ajastuse haldamiseks. Kuna Shopee hüpikaknad laaditakse asünkroonselt, võib nende elementidega otsene suhtlemine põhjustada vigu. Selle vältimiseks WebDriverWait() tagab, et elemendid, millega soovime suhelda, on täielikult laetud ja valmis. See skript ootab nii peamise DOM-i elemendi kui ka vari-DOM-i elementide olemasolu. Meetod EC.presence_of_element_located() tagab, et seleen suhtleb elementidega alles pärast nende nähtavust ja olemasolu, mis on nullviitevigade vältimiseks ülioluline.

Mõlemas skriptis käsitleme veaolukordi a-ga proovi-välja arvatud blokeerida, et programm ei jookseks kokku ootamatute vigade (nt elementide leidmata jätmise) tõttu. Vigade käsitlemine on eriti oluline veebisaitide kraapimisel, mis sageli värskendavad oma struktuuri või muudavad hüpikakna käitumist. Lisaks järgivad need skriptid parimaid tavasid, lõpetades brauseri seansi kasutades driver.quit() pärast käivitamist, et vältida mälulekkeid või jõudlusprobleeme.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.common.exceptions import JavascriptException
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = driver.find_element(By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button')
th_button.click()
# Pause to allow popups to load
time.sleep(3)
# Try to close the shadow DOM popup
try:
    close_button = driver.execute_script('return document.querySelector("shopee-banner-popup-stateful")'
                                      '.shadowRoot.querySelector("div.shopee-popup__close-btn")')
    close_button.click()
except JavascriptException as e:
    print("Error: ", e)
# Close the browser
driver.quit()

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = WebDriverWait(driver, 10).until(
    EC.element_to_be_clickable((By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button'))
)
th_button.click()
# Wait for the shadow DOM popup to be present
try:
    shadow_host = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, 'shopee-banner-popup-stateful'))
    )
    shadow_root = driver.execute_script('return arguments[0].shadowRoot', shadow_host)
    close_button = shadow_root.find_element(By.CSS_SELECTOR, 'div.shopee-popup__close-btn')
    close_button.click()
except Exception as e:
    print("Error closing the popup: ", e)
# Close the browser
driver.quit()

Dünaamilise sisu haldamine Selenium WebDriveriga

Veel üks oluline aspekt, mida veebikraapimiseks Selenium WebDriveriga töötamisel arvestada, on käsitsemine dünaamiline sisu mida uuendatakse või muutuvad pidevalt pärast lehe laadimist. Paljud kaasaegsed veebisaidid, nagu Shopee, kasutavad sisu dünaamiliseks laadimiseks ja värskendamiseks JavaScripti. See tähendab, et lehel olevad elemendid ei pruugi pärast lehe laadimist kohe saadaval olla. Sellistel juhtudel ei pruugi Seleniumi vaikekäitumine lehe laadimise sündmuse ootamisest olla piisav. Selge ooteaja kasutamine WebDriverOota saab selle probleemi lahendada, oodates, kuni teatud elemendid ilmuvad või muutuvad klõpsatavaks.

Hüpikakende, bännerite või keerukate kasutajaliidese komponentidega saitide kraapimiseks, mis sõltuvad vari-DOM-id, on oluline teada, kuidas nendega suhelda. Need komponendid peidavad isoleeritud DOM-struktuuri elemente, millele ei pääse juurde traditsioonilised meetodid, nagu XPath või CSS-selektorid. Kasutades execute_script() käsk aitab seda lünka ületada, võimaldades käivitada JavaScripti otse brauseris, andes teile juurdepääsu vari-DOM-ile ja võimaldades suhelda elementidega, nagu sulgemisnupud või vormiväljad lehe peidetud osades.

Lisaks muutub sellistel juhtudel otsustavaks vigade käsitlemine. Veebisaidid võivad sageli muuta oma struktuuri, mille tulemuseks on kaabitsad katki. Õige kasutamine proovi-välja arvatud plokid Pythonis võimaldab teil tabada selliseid vigu nagu JavascriptException ja käsitsege neid graatsiliselt, tagades, et kaabits ei jookseks ootamatult kokku. Logimise kaasamine vea üksikasjade jäädvustamiseks võib aidata tuvastada algpõhjuse ja lahendada selle tulevaste kaabitsate käigus.