Selēna tīmekļa skrāpēšanas kļūdas “Nevar nolasīt nulles rekvizītus (lasīt 'shadowRoot”) labošana

Izpratne un parasto JavaScript kļūdu novēršana selēnā

Kad tīmekļa skrāpēšana ar Selēna tīmekļa draiveris, sastapšanās ar JavaScript kļūdām nav nekas neparasts, it īpaši, strādājot ar dinamiskiem tīmekļa elementiem, piemēram, ēnu DOM. Viena bieži sastopama kļūda, ar ko saskaras izstrādātāji, ir JavascriptException: nevar nolasīt nulles rekvizītus (nolasa "shadowRoot"), kas bieži rodas, mijiedarbojoties ar sarežģītiem lapas elementiem.

Šī kļūda parasti rodas, ja Selēns nevar piekļūt elementiem vai mijiedarboties ar tiem ēnu DOM, unikāls iekapsulētas DOM struktūras veids, ko izmanto daudzas modernas vietnes, lai nodrošinātu labāku modularitāti. Programmā Python Selenium izmantošana pārlūkprogrammas vadīšanai var būt sarežģīta ar šādiem elementiem.

Tīmekļa kopēšanas kontekstā no tādām platformām kā Shopee, uznirstošajos logos vai reklāmkarogos bieži tiek izmantoti ēnu DOM, kurus var būt grūti aizvērt programmatiski. Šī problēma var kavēt vienmērīgu automatizēto uzdevumu plūsmu un traucēt datu vākšanu.

Šajā rokasgrāmatā būs sniegts skaidrs risinājums, lai atrisinātu problēmu "Nevar nolasīt nulles rekvizītus" kļūdu un nodrošina praktisku pieeju, lai aizvērtu uznirstošo logu, kas iegults ēnu DOM pakalpojumā Shopee, izmantojot Python selēns.

Kā rīkoties ar ēnu DOM un uznirstošajiem logiem Selēna tīmekļa skrāpēšanā

Iepriekš sniegtie skripti ir paredzēti, lai risinātu bieži sastopamu problēmu, kas rodas, veicot tīmekļa skrāpēšanu ar Selēna tīmekļa draiveris mijiedarbojoties ar ēnu DOM elementiem. Ēnu DOM ir tīmekļa lapas daļa, kas darbojas atsevišķi no galvenā DOM, ko bieži izmanto sarežģītos tīmekļa komponentos. Tādu vietņu kā Shopee nokasīšanas kontekstā uznirstošie logi bieži parādās ēnu DOM, kas var izraisīt kļūdas, ja tiek piekļūts ar tradicionālajām selēna metodēm. Pirmais skripts ir paredzēts, lai aizvērtu uznirstošo logu, izmantojot JavaScript izpildi execute_script(), spēcīgs rīks, kas ļauj Selenium palaist neapstrādātu JavaScript pārlūkprogrammas kontekstā.

Galvenais izaicinājums ir tāds, ka elementi ēnu DOM iekšpusē nav pieejami, izmantojot tādas parastās Selēna komandas atrast_elementu_pēc_xpath(). Tā vietā mēs izmantojam JavaScript, lai pārvietotos uz ēnu DOM, izmantojot shadowRoot īpašums. Skripts ir vērsts uz Shopee uznirstošā loga aizvēršanas pogu, vispirms piekļūstot tā ēnas resursdatora elementam un pēc tam vaicājot tā iekšējo struktūru. Izmantojot driver.execute_script(), skripts spēj manipulēt un aizvērt elementus šajā izolētajā DOM. Šis risinājums darbojas labi, ja to apvieno ar nepārprotamu gaidīšanu, lai apstrādātu dinamiskus lapas elementus, kas tiek ielādēti asinhroni.

Otrais skripts iepazīstina WebDriver Pagaidiet, kas ir būtisks rīks dinamisko lapas elementu laika pārvaldībai. Tā kā Shopee uznirstošie logi tiek ielādēti asinhroni, tieša mijiedarbība ar šiem elementiem var izraisīt kļūdas. Lai no tā izvairītos, WebDriverWait() nodrošina, ka elementi, ar kuriem vēlamies mijiedarboties, ir pilnībā ielādēti un gatavi. Šis skripts gaida gan galvenā DOM elementa, gan ēnu DOM elementu klātbūtni. Metode EC.presence_of_element_located() nodrošina, ka selēns mijiedarbojas ar elementiem tikai pēc tam, kad tie ir redzami un atrodas, kas ir ļoti svarīgi, lai izvairītos no nulles atsauces kļūdām.

Abos skriptos kļūdu situācijas tiek risinātas ar a mēģināt-izņemot bloķēt, lai nodrošinātu, ka programma neavārē neparedzētu kļūdu dēļ, piemēram, elementi netiek atrasti. Kļūdu apstrāde ir īpaši svarīga, vācot vietnes, kas bieži atjaunina savu struktūru vai maina uznirstošo logu darbību. Turklāt šie skripti atbilst paraugpraksei, pārtraucot pārlūkprogrammas sesiju, izmantojot driver.quit() pēc izpildes, lai izvairītos no atmiņas noplūdēm vai veiktspējas problēmām.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.common.exceptions import JavascriptException
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = driver.find_element(By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button')
th_button.click()
# Pause to allow popups to load
time.sleep(3)
# Try to close the shadow DOM popup
try:
    close_button = driver.execute_script('return document.querySelector("shopee-banner-popup-stateful")'
                                      '.shadowRoot.querySelector("div.shopee-popup__close-btn")')
    close_button.click()
except JavascriptException as e:
    print("Error: ", e)
# Close the browser
driver.quit()

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = WebDriverWait(driver, 10).until(
    EC.element_to_be_clickable((By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button'))
)
th_button.click()
# Wait for the shadow DOM popup to be present
try:
    shadow_host = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, 'shopee-banner-popup-stateful'))
    )
    shadow_root = driver.execute_script('return arguments[0].shadowRoot', shadow_host)
    close_button = shadow_root.find_element(By.CSS_SELECTOR, 'div.shopee-popup__close-btn')
    close_button.click()
except Exception as e:
    print("Error closing the popup: ", e)
# Close the browser
driver.quit()

Dinamiska satura apstrāde, izmantojot Selenium WebDriver

Vēl viens svarīgs aspekts, kas jāņem vērā, strādājot ar Selenium WebDriver tīmekļa skrāpēšanai, ir tas, kā rīkoties dinamisks saturs kas nepārtraukti tiek atjaunināti vai mainīti pēc lapas ielādes. Daudzas modernas vietnes, piemēram, Shopee, izmanto JavaScript, lai dinamiski ielādētu un atjauninātu saturu. Tas nozīmē, ka lapas elementi var nebūt pieejami uzreiz pēc lapas ielādes. Šādos gadījumos ar Selēna noklusējuma darbību, gaidot lapas ielādes notikumu, var nepietikt. Izmantojot nepārprotamas gaidīšanas funkcijas WebDriver Pagaidiet var atrisināt šo problēmu, gaidot, kamēr parādīsies konkrēti elementi vai tie kļūs noklikšķināmi.

Vietņu nokasīšanai ar uznirstošajiem logiem, reklāmkarogiem vai sarežģītiem lietotāja interfeisa komponentiem, uz kuriem balstās ēnu DOM, ir svarīgi zināt, kā ar viņiem sazināties. Šie komponenti slēpj elementus izolētā DOM struktūrā, kam nevar piekļūt ar tradicionālām metodēm, piemēram, XPath vai CSS atlasītājiem. Izmantojot execute_script() komanda palīdz pārvarēt šo plaisu, ļaujot palaist JavaScript tieši pārlūkprogrammā, nodrošinot piekļuvi ēnu DOM un ļaujot mijiedarboties ar elementiem, piemēram, aizvēršanas pogām vai veidlapu laukiem šajās slēptajās lapas daļās.

Turklāt šādos gadījumos kļūdu apstrāde kļūst ļoti svarīga. Vietnes bieži var mainīt savu struktūru, kā rezultātā var sabojāt skrāpjus. Pareiza lietošana mēģināt-izņemot bloki Python ļauj noķert tādas kļūdas kā JavascriptException un apstrādājiet tos graciozi, nodrošinot, ka skrāpis negaidīti avarē. Mežizstrādes iekļaušana, lai iegūtu informāciju par kļūdu, var palīdzēt noteikt galveno cēloni un novērst to turpmākajos skrāpējumos.