Naprawianie błędu „Nie można odczytać właściwości Null (Odczyt„ ShadowRoot ”)” Selenium Web Scraping

Zrozumienie i naprawienie typowych błędów JavaScript w Selenium

Podczas skrobania sieci za pomocą Selenium WebDriver, napotkanie błędów związanych z JavaScriptem nie jest rzadkością, szczególnie w przypadku dynamicznych elementów sieciowych, takich jak DOM-cień. Jednym z częstych błędów, z jakimi borykają się programiści, jest JavaScriptException: Nie można odczytać właściwości null (czytanie „shadowRoot”), co często ma miejsce podczas interakcji ze złożonymi elementami strony.

Ten błąd zwykle pojawia się, gdy Selenium nie może uzyskać dostępu lub interakcji z elementami wewnątrz pliku cień DOM, unikalny typ enkapsulowanej struktury DOM używany przez wiele nowoczesnych stron internetowych w celu zapewnienia lepszej modułowości. W Pythonie używanie Selenium do sterowania przeglądarką może być trudne w przypadku takich elementów.

W kontekście skrobania stron internetowych z platform takich jak Shopee, wyskakujące okienka lub banery często korzystają z cieni DOM, których programowe zamknięcie może być trudne. Problem ten może utrudniać płynny przepływ zautomatyzowanych zadań i zakłócać gromadzenie danych.

Ten przewodnik przeprowadzi Cię przez jasne rozwiązanie problemu „Nie można odczytać właściwości wartości Null” błąd i zapewniają praktyczne podejście do zamykania wyskakujących okienek osadzonych w cieniu DOM w Shopee Selen w Pythonie.

Jak obsługiwać Shadow DOM i wyskakujące okienka w Selenium Web Scraping

Skrypty podane powyżej mają na celu rozwiązanie typowego problemu napotykanego podczas skrobania stron internetowych Selenium WebDriver podczas interakcji z elementami cienia DOM. Cień DOM to część strony internetowej, która działa niezależnie od głównego DOM, często używana w złożonych komponentach sieciowych. W kontekście witryn scrapingowych, takich jak Shopee, wyskakujące okienka często pojawiają się w cieniu DOM, co może prowadzić do błędów w przypadku dostępu za pomocą tradycyjnych metod Selenium. Pierwszy skrypt ma na celu zamknięcie wyskakującego okienka za pomocą wykonania JavaScript wykonaj_skrypt(), potężne narzędzie, które pozwala Selenium uruchamiać surowy JavaScript w kontekście przeglądarki.

Kluczowym wyzwaniem jest to, że elementy wewnątrz cienia DOM nie są dostępne za pomocą typowych poleceń Selenium, takich jak find_element_by_xpath(). Zamiast tego używamy JavaScript, aby przejść do cienia DOM za pomocą cieńKorzeń nieruchomość. Skrypt celuje w przycisk zamykania wyskakującego okienka Shopee, najpierw uzyskując dostęp do jego elementu hosta w tle, a następnie wysyłając zapytanie do jego wewnętrznej struktury. Korzystając sterownik.execute_script(), skrypt może manipulować i zamykać elementy wewnątrz tego izolowanego modelu DOM. To rozwiązanie działa dobrze w połączeniu z jawnym oczekiwaniem na obsługę dynamicznych elementów strony, które ładują się asynchronicznie.

Drugi skrypt wprowadza WebDriverCzekaj, niezbędne narzędzie do zarządzania czasem dynamicznych elementów strony. Ponieważ wyskakujące okienka Shopee ładują się asynchronicznie, bezpośrednia interakcja z tymi elementami może powodować błędy. Aby tego uniknąć, WebDriverCzekaj() gwarantuje, że elementy, z którymi chcemy wejść w interakcję, są w pełni załadowane i gotowe. Skrypt ten czeka na obecność zarówno głównego elementu DOM, jak i elementów cienia DOM. Metoda EC.obecność_elementu_located() zapewnia, że ​​Selenium oddziałuje z elementami dopiero wtedy, gdy są one widoczne i obecne, co ma kluczowe znaczenie dla uniknięcia błędów odniesienia zerowego.

W obu skryptach sytuacje błędów obsługujemy za pomocą a spróbuj, z wyjątkiem block, aby mieć pewność, że program nie ulegnie awarii z powodu nieoczekiwanych błędów, takich jak nieznalezienie elementów. Obsługa błędów jest szczególnie ważna podczas scrapowania stron internetowych, które często aktualizują swoją strukturę lub zmieniają zachowanie wyskakujących okienek. Dodatkowo skrypty te postępują zgodnie z najlepszymi praktykami, kończąc sesję przeglądarki za pomocą sterownik.zakończ() po wykonaniu, aby uniknąć wycieków pamięci lub problemów z wydajnością.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.common.exceptions import JavascriptException
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = driver.find_element(By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button')
th_button.click()
# Pause to allow popups to load
time.sleep(3)
# Try to close the shadow DOM popup
try:
    close_button = driver.execute_script('return document.querySelector("shopee-banner-popup-stateful")'
                                      '.shadowRoot.querySelector("div.shopee-popup__close-btn")')
    close_button.click()
except JavascriptException as e:
    print("Error: ", e)
# Close the browser
driver.quit()

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = WebDriverWait(driver, 10).until(
    EC.element_to_be_clickable((By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button'))
)
th_button.click()
# Wait for the shadow DOM popup to be present
try:
    shadow_host = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, 'shopee-banner-popup-stateful'))
    )
    shadow_root = driver.execute_script('return arguments[0].shadowRoot', shadow_host)
    close_button = shadow_root.find_element(By.CSS_SELECTOR, 'div.shopee-popup__close-btn')
    close_button.click()
except Exception as e:
    print("Error closing the popup: ", e)
# Close the browser
driver.quit()

Obsługa treści dynamicznych za pomocą Selenium WebDriver

Kolejnym kluczowym aspektem, który należy wziąć pod uwagę podczas pracy z Selenium WebDriver przy przeglądaniu stron internetowych, jest sposób obsługi zawartość dynamiczna które stale aktualizują się lub zmieniają po załadowaniu strony. Wiele nowoczesnych witryn internetowych, takich jak Shopee, używa JavaScript do dynamicznego ładowania i aktualizowania treści. Oznacza to, że elementy na stronie mogą nie być dostępne od razu po załadowaniu strony. W takich przypadkach domyślne zachowanie Selenium polegające na oczekiwaniu na zdarzenie ładowania strony może nie być wystarczające. Używanie jawnego oczekiwania, takiego jak WebDriverCzekaj może rozwiązać ten problem, czekając, aż pojawią się określone elementy lub staną się klikalne.

Do skrobania witryn z wyskakującymi okienkami, banerami lub złożonymi komponentami interfejsu użytkownika, na których opierają się DOM-cieńważne jest, aby wiedzieć, jak z nimi współdziałać. Komponenty te ukrywają elementy w izolowanej strukturze DOM, do których nie można uzyskać dostępu tradycyjnymi metodami, takimi jak selektory XPath lub CSS. Korzystanie z wykonaj_skrypt() Komenda pomaga wypełnić tę lukę, umożliwiając uruchamianie JavaScript bezpośrednio w przeglądarce, zapewniając dostęp do cienia DOM i umożliwiając interakcję z takimi elementami, jak przyciski zamykania lub pola formularzy w ukrytych częściach strony.

Dodatkowo w takich przypadkach kluczowa staje się obsługa błędów. Strony internetowe często mogą zmieniać swoją strukturę, co prowadzi do zepsucia skrobaków. Właściwe użycie spróbuj, z wyjątkiem bloki w Pythonie pozwalają wyłapać błędy takie jak Wyjątek JavaScript i obchodź się z nimi z wdziękiem, upewniając się, że zgarniacz nie ulegnie niespodziewanej awarii. Włączenie rejestrowania w celu przechwycenia szczegółów błędu może pomóc w zidentyfikowaniu pierwotnej przyczyny i rozwiązaniu jej w przyszłych problemach.