Исправление ошибки очистки веб-страниц Selenium «Невозможно прочитать свойства Null (чтение ShadowRoot)»

Понимание и исправление распространенных ошибок JavaScript в Selenium

При парсинге веб-страниц с помощью Селен ВебДрайвер, возникновение ошибок, связанных с JavaScript, не является редкостью, особенно при работе с динамическими веб-элементами, такими как теневые DOM. Одна из частых ошибок, с которой сталкиваются разработчики, — это JavascriptException: невозможно прочитать свойства null (чтение «shadowRoot»), что часто происходит при взаимодействии со сложными элементами страницы.

Эта ошибка обычно возникает, когда Selenium не может получить доступ к элементам внутри файла или взаимодействовать с ними. теневой ДОМ, уникальный тип инкапсулированной структуры DOM, используемый многими современными веб-сайтами для повышения модульности. В Python использование Selenium для управления браузером с такими элементами может оказаться затруднительным.

В контексте веб-скрапинга с таких платформ, как Shopee, всплывающие окна или баннеры часто используют теневые DOM, которые может быть сложно закрыть программно. Эта проблема может помешать бесперебойному выполнению автоматизированных задач и нарушить сбор данных.

В этом руководстве вы найдете четкое решение проблемы «Невозможно прочитать свойства нуля» ошибку и предоставить практический подход к закрытию всплывающих окон, встроенных в теневые DOM, в Shopee, используя Питон Селен.

Как обрабатывать теневой DOM и всплывающие окна в веб-скрапинге Selenium

Приведенные выше сценарии направлены на решение распространенной проблемы, возникающей при парсинге веб-страниц с помощью Селен ВебДрайвер при взаимодействии с теневыми элементами DOM. Теневой DOM — это часть веб-страницы, которая работает отдельно от основного DOM и часто используется в сложных веб-компонентах. В контексте парсинга таких сайтов, как Shopee, всплывающие окна часто появляются внутри теневых DOM, что может привести к ошибкам при доступе к ним традиционными методами Selenium. Первый скрипт предназначен для закрытия всплывающего окна с помощью выполнения JavaScript через выполнить_скрипт()— мощный инструмент, позволяющий Selenium запускать необработанный JavaScript в контексте браузера.

Основная проблема заключается в том, что элементы внутри теневого DOM недоступны с помощью обычных команд Selenium, таких как find_element_by_xpath(). Вместо этого мы используем JavaScript для перехода в теневой DOM, используя метод теньКорень свойство. Скрипт нацелен на кнопку закрытия всплывающего окна Shopee, сначала обращаясь к его теневому хост-элементу, а затем запрашивая его внутреннюю структуру. Используя драйвер.execute_script(), скрипт способен манипулировать и закрывать элементы внутри этого изолированного DOM. Это решение хорошо работает в сочетании с явным ожиданием для обработки динамических элементов страницы, загружающихся асинхронно.

Второй скрипт представляет WebDriverWait, важный инструмент для управления синхронизацией динамических элементов страницы. Поскольку всплывающие окна Shopee загружаются асинхронно, прямое взаимодействие с этими элементами может вызвать ошибки. Чтобы избежать этого, ВебДрайверОжидание() гарантирует, что элементы, с которыми мы хотим взаимодействовать, полностью загружены и готовы. Этот скрипт ожидает присутствия как основного элемента DOM, так и теневых элементов DOM. Метод EC.presence_of_element_located() гарантирует, что Selenium взаимодействует с элементами только после того, как они видны и присутствуют, что имеет решающее значение для предотвращения ошибок нулевых ссылок.

В обоих скриптах мы обрабатываем ошибки с помощью попробовать-кроме блок, чтобы гарантировать, что программа не выйдет из строя из-за непредвиденных ошибок, например, из-за того, что элементы не найдены. Обработка ошибок особенно важна при парсинге веб-сайтов, которые часто обновляют свою структуру или меняют поведение всплывающих окон. Кроме того, эти сценарии следуют лучшим практикам, завершая сеанс браузера с помощью драйвер.выйти() после выполнения, чтобы избежать утечек памяти или проблем с производительностью.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.common.exceptions import JavascriptException
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = driver.find_element(By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button')
th_button.click()
# Pause to allow popups to load
time.sleep(3)
# Try to close the shadow DOM popup
try:
    close_button = driver.execute_script('return document.querySelector("shopee-banner-popup-stateful")'
                                      '.shadowRoot.querySelector("div.shopee-popup__close-btn")')
    close_button.click()
except JavascriptException as e:
    print("Error: ", e)
# Close the browser
driver.quit()

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = WebDriverWait(driver, 10).until(
    EC.element_to_be_clickable((By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button'))
)
th_button.click()
# Wait for the shadow DOM popup to be present
try:
    shadow_host = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, 'shopee-banner-popup-stateful'))
    )
    shadow_root = driver.execute_script('return arguments[0].shadowRoot', shadow_host)
    close_button = shadow_root.find_element(By.CSS_SELECTOR, 'div.shopee-popup__close-btn')
    close_button.click()
except Exception as e:
    print("Error closing the popup: ", e)
# Close the browser
driver.quit()

Обработка динамического контента с помощью Selenium WebDriver

Еще один ключевой аспект, который следует учитывать при работе с Selenium WebDriver для парсинга веб-страниц, — это то, как обрабатывать динамический контент который постоянно обновляется или изменяется после загрузки страницы. Многие современные веб-сайты, такие как Shopee, используют JavaScript для динамической загрузки и обновления контента. Это означает, что элементы на странице могут быть недоступны сразу после загрузки страницы. В таких случаях стандартного поведения Selenium по ожиданию события загрузки страницы может быть недостаточно. Использование явных ожиданий, например WebDriverWait можно решить эту проблему, дождавшись появления или доступности определенных элементов.

Для парсинга сайтов со всплывающими окнами, баннерами или сложными компонентами пользовательского интерфейса, которые полагаются на теневые DOM, важно знать, как с ними взаимодействовать. Эти компоненты скрывают элементы внутри изолированной структуры DOM, к которой невозможно получить доступ традиционными методами, такими как селекторы XPath или CSS. Используя выполнить_скрипт() Команда помогает устранить этот пробел, позволяя запускать JavaScript непосредственно в браузере, предоставляя доступ к теневой модели DOM и позволяя взаимодействовать с такими элементами, как кнопки закрытия или поля формы в этих скрытых частях страницы.

Кроме того, в таких случаях решающее значение приобретает обработка ошибок. Веб-сайты часто могут менять свою структуру, что приводит к поломке парсеров. Правильное использование попробовать-кроме блоки в Python позволяют обнаруживать такие ошибки, как JavascriptException и обращайтесь с ними изящно, гарантируя, что скребок не выйдет из строя неожиданно. Включение ведения журнала для сбора подробной информации об ошибках может помочь выявить основную причину и устранить ее при будущих проверках.