Corrigindo o erro de raspagem da Web do Selenium 'Não é possível ler propriedades de nulo (leitura'shadowRoot')'

Compreendendo e corrigindo erros comuns de JavaScript no Selenium

Ao fazer web scraping com Selênio WebDriver, encontrar erros relacionados ao JavaScript não é incomum, especialmente ao lidar com elementos dinâmicos da web como DOMs sombra. Um erro frequente que os desenvolvedores enfrentam é o JavascriptException: Não é possível ler propriedades de null (lendo 'shadowRoot'), o que geralmente ocorre ao interagir com elementos de página complexos.

Este erro normalmente surge quando o Selenium não consegue acessar ou interagir com elementos dentro de um sombra DOM, um tipo exclusivo de estrutura DOM encapsulada usada por muitos sites modernos para melhor modularidade. Em Python, usar Selenium para controlar o navegador pode ser complicado com esses elementos.

No contexto de web scraping de plataformas como Shopee, pop-ups ou banners geralmente utilizam shadow DOMs, que podem ser difíceis de fechar programaticamente. Este problema pode dificultar o bom fluxo de tarefas automatizadas e interromper a coleta de dados.

Este guia irá guiá-lo através de uma solução clara para resolver o 'Não é possível ler propriedades de nulo' erro e fornecer uma abordagem prática para fechar pop-ups incorporados em shadow DOMs no Shopee usando Selênio Python.

Como lidar com Shadow DOM e pop-ups em Selenium Web Scraping

Os scripts fornecidos acima visam resolver um problema comum encontrado em web scraping com Selênio WebDriver ao interagir com elementos shadow DOM. Um shadow DOM é uma parte de uma página web que opera separadamente do DOM principal, frequentemente usado em componentes web complexos. No contexto de sites de scraping como o Shopee, pop-ups aparecem frequentemente dentro de shadow DOMs, o que pode levar a erros se acessados ​​com métodos tradicionais do Selenium. O primeiro script foi projetado para fechar o pop-up usando a execução de JavaScript por meio de execute_script(), uma ferramenta poderosa que permite ao Selenium executar JavaScript bruto no contexto do navegador.

O principal desafio é que os elementos dentro de um shadow DOM não são acessíveis com comandos comuns do Selenium, como find_element_by_xpath(). Em vez disso, usamos JavaScript para atravessar o shadow DOM usando o shadowRoot propriedade. O script tem como alvo o botão fechar do pop-up do Shopee, primeiro acessando seu elemento shadow host e, em seguida, consultando sua estrutura interna. Ao utilizar driver.execute_script(), o script é capaz de manipular e fechar elementos dentro deste DOM isolado. Esta solução funciona bem quando combinada com esperas explícitas para lidar com elementos dinâmicos de página que carregam de forma assíncrona.

O segundo roteiro apresenta WebDriverEspere, uma ferramenta essencial para gerenciar o tempo de elementos dinâmicos da página. Como os pop-ups do Shopee carregam de forma assíncrona, a interação direta com esses elementos pode causar erros. Para evitar isso, WebDriverWait() garante que os elementos com os quais desejamos interagir estejam totalmente carregados e prontos. Este script aguarda a presença do elemento DOM principal e dos elementos DOM sombra. O método EC.presence_of_element_located() garante que o Selenium interaja com os elementos somente depois que eles estiverem visíveis e presentes, o que é crucial para evitar erros de referência nula.

Em ambos os scripts, lidamos com situações de erro com um tente-exceto bloco para garantir que o programa não trave devido a erros inesperados, como elementos não encontrados. O tratamento de erros é particularmente importante ao copiar sites que atualizam frequentemente sua estrutura ou alteram o comportamento de pop-ups. Além disso, esses scripts seguem as práticas recomendadas, encerrando a sessão do navegador usando motorista.quit() após a execução para evitar vazamentos de memória ou problemas de desempenho.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.common.exceptions import JavascriptException
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = driver.find_element(By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button')
th_button.click()
# Pause to allow popups to load
time.sleep(3)
# Try to close the shadow DOM popup
try:
    close_button = driver.execute_script('return document.querySelector("shopee-banner-popup-stateful")'
                                      '.shadowRoot.querySelector("div.shopee-popup__close-btn")')
    close_button.click()
except JavascriptException as e:
    print("Error: ", e)
# Close the browser
driver.quit()

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = WebDriverWait(driver, 10).until(
    EC.element_to_be_clickable((By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button'))
)
th_button.click()
# Wait for the shadow DOM popup to be present
try:
    shadow_host = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, 'shopee-banner-popup-stateful'))
    )
    shadow_root = driver.execute_script('return arguments[0].shadowRoot', shadow_host)
    close_button = shadow_root.find_element(By.CSS_SELECTOR, 'div.shopee-popup__close-btn')
    close_button.click()
except Exception as e:
    print("Error closing the popup: ", e)
# Close the browser
driver.quit()

Lidando com conteúdo dinâmico com Selenium WebDriver

Outro aspecto importante a considerar ao trabalhar com Selenium WebDriver para web scraping é como lidar com conteúdo dinâmico que é atualizado ou alterado continuamente após o carregamento da página. Muitos sites modernos, como o Shopee, usam JavaScript para carregar e atualizar conteúdo dinamicamente. Isso significa que os elementos da página podem não estar disponíveis imediatamente após o carregamento da página. Nesses casos, o comportamento padrão do Selenium de aguardar o evento de carregamento da página pode não ser suficiente. Usando esperas explícitas como WebDriverEspere pode resolver esse problema aguardando que elementos específicos apareçam ou se tornem clicáveis.

Para raspar sites com pop-ups, banners ou componentes de UI complexos que dependem de DOMs sombra, é fundamental saber interagir com eles. Esses componentes ocultam elementos dentro de uma estrutura DOM isolada que não pode ser acessada por métodos tradicionais como XPath ou seletores CSS. Usando o execute_script() O comando ajuda a preencher essa lacuna, permitindo que você execute JavaScript diretamente no navegador, dando acesso ao shadow DOM e permitindo interações com elementos como botões de fechamento ou campos de formulário nas partes ocultas da página.

Além disso, o tratamento de erros torna-se crucial nesses casos. Muitas vezes, os sites podem mudar sua estrutura, levando a scrapers quebrados. Uso adequado de tente-exceto blocos em Python permite que você detecte erros como JavascriptException e manuseie-os com elegância, garantindo que o raspador não trave inesperadamente. Incorporar o registro para capturar os detalhes do erro pode ajudar a identificar a causa raiz e resolvê-la em problemas futuros.