Correction de l'erreur de grattage Web Selenium « Impossible de lire les propriétés de Null (Lecture « shadowRoot »)

Comprendre et corriger les erreurs JavaScript courantes dans Selenium

Lors du web scraping avec Pilote Web Sélénium, il n'est pas rare de rencontrer des erreurs liées à JavaScript, en particulier lorsqu'il s'agit d'éléments Web dynamiques tels que DOM fantômes. Une erreur fréquente à laquelle les développeurs sont confrontés est la JavascriptException : Impossible de lire les propriétés de null (lecture de 'shadowRoot'), ce qui se produit souvent lors de l'interaction avec des éléments de page complexes.

Cette erreur se produit généralement lorsque Selenium est incapable d'accéder ou d'interagir avec des éléments à l'intérieur d'un ombre DOM, un type unique de structure DOM encapsulée utilisé par de nombreux sites Web modernes pour une meilleure modularité. En Python, utiliser Selenium pour contrôler le navigateur peut être délicat avec de tels éléments.

Dans le contexte du web scraping à partir de plateformes comme Shopee, les popups ou les bannières utilisent souvent des Shadow DOM, qui peuvent être difficiles à fermer par programme. Ce problème peut entraver le bon déroulement des tâches automatisées et perturber la collecte de données.

Ce guide vous guidera à travers une solution claire pour résoudre le problème. "Impossible de lire les propriétés de Null" erreur et fournir une approche pratique pour fermer les popups intégrés dans les Shadow DOM dans Shopee en utilisant Python Sélénium.

Comment gérer Shadow DOM et les popups dans Selenium Web Scraping

Les scripts fournis ci-dessus visent à résoudre un problème courant rencontré dans le web scraping avec Pilote Web Sélénium lors de l'interaction avec des éléments shadow DOM. Un Shadow DOM est une partie d'une page Web qui fonctionne séparément du DOM principal, souvent utilisé dans des composants Web complexes. Dans le contexte de sites de scraping comme Shopee, des fenêtres contextuelles apparaissent fréquemment dans les DOM fantômes, ce qui peut entraîner des erreurs en cas d'accès avec les méthodes Selenium traditionnelles. Le premier script est conçu pour fermer la fenêtre contextuelle à l'aide de l'exécution de JavaScript via exécuter_script(), un outil puissant qui permet à Selenium d'exécuter du JavaScript brut dans le contexte du navigateur.

Le principal défi est que les éléments à l'intérieur d'un shadow DOM ne sont pas accessibles avec les commandes Selenium courantes telles que find_element_by_xpath(). Au lieu de cela, nous utilisons JavaScript pour traverser le Shadow DOM en utilisant le ombreRacine propriété. Le script cible le bouton de fermeture de la fenêtre contextuelle Shopee en accédant d'abord à son élément hôte fantôme, puis en interrogeant sa structure interne. En utilisant pilote.execute_script(), le script est capable de manipuler et de fermer des éléments à l'intérieur de ce DOM isolé. Cette solution fonctionne bien lorsqu'elle est combinée avec des attentes explicites pour gérer les éléments de page dynamiques qui se chargent de manière asynchrone.

Le deuxième script introduit WebDriverWait, un outil essentiel pour gérer le timing des éléments dynamiques de la page. Étant donné que les popups de Shopee se chargent de manière asynchrone, l’interaction directe avec ces éléments peut provoquer des erreurs. Pour éviter cela, WebDriverWait() garantit que les éléments avec lesquels nous souhaitons interagir sont entièrement chargés et prêts. Ce script attend la présence à la fois de l'élément DOM principal et des éléments DOM fantômes. La méthode EC.presence_of_element_located() garantit que Selenium interagit avec les éléments uniquement une fois qu'ils sont visibles et présents, ce qui est crucial pour éviter les erreurs de référence nulle.

Dans les deux scripts, nous traitons les situations d'erreur avec un essayer-sauf bloquer pour garantir que le programme ne plante pas en raison d'erreurs inattendues, telles que des éléments introuvables. La gestion des erreurs est particulièrement importante lors du scraping de sites Web qui mettent fréquemment à jour leur structure ou modifient le comportement des fenêtres contextuelles. De plus, ces scripts suivent les meilleures pratiques en mettant fin à la session du navigateur à l'aide de pilote.quit() après l'exécution pour éviter les fuites de mémoire ou les problèmes de performances.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.common.exceptions import JavascriptException
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = driver.find_element(By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button')
th_button.click()
# Pause to allow popups to load
time.sleep(3)
# Try to close the shadow DOM popup
try:
    close_button = driver.execute_script('return document.querySelector("shopee-banner-popup-stateful")'
                                      '.shadowRoot.querySelector("div.shopee-popup__close-btn")')
    close_button.click()
except JavascriptException as e:
    print("Error: ", e)
# Close the browser
driver.quit()

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = WebDriverWait(driver, 10).until(
    EC.element_to_be_clickable((By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button'))
)
th_button.click()
# Wait for the shadow DOM popup to be present
try:
    shadow_host = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, 'shopee-banner-popup-stateful'))
    )
    shadow_root = driver.execute_script('return arguments[0].shadowRoot', shadow_host)
    close_button = shadow_root.find_element(By.CSS_SELECTOR, 'div.shopee-popup__close-btn')
    close_button.click()
except Exception as e:
    print("Error closing the popup: ", e)
# Close the browser
driver.quit()

Gestion du contenu dynamique avec Selenium WebDriver

Un autre aspect clé à prendre en compte lorsque vous travaillez avec Selenium WebDriver pour le web scraping est la façon de gérer contenu dynamique qui se met à jour ou change continuellement après le chargement de la page. De nombreux sites Web modernes, comme Shopee, utilisent JavaScript pour charger et mettre à jour le contenu de manière dynamique. Cela signifie que les éléments de la page peuvent ne pas être immédiatement disponibles après le chargement de la page. Dans de tels cas, le comportement par défaut de Selenium consistant à attendre l’événement de chargement de page peut ne pas être suffisant. Utiliser des attentes explicites comme WebDriverWait peut résoudre ce problème en attendant que des éléments spécifiques apparaissent ou deviennent cliquables.

Pour supprimer des sites avec des popups, des bannières ou des composants d'interface utilisateur complexes qui reposent sur DOM fantômes, il est essentiel de savoir interagir avec eux. Ces composants cachent des éléments dans une structure DOM isolée qui ne sont pas accessibles par les méthodes traditionnelles telles que les sélecteurs XPath ou CSS. En utilisant le exécuter_script() La commande aide à combler cette lacune en vous permettant d'exécuter JavaScript directement dans le navigateur, vous donnant accès au shadow DOM et permettant des interactions avec des éléments tels que des boutons de fermeture ou des champs de formulaire dans ces parties cachées de la page.

De plus, la gestion des erreurs devient cruciale dans de tels cas. Les sites Web peuvent souvent modifier leur structure, ce qui entraîne des scrapers cassés. Utilisation appropriée de essayer-sauf les blocs en Python vous permettent de détecter des erreurs telles que JavascriptException et manipulez-les avec élégance, en vous assurant que le grattoir ne tombe pas en panne de manière inattendue. L'intégration de la journalisation pour capturer les détails de l'erreur peut aider à identifier la cause première et à la résoudre lors des futurs grattages.