Διόρθωση σφάλματος "Δεν είναι δυνατή η ανάγνωση των ιδιοτήτων του Null (Reading'shadowRoot')" Σφάλμα απόξεσης ιστού Selenium

Κατανόηση και διόρθωση κοινών σφαλμάτων JavaScript στο Selenium

Κατά την απόξεση ιστού με Selenium WebDriver, η αντιμετώπιση σφαλμάτων που σχετίζονται με JavaScript δεν είναι ασυνήθιστη, ειδικά όταν πρόκειται για δυναμικά στοιχεία ιστού όπως σκιώδη DOM. Ένα συχνό σφάλμα που αντιμετωπίζουν οι προγραμματιστές είναι το JavascriptException: Δεν είναι δυνατή η ανάγνωση των ιδιοτήτων του null (διαβάζοντας "shadowRoot"), το οποίο συμβαίνει συχνά κατά την αλληλεπίδραση με πολύπλοκα στοιχεία σελίδας.

Αυτό το σφάλμα συνήθως προκύπτει όταν το Selenium δεν μπορεί να έχει πρόσβαση ή να αλληλεπιδράσει με στοιχεία μέσα στο α σκιά DOM, ένας μοναδικός τύπος ενθυλακωμένης δομής DOM που χρησιμοποιείται από πολλούς σύγχρονους ιστότοπους για καλύτερη αρθρωτή δομή. Στην Python, η χρήση του Selenium για τον έλεγχο του προγράμματος περιήγησης μπορεί να είναι δύσκολη με τέτοια στοιχεία.

Στο πλαίσιο της απόξεσης ιστού από πλατφόρμες όπως το Shopee, τα αναδυόμενα παράθυρα ή τα banner συχνά χρησιμοποιούν σκιώδη DOM, τα οποία μπορεί να είναι δύσκολο να κλείσουν μέσω προγραμματισμού. Αυτό το πρόβλημα μπορεί να εμποδίσει την ομαλή ροή των αυτοματοποιημένων εργασιών και να διαταράξει τη συλλογή δεδομένων.

Αυτός ο οδηγός θα σας καθοδηγήσει σε μια σαφή λύση για την αντιμετώπιση του "Δεν μπορώ να διαβάσω τις ιδιότητες του Null" σφάλμα και παρέχει μια πρακτική προσέγγιση για το κλείσιμο αναδυόμενων παραθύρων που είναι ενσωματωμένα σε σκιώδεις DOM στο Shopee χρησιμοποιώντας Python Selenium.

Πώς να χειριστείτε το Shadow DOM και τα αναδυόμενα παράθυρα στο Selenium Web Scraping

Τα σενάρια που παρέχονται παραπάνω στοχεύουν στην αντιμετώπιση ενός κοινού ζητήματος που αντιμετωπίζεται κατά την απόξεση ιστού με Selenium WebDriver κατά την αλληλεπίδραση με σκιώδη στοιχεία DOM. Ένα σκιερό DOM είναι ένα μέρος μιας ιστοσελίδας που λειτουργεί χωριστά από το κύριο DOM και χρησιμοποιείται συχνά σε πολύπλοκα στοιχεία ιστού. Στο πλαίσιο της απόξεσης τοποθεσιών όπως το Shopee, εμφανίζονται συχνά αναδυόμενα παράθυρα μέσα σε σκιώδη DOM, τα οποία μπορούν να οδηγήσουν σε σφάλματα εάν προσπελαστούν με παραδοσιακές μεθόδους Selenium. Το πρώτο σενάριο έχει σχεδιαστεί για να κλείνει το αναδυόμενο παράθυρο χρησιμοποιώντας την εκτέλεση JavaScript μέσω execute_script(), ένα ισχυρό εργαλείο που επιτρέπει στο Selenium να εκτελεί ακατέργαστη JavaScript στο πλαίσιο του προγράμματος περιήγησης.

Η βασική πρόκληση είναι ότι τα στοιχεία μέσα σε ένα σκιερό DOM δεν είναι προσβάσιμα με κοινές εντολές Selenium όπως find_element_by_xpath(). Αντίθετα, χρησιμοποιούμε JavaScript για να περάσουμε στο σκιερό DOM χρησιμοποιώντας το shadowRoot ιδιοκτησία. Το σενάριο στοχεύει το κουμπί κλεισίματος του αναδυόμενου παραθύρου Shopee, έχοντας πρώτα πρόσβαση στο σκιώδες στοιχείο κεντρικού υπολογιστή του και, στη συνέχεια, υποβάλλοντας ερωτήματα στην εσωτερική του δομή. Με την αξιοποίηση driver.execute_script(), το σενάριο μπορεί να χειριστεί και να κλείσει στοιχεία μέσα σε αυτό το απομονωμένο DOM. Αυτή η λύση λειτουργεί καλά όταν συνδυάζεται με ρητές αναμονές για τη διαχείριση δυναμικών στοιχείων σελίδας που φορτώνονται ασύγχρονα.

Το δεύτερο σενάριο εισάγει WebDriverΠεριμένετε, ένα απαραίτητο εργαλείο για τη διαχείριση του χρονισμού των δυναμικών στοιχείων σελίδας. Δεδομένου ότι τα αναδυόμενα παράθυρα του Shopee φορτώνονται ασύγχρονα, η άμεση αλληλεπίδραση με αυτά τα στοιχεία μπορεί να προκαλέσει σφάλματα. Για να αποφευχθεί αυτό, WebDriverWait() διασφαλίζει ότι τα στοιχεία με τα οποία θέλουμε να αλληλεπιδράσουμε είναι πλήρως φορτωμένα και έτοιμα. Αυτό το σενάριο περιμένει την παρουσία τόσο του κύριου στοιχείου DOM όσο και των σκιωδών στοιχείων DOM. Η μέθοδος EC.presence_of_element_located() διασφαλίζει ότι το σελήνιο αλληλεπιδρά με στοιχεία μόνο αφού είναι ορατά και παρόντα, κάτι που είναι κρίσιμο για την αποφυγή μηδενικών σφαλμάτων αναφοράς.

Και στα δύο σενάρια, χειριζόμαστε καταστάσεις σφαλμάτων με a προσπαθώ-εκτός αποκλεισμός για να διασφαλιστεί ότι το πρόγραμμα δεν θα διακοπεί λόγω απροσδόκητων σφαλμάτων, όπως η μη εύρεση στοιχείων. Ο χειρισμός σφαλμάτων είναι ιδιαίτερα σημαντικός κατά την απόξεση ιστότοπων που ενημερώνουν συχνά τη δομή τους ή αλλάζουν συμπεριφορά αναδυόμενων παραθύρων. Επιπλέον, αυτά τα σενάρια ακολουθούν τις βέλτιστες πρακτικές τερματίζοντας τη χρήση του προγράμματος περιήγησης driver.quit() μετά την εκτέλεση για την αποφυγή διαρροών μνήμης ή προβλημάτων απόδοσης.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.common.exceptions import JavascriptException
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = driver.find_element(By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button')
th_button.click()
# Pause to allow popups to load
time.sleep(3)
# Try to close the shadow DOM popup
try:
    close_button = driver.execute_script('return document.querySelector("shopee-banner-popup-stateful")'
                                      '.shadowRoot.querySelector("div.shopee-popup__close-btn")')
    close_button.click()
except JavascriptException as e:
    print("Error: ", e)
# Close the browser
driver.quit()

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = WebDriverWait(driver, 10).until(
    EC.element_to_be_clickable((By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button'))
)
th_button.click()
# Wait for the shadow DOM popup to be present
try:
    shadow_host = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, 'shopee-banner-popup-stateful'))
    )
    shadow_root = driver.execute_script('return arguments[0].shadowRoot', shadow_host)
    close_button = shadow_root.find_element(By.CSS_SELECTOR, 'div.shopee-popup__close-btn')
    close_button.click()
except Exception as e:
    print("Error closing the popup: ", e)
# Close the browser
driver.quit()

Χειρισμός δυναμικού περιεχομένου με Selenium WebDriver

Μια άλλη βασική πτυχή που πρέπει να λάβετε υπόψη όταν εργάζεστε με το Selenium WebDriver για απόξεση ιστού είναι ο τρόπος χειρισμού δυναμικό περιεχόμενο που ενημερώνεται ή αλλάζει συνεχώς μετά τη φόρτωση της σελίδας. Πολλοί σύγχρονοι ιστότοποι, όπως το Shopee, χρησιμοποιούν JavaScript για δυναμική φόρτωση και ενημέρωση περιεχομένου. Αυτό σημαίνει ότι τα στοιχεία στη σελίδα ενδέχεται να μην είναι άμεσα διαθέσιμα μετά τη φόρτωση της σελίδας. Σε τέτοιες περιπτώσεις, η προεπιλεγμένη συμπεριφορά του Selenium για αναμονή για το συμβάν φόρτωσης σελίδας μπορεί να μην είναι επαρκής. Χρήση ρητών αναμονής όπως WebDriverΠεριμένετε μπορεί να λύσει αυτό το ζήτημα περιμένοντας να εμφανιστούν συγκεκριμένα στοιχεία ή να γίνουν κλικ.

Για απόξεση τοποθεσιών με αναδυόμενα παράθυρα, banner ή σύνθετα στοιχεία διεπαφής χρήστη που βασίζονται σε σκιώδη DOM, είναι σημαντικό να γνωρίζετε πώς να αλληλεπιδράτε μαζί τους. Αυτά τα στοιχεία κρύβουν στοιχεία μέσα σε μια απομονωμένη δομή DOM που δεν είναι προσβάσιμη με παραδοσιακές μεθόδους όπως οι επιλογείς XPath ή CSS. Χρησιμοποιώντας το execute_script() Η εντολή σας βοηθά να γεφυρώσετε αυτό το χάσμα επιτρέποντάς σας να εκτελέσετε JavaScript απευθείας μέσα στο πρόγραμμα περιήγησης, δίνοντάς σας πρόσβαση στο σκιερό DOM και επιτρέποντας αλληλεπιδράσεις με στοιχεία όπως κουμπιά κλεισίματος ή πεδία φόρμας μέσα σε αυτά τα κρυφά μέρη της σελίδας.

Επιπλέον, ο χειρισμός σφαλμάτων καθίσταται κρίσιμος σε τέτοιες περιπτώσεις. Οι ιστότοποι μπορούν συχνά να αλλάξουν τη δομή τους, οδηγώντας σε σπασμένα ξύστρα. Η σωστή χρήση του προσπαθώ-εκτός Τα μπλοκ στην Python σάς επιτρέπουν να εντοπίζετε σφάλματα όπως JavascriptException και να τα χειριστείτε με χάρη, διασφαλίζοντας ότι η ξύστρα δεν θα συντριβεί απροσδόκητα. Η ενσωμάτωση της καταγραφής για την καταγραφή των λεπτομερειών του σφάλματος μπορεί να βοηθήσει στον εντοπισμό της βασικής αιτίας και στην επίλυσή της σε μελλοντικά scrapes.