'शून्य के गुणों को नहीं पढ़ा जा सकता ('शैडोरूट' को पढ़ना)' सेलेनियम वेब स्क्रैपिंग त्रुटि को ठीक करना

सेलेनियम में सामान्य जावास्क्रिप्ट त्रुटियों को समझना और ठीक करना

जब वेब स्क्रैपिंग के साथ सेलेनियम वेबड्राइवर, जावास्क्रिप्ट से संबंधित त्रुटियों का सामना करना असामान्य नहीं है, खासकर जब गतिशील वेब तत्वों से निपटना हो छाया डोम. डेवलपर्स द्वारा सामना की जाने वाली एक बार-बार होने वाली त्रुटि है JavascriptException: शून्य के गुण नहीं पढ़ सकता ('शैडोरूट' पढ़ रहा हूँ), जो अक्सर जटिल पृष्ठ तत्वों के साथ इंटरैक्ट करते समय होता है।

यह त्रुटि आम तौर पर तब उत्पन्न होती है जब सेलेनियम अंदर के तत्वों तक पहुंचने या उनके साथ बातचीत करने में असमर्थ होता है छाया डोम, बेहतर मॉड्यूलरिटी के लिए कई आधुनिक वेबसाइटों द्वारा उपयोग की जाने वाली एक अद्वितीय प्रकार की एनकैप्सुलेटेड DOM संरचना। पायथन में, ब्राउज़र को नियंत्रित करने के लिए सेलेनियम का उपयोग ऐसे तत्वों के साथ मुश्किल हो सकता है।

शॉपी जैसे प्लेटफ़ॉर्म से वेब स्क्रैपिंग के संदर्भ में, पॉपअप या बैनर अक्सर छाया DOM का उपयोग करते हैं, जिन्हें प्रोग्रामेटिक रूप से बंद करना चुनौतीपूर्ण हो सकता है। यह समस्या स्वचालित कार्यों के सुचारू प्रवाह में बाधा डाल सकती है और डेटा संग्रह को बाधित कर सकती है।

यह मार्गदर्शिका आपको इसका समाधान करने के लिए एक स्पष्ट समाधान बताएगी 'शून्य के गुण नहीं पढ़ सकते' त्रुटि और Shopee में छाया DOMs के भीतर एम्बेडेड पॉपअप को बंद करने के लिए एक व्यावहारिक दृष्टिकोण प्रदान करें पायथन सेलेनियम.

सेलेनियम वेब स्क्रैपिंग में शैडो डोम और पॉपअप को कैसे संभालें

ऊपर दी गई स्क्रिप्ट का उद्देश्य वेब स्क्रैपिंग में आने वाली एक सामान्य समस्या का समाधान करना है सेलेनियम वेबड्राइवर छाया DOM तत्वों के साथ इंटरैक्ट करते समय। शैडो DOM एक वेब पेज का एक हिस्सा है जो मुख्य DOM से अलग से संचालित होता है, जिसका उपयोग अक्सर जटिल वेब घटकों में किया जाता है। शॉपी जैसी स्क्रैपिंग साइटों के संदर्भ में, पॉपअप अक्सर छाया DOM के अंदर दिखाई देते हैं, जिन्हें पारंपरिक सेलेनियम तरीकों से एक्सेस करने पर त्रुटियां हो सकती हैं। पहली स्क्रिप्ट को जावास्क्रिप्ट निष्पादन का उपयोग करके पॉपअप को बंद करने के लिए डिज़ाइन किया गया है निष्पादित_स्क्रिप्ट(), एक शक्तिशाली उपकरण जो सेलेनियम को ब्राउज़र संदर्भ में कच्ची जावास्क्रिप्ट चलाने की अनुमति देता है।

मुख्य चुनौती यह है कि छाया DOM के अंदर के तत्व सामान्य सेलेनियम कमांड के साथ पहुंच योग्य नहीं हैं find_element_by_xpath(). इसके बजाय, हम छाया DOM में जाने के लिए जावास्क्रिप्ट का उपयोग करते हैं शैडोरूट संपत्ति। स्क्रिप्ट शॉपी पॉपअप के क्लोज़ बटन को पहले उसके छाया होस्ट तत्व तक पहुंचकर और फिर उसकी आंतरिक संरचना को क्वेरी करके लक्षित करती है। उपयोग करके ड्राइवर.execute_script(), स्क्रिप्ट इस पृथक DOM के अंदर तत्वों में हेरफेर करने और बंद करने में सक्षम है। अतुल्यकालिक रूप से लोड होने वाले गतिशील पृष्ठ तत्वों को संभालने के लिए स्पष्ट प्रतीक्षा के साथ संयुक्त होने पर यह समाधान अच्छी तरह से काम करता है।

दूसरी स्क्रिप्ट परिचय देती है वेबड्राइवरप्रतीक्षा करें, गतिशील पृष्ठ तत्वों के समय को प्रबंधित करने के लिए एक आवश्यक उपकरण। चूंकि शॉपी के पॉपअप अतुल्यकालिक रूप से लोड होते हैं, इसलिए इन तत्वों के साथ सीधे इंटरैक्ट करने से त्रुटियां हो सकती हैं। इससे बचने के लिए, वेबड्राइवरप्रतीक्षा() यह सुनिश्चित करता है कि जिन तत्वों के साथ हम बातचीत करना चाहते हैं वे पूरी तरह से लोड और तैयार हैं। यह स्क्रिप्ट मुख्य DOM तत्व और छाया DOM तत्व दोनों की उपस्थिति की प्रतीक्षा करती है। विधि EC.presence_of_element_located() यह सुनिश्चित करता है कि सेलेनियम तत्वों के साथ तभी इंटरैक्ट करता है जब वे दृश्यमान और मौजूद होते हैं, जो शून्य संदर्भ त्रुटियों से बचने के लिए महत्वपूर्ण है।

दोनों स्क्रिप्ट में, हम त्रुटि स्थितियों को a के साथ संभालते हैं कोशिश-सिवाय यह सुनिश्चित करने के लिए ब्लॉक करें कि प्रोग्राम अनपेक्षित त्रुटियों के कारण क्रैश न हो जाए, जैसे कि तत्व नहीं मिल रहे हैं। उन वेबसाइटों को स्क्रैप करते समय त्रुटि प्रबंधन विशेष रूप से महत्वपूर्ण है जो अक्सर अपनी संरचना को अपडेट करते हैं या पॉपअप व्यवहार को बदलते हैं। इसके अतिरिक्त, ये स्क्रिप्ट ब्राउज़र सत्र को समाप्त करके सर्वोत्तम प्रथाओं का पालन करती हैं ड्राइवर.छोड़ें() मेमोरी लीक या प्रदर्शन समस्याओं से बचने के लिए निष्पादन के बाद।

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.common.exceptions import JavascriptException
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = driver.find_element(By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button')
th_button.click()
# Pause to allow popups to load
time.sleep(3)
# Try to close the shadow DOM popup
try:
    close_button = driver.execute_script('return document.querySelector("shopee-banner-popup-stateful")'
                                      '.shadowRoot.querySelector("div.shopee-popup__close-btn")')
    close_button.click()
except JavascriptException as e:
    print("Error: ", e)
# Close the browser
driver.quit()

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = WebDriverWait(driver, 10).until(
    EC.element_to_be_clickable((By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button'))
)
th_button.click()
# Wait for the shadow DOM popup to be present
try:
    shadow_host = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, 'shopee-banner-popup-stateful'))
    )
    shadow_root = driver.execute_script('return arguments[0].shadowRoot', shadow_host)
    close_button = shadow_root.find_element(By.CSS_SELECTOR, 'div.shopee-popup__close-btn')
    close_button.click()
except Exception as e:
    print("Error closing the popup: ", e)
# Close the browser
driver.quit()

सेलेनियम वेबड्राइवर के साथ गतिशील सामग्री को संभालना

वेब स्क्रैपिंग के लिए सेलेनियम वेबड्राइवर के साथ काम करते समय विचार करने का एक अन्य महत्वपूर्ण पहलू यह है कि इसे कैसे संभालना है गतिशील सामग्री जो पेज लोड होने के बाद लगातार अपडेट या बदलता रहता है। शॉपी जैसी कई आधुनिक वेबसाइटें सामग्री को गतिशील रूप से लोड और अपडेट करने के लिए जावास्क्रिप्ट का उपयोग करती हैं। इसका मतलब यह है कि पेज लोड होने के बाद पेज पर तत्व तुरंत उपलब्ध नहीं हो सकते हैं। ऐसे मामलों में, पेज लोड इवेंट की प्रतीक्षा करने का सेलेनियम का डिफ़ॉल्ट व्यवहार पर्याप्त नहीं हो सकता है। जैसे स्पष्ट प्रतीक्षा का उपयोग करना वेबड्राइवरप्रतीक्षा करें विशिष्ट तत्वों के प्रकट होने या क्लिक करने योग्य होने की प्रतीक्षा करके इस समस्या को हल किया जा सकता है।

पॉपअप, बैनर या जटिल यूआई घटकों वाली साइटों को स्क्रैप करने के लिए जिन पर भरोसा किया जाता है छाया डोम, यह जानना आवश्यक है कि उनके साथ कैसे बातचीत की जाए। ये घटक एक अलग DOM संरचना के भीतर तत्वों को छिपाते हैं जिन्हें XPath या CSS चयनकर्ताओं जैसे पारंपरिक तरीकों से नहीं पहुँचा जा सकता है। का उपयोग निष्पादित_स्क्रिप्ट() कमांड आपको सीधे ब्राउज़र के भीतर जावास्क्रिप्ट चलाने की अनुमति देकर, आपको छाया DOM तक पहुंच प्रदान करके और पृष्ठ के उन छिपे हुए हिस्सों के भीतर क्लोज बटन या फॉर्म फ़ील्ड जैसे तत्वों के साथ इंटरैक्शन की अनुमति देकर इस अंतर को पाटने में मदद करता है।

इसके अतिरिक्त, ऐसे मामलों में त्रुटि प्रबंधन महत्वपूर्ण हो जाता है। वेबसाइटें अक्सर अपनी संरचना बदल सकती हैं, जिससे स्क्रैपर टूट जाते हैं। का उचित उपयोग कोशिश-सिवाय पायथन में ब्लॉक आपको त्रुटियों को पकड़ने की अनुमति देता है जैसे जावास्क्रिप्ट अपवाद और उन्हें खूबसूरती से संभालें, यह सुनिश्चित करते हुए कि स्क्रैपर अप्रत्याशित रूप से दुर्घटनाग्रस्त न हो। त्रुटि विवरणों को पकड़ने के लिए लॉगिंग को शामिल करने से मूल कारण की पहचान करने और भविष्य में इसे हल करने में मदद मिल सकती है।