'பூஜ்யத்தின் பண்புகளைப் படிக்க முடியாது (ரீடிங்' ஷேடோரூட்')' செலினியம் வலை ஸ்கிராப்பிங் பிழையை சரிசெய்தல்

செலினியத்தில் பொதுவான ஜாவாஸ்கிரிப்ட் பிழைகளைப் புரிந்துகொண்டு சரிசெய்தல்

உடன் வலை ஸ்கிராப்பிங் செய்யும் போது செலினியம் வெப்டிரைவர், ஜாவாஸ்கிரிப்ட் தொடர்பான பிழைகளை எதிர்கொள்வது அசாதாரணமானது அல்ல, குறிப்பாக டைனமிக் வலை கூறுகளை கையாளும் போது நிழல் DOMகள். டெவலப்பர்கள் அடிக்கடி சந்திக்கும் ஒரு பிழை ஜாவாஸ்கிரிப்ட் விதிவிலக்கு: பூஜ்யத்தின் பண்புகளைப் படிக்க முடியாது ('ஷாடோரூட்' படித்தல்), இது சிக்கலான பக்க உறுப்புகளுடன் தொடர்பு கொள்ளும்போது அடிக்கடி நிகழ்கிறது.

செலினியம் a உள்ளே உள்ள உறுப்புகளை அணுகவோ அல்லது தொடர்பு கொள்ளவோ ​​முடியாதபோது இந்த பிழை பொதுவாக எழுகிறது நிழல் DOM, ஒரு தனித்துவமான வகை இணைக்கப்பட்ட DOM அமைப்பு பல நவீன வலைத்தளங்களால் சிறந்த மாடுலாரிட்டிக்காகப் பயன்படுத்தப்படுகிறது. பைத்தானில், உலாவியைக் கட்டுப்படுத்த செலினியத்தைப் பயன்படுத்துவது அத்தகைய கூறுகளுடன் தந்திரமானதாக இருக்கும்.

Shopee போன்ற தளங்களில் இருந்து வலை ஸ்கிராப்பிங் சூழலில், பாப்அப்கள் அல்லது பேனர்கள் பெரும்பாலும் நிழல் DOMகளைப் பயன்படுத்துகின்றன, அவை நிரல் ரீதியாக மூடுவதற்கு சவாலாக இருக்கலாம். இந்தச் சிக்கல் தானியங்கி பணிகளின் சீரான ஓட்டத்தைத் தடுக்கலாம் மற்றும் தரவு சேகரிப்பில் இடையூறு விளைவிக்கும்.

இந்த வழிகாட்டி ஒரு தெளிவான தீர்வு மூலம் உங்களை வழிநடத்தும் 'பூஜ்யத்தின் பண்புகளைப் படிக்க முடியாது' பிழை மற்றும் ஷோபீ பயன்படுத்தி ஷேடோ DOM களுக்குள் உட்பொதிக்கப்பட்ட பாப்அப்களை மூடுவதற்கான நடைமுறை அணுகுமுறையை வழங்குகிறது பைதான் செலினியம்.

செலினியம் வெப் ஸ்கிராப்பிங்கில் நிழல் DOM மற்றும் பாப்அப்களை எவ்வாறு கையாள்வது

மேலே கொடுக்கப்பட்டுள்ள ஸ்கிரிப்ட்கள் வலை ஸ்கிராப்பிங்கில் எதிர்கொள்ளும் பொதுவான சிக்கலைத் தீர்ப்பதை நோக்கமாகக் கொண்டுள்ளன செலினியம் வெப்டிரைவர் நிழல் DOM கூறுகளுடன் தொடர்பு கொள்ளும்போது. நிழல் DOM என்பது வலைப்பக்கத்தின் ஒரு பகுதியாகும், இது முக்கிய DOM இலிருந்து தனித்தனியாக இயங்குகிறது, இது பெரும்பாலும் சிக்கலான வலை கூறுகளில் பயன்படுத்தப்படுகிறது. Shopee போன்ற ஸ்கிராப்பிங் தளங்களின் சூழலில், நிழல் DOMகளுக்குள் பாப்அப்கள் அடிக்கடி தோன்றும், இது பாரம்பரிய செலினியம் முறைகளை அணுகினால் பிழைகள் ஏற்படலாம். முதல் ஸ்கிரிப்ட் ஜாவாஸ்கிரிப்ட் செயல்படுத்தலைப் பயன்படுத்தி பாப்அப்பை மூட வடிவமைக்கப்பட்டுள்ளது execute_script(), உலாவி சூழலில் மூல ஜாவாஸ்கிரிப்டை இயக்க செலினியத்தை அனுமதிக்கும் சக்திவாய்ந்த கருவி.

முக்கிய சவால் என்னவென்றால், நிழல் DOM இன் உறுப்புகள் பொதுவான செலினியம் கட்டளைகளுடன் அணுக முடியாது. find_element_by_xpath(). அதற்கு பதிலாக, நிழல் DOM ஐப் பயன்படுத்தி பயணிக்க JavaScript ஐப் பயன்படுத்துகிறோம் நிழல் ரூட் சொத்து. ஸ்கிரிப்ட் ஷோபீ பாப்அப்பின் க்ளோஸ் பட்டனை முதலில் அதன் நிழல் ஹோஸ்ட் உறுப்பை அணுகி அதன் உள் அமைப்பை வினவுவதன் மூலம் குறிவைக்கிறது. பயன்படுத்துவதன் மூலம் driver.execute_script(), இந்த தனிமைப்படுத்தப்பட்ட DOM க்குள் உள்ள உறுப்புகளை ஸ்கிரிப்ட் கையாளவும் மூடவும் முடியும். ஒத்திசைவின்றி ஏற்றப்படும் டைனமிக் பக்க உறுப்புகளைக் கையாள வெளிப்படையான காத்திருப்புகளுடன் இணைந்து இந்த தீர்வு நன்றாக வேலை செய்கிறது.

இரண்டாவது ஸ்கிரிப்ட் அறிமுகப்படுத்துகிறது WebDriverWait, டைனமிக் பக்க உறுப்புகளின் நேரத்தை நிர்வகிப்பதற்கான ஒரு இன்றியமையாத கருவி. Shopee இன் பாப்அப்கள் ஒத்திசைவற்ற முறையில் ஏற்றப்படுவதால், இந்த உறுப்புகளுடன் நேரடியாக தொடர்புகொள்வது பிழைகளை ஏற்படுத்தும். இதை தவிர்க்க, WebDriverWait() நாம் தொடர்பு கொள்ள விரும்பும் கூறுகள் முழுமையாக ஏற்றப்பட்டு தயாராக இருப்பதை உறுதி செய்கிறது. இந்த ஸ்கிரிப்ட் முக்கிய DOM உறுப்பு மற்றும் நிழல் DOM உறுப்புகள் இரண்டின் முன்னிலையிலும் காத்திருக்கிறது. முறை EC.presence_of_element_located() செலினியம் தனிமங்கள் தெரியும் மற்றும் இருக்கும் பிறகு மட்டுமே அவைகளுடன் தொடர்புகொள்வதை உறுதி செய்கிறது, இது பூஜ்ய குறிப்பு பிழைகளைத் தவிர்ப்பதற்கு முக்கியமானது.

இரண்டு ஸ்கிரிப்ட்களிலும், பிழை சூழ்நிலைகளை a உடன் கையாளுகிறோம் முயற்சி-தவிர கூறுகள் கண்டறியப்படாதது போன்ற எதிர்பாராத பிழைகள் காரணமாக நிரல் செயலிழக்காமல் இருப்பதை உறுதிசெய்ய தடுக்கவும். அவற்றின் கட்டமைப்பை அடிக்கடி புதுப்பிக்கும் அல்லது பாப்அப் நடத்தையை மாற்றும் வலைத்தளங்களை ஸ்கிராப் செய்யும் போது பிழை கையாளுதல் மிகவும் முக்கியமானது. கூடுதலாக, இந்த ஸ்கிரிப்டுகள் உலாவி அமர்வை நிறுத்துவதன் மூலம் சிறந்த நடைமுறைகளைப் பின்பற்றுகின்றன Driver.quit() நினைவக கசிவுகள் அல்லது செயல்திறன் சிக்கல்களைத் தவிர்க்க செயல்படுத்தப்பட்ட பிறகு.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.common.exceptions import JavascriptException
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = driver.find_element(By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button')
th_button.click()
# Pause to allow popups to load
time.sleep(3)
# Try to close the shadow DOM popup
try:
    close_button = driver.execute_script('return document.querySelector("shopee-banner-popup-stateful")'
                                      '.shadowRoot.querySelector("div.shopee-popup__close-btn")')
    close_button.click()
except JavascriptException as e:
    print("Error: ", e)
# Close the browser
driver.quit()

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = WebDriverWait(driver, 10).until(
    EC.element_to_be_clickable((By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button'))
)
th_button.click()
# Wait for the shadow DOM popup to be present
try:
    shadow_host = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, 'shopee-banner-popup-stateful'))
    )
    shadow_root = driver.execute_script('return arguments[0].shadowRoot', shadow_host)
    close_button = shadow_root.find_element(By.CSS_SELECTOR, 'div.shopee-popup__close-btn')
    close_button.click()
except Exception as e:
    print("Error closing the popup: ", e)
# Close the browser
driver.quit()

செலினியம் வெப்டிரைவருடன் டைனமிக் உள்ளடக்கத்தைக் கையாளுதல்

வலை ஸ்கிராப்பிங்கிற்காக Selenium WebDriver உடன் பணிபுரியும் போது கருத்தில் கொள்ள வேண்டிய மற்றொரு முக்கிய அம்சம் எப்படி கையாள்வது என்பது மாறும் உள்ளடக்கம் பக்கம் ஏற்றப்பட்ட பிறகு தொடர்ந்து புதுப்பிக்கிறது அல்லது மாறுகிறது. Shopee போன்ற பல நவீன இணையதளங்கள், உள்ளடக்கத்தை மாறும் வகையில் ஏற்றவும் புதுப்பிக்கவும் JavaScript ஐப் பயன்படுத்துகின்றன. அதாவது, பக்கம் ஏற்றப்பட்ட பிறகு, பக்கத்தில் உள்ள உறுப்புகள் உடனடியாக கிடைக்காமல் போகலாம். இதுபோன்ற சந்தர்ப்பங்களில், பக்க ஏற்றுதல் நிகழ்வுக்காக காத்திருக்கும் செலினியத்தின் இயல்புநிலை நடத்தை போதுமானதாக இருக்காது. போன்ற வெளிப்படையான காத்திருப்புகளைப் பயன்படுத்துதல் WebDriverWait குறிப்பிட்ட கூறுகள் தோன்றும் அல்லது கிளிக் செய்யக்கூடியதாக இருக்கும் வரை காத்திருப்பதன் மூலம் இந்த சிக்கலை தீர்க்க முடியும்.

பாப்அப்கள், பேனர்கள் அல்லது சிக்கலான UI கூறுகளைக் கொண்ட ஸ்கிராப்பிங் தளங்களுக்கு நிழல் DOMகள், அவர்களுடன் எவ்வாறு தொடர்புகொள்வது என்பதை அறிந்து கொள்வது அவசியம். XPath அல்லது CSS தேர்வாளர்கள் போன்ற பாரம்பரிய முறைகளால் அணுக முடியாத தனிமைப்படுத்தப்பட்ட DOM கட்டமைப்பிற்குள் உள்ள கூறுகளை இந்தக் கூறுகள் மறைக்கின்றன. பயன்படுத்தி execute_script() ஜாவாஸ்கிரிப்டை நேரடியாக உலாவியில் இயக்க அனுமதித்து, நிழல் DOMக்கான அணுகலை உங்களுக்கு வழங்குவதன் மூலம், பக்கத்தின் மறைக்கப்பட்ட பகுதிகளில் உள்ள மூடு பொத்தான்கள் அல்லது படிவப் புலங்கள் போன்ற உறுப்புகளுடன் தொடர்புகளை அனுமதிப்பதன் மூலம் கட்டளை இந்த இடைவெளியைக் குறைக்க உதவுகிறது.

கூடுதலாக, இதுபோன்ற சந்தர்ப்பங்களில் பிழை கையாளுதல் முக்கியமானது. வலைத்தளங்கள் அடிக்கடி தங்கள் கட்டமைப்பை மாற்றி, உடைந்த ஸ்கிராப்பர்களுக்கு வழிவகுக்கும். சரியான பயன்பாடு முயற்சி-தவிர பைத்தானில் உள்ள தொகுதிகள் போன்ற பிழைகளைப் பிடிக்க உங்களை அனுமதிக்கிறது ஜாவாஸ்கிரிப்ட் விதிவிலக்கு ஸ்கிராப்பர் எதிர்பாராத விதமாக செயலிழக்காமல் இருப்பதை உறுதிசெய்து, அவற்றை அழகாக கையாளவும். பிழை விவரங்களைப் பதிவுசெய்வதற்குப் பதிவு செய்வதன் மூல காரணத்தைக் கண்டறிந்து எதிர்கால ஸ்கிராப்புகளில் அதைத் தீர்க்க உதவும்.