'നല്ലിൻ്റെ ഗുണവിശേഷതകൾ വായിക്കാൻ കഴിയില്ല (റീഡിംഗ്'ഷാഡോറൂട്ട്')' സെലിനിയം വെബ് സ്ക്രാപ്പിംഗ് പിശക് പരിഹരിക്കുന്നു

സെലിനിയത്തിലെ സാധാരണ ജാവാസ്ക്രിപ്റ്റ് പിശകുകൾ മനസ്സിലാക്കുകയും പരിഹരിക്കുകയും ചെയ്യുന്നു

ഉപയോഗിച്ച് വെബ് സ്ക്രാപ്പ് ചെയ്യുമ്പോൾ സെലിനിയം വെബ്ഡ്രൈവർ, JavaScript-മായി ബന്ധപ്പെട്ട പിശകുകൾ നേരിടുന്നത് അസാധാരണമല്ല, പ്രത്യേകിച്ചും ഡൈനാമിക് വെബ് ഘടകങ്ങളുമായി ഇടപെടുമ്പോൾ ഷാഡോ DOM-കൾ. ഡെവലപ്പർമാർ നേരിടുന്ന ഒരു പതിവ് പിശക് ഇതാണ് JavascriptException: null ൻ്റെ പ്രോപ്പർട്ടികൾ വായിക്കാൻ കഴിയില്ല ('ഷാഡോറൂട്ട്' വായിക്കുന്നു), സങ്കീർണ്ണമായ പേജ് ഘടകങ്ങളുമായി ഇടപഴകുമ്പോൾ ഇത് പലപ്പോഴും സംഭവിക്കുന്നു.

സെലിനിയത്തിന് a ഉള്ളിലെ ഘടകങ്ങളുമായി ആക്‌സസ് ചെയ്യാനോ സംവദിക്കാനോ കഴിയാതെ വരുമ്പോഴാണ് സാധാരണയായി ഈ പിശക് ഉണ്ടാകുന്നത് ഷാഡോ DOM, മികച്ച മോഡുലാരിറ്റിക്കായി നിരവധി ആധുനിക വെബ്‌സൈറ്റുകൾ ഉപയോഗിക്കുന്ന ഒരു തനതായ തരം എൻക്യാപ്‌സുലേറ്റഡ് DOM ഘടന. പൈത്തണിൽ, ബ്രൗസർ നിയന്ത്രിക്കാൻ സെലിനിയം ഉപയോഗിക്കുന്നത് അത്തരം ഘടകങ്ങളുമായി തന്ത്രപരമായിരിക്കാം.

Shopee പോലുള്ള പ്ലാറ്റ്‌ഫോമുകളിൽ നിന്നുള്ള വെബ് സ്‌ക്രാപ്പിംഗിൻ്റെ പശ്ചാത്തലത്തിൽ, പോപ്പ്അപ്പുകൾ അല്ലെങ്കിൽ ബാനറുകൾ പലപ്പോഴും ഷാഡോ DOM-കൾ ഉപയോഗിക്കുന്നു, ഇത് പ്രോഗ്രാമാറ്റിക് ആയി അടയ്ക്കുന്നത് വെല്ലുവിളിയായേക്കാം. ഈ പ്രശ്നം ഓട്ടോമേറ്റഡ് ടാസ്‌ക്കുകളുടെ സുഗമമായ ഒഴുക്കിനെ തടസ്സപ്പെടുത്തുകയും ഡാറ്റ ശേഖരണത്തെ തടസ്സപ്പെടുത്തുകയും ചെയ്യും.

പരിഹരിക്കാനുള്ള വ്യക്തമായ പരിഹാരത്തിലൂടെ ഈ ഗൈഡ് നിങ്ങളെ നയിക്കും 'നല്ലിൻ്റെ പ്രോപ്പർട്ടികൾ വായിക്കാൻ കഴിയില്ല' പിശക് കൂടാതെ Shopee-യിലെ ഷാഡോ DOM-കളിൽ ഉൾച്ചേർത്ത പോപ്പ്അപ്പുകൾ അടയ്ക്കുന്നതിനുള്ള ഒരു പ്രായോഗിക സമീപനം നൽകുക പൈത്തൺ സെലിനിയം.

സെലിനിയം വെബ് സ്ക്രാപ്പിംഗിൽ ഷാഡോ DOM, പോപ്പ്അപ്പുകൾ എന്നിവ എങ്ങനെ കൈകാര്യം ചെയ്യാം

മുകളിൽ നൽകിയിരിക്കുന്ന സ്ക്രിപ്റ്റുകൾ വെബ് സ്ക്രാപ്പിംഗിൽ നേരിടുന്ന ഒരു പൊതു പ്രശ്നം പരിഹരിക്കാൻ ലക്ഷ്യമിടുന്നു സെലിനിയം വെബ്ഡ്രൈവർ ഷാഡോ DOM ഘടകങ്ങളുമായി സംവദിക്കുമ്പോൾ. ഒരു ഷാഡോ DOM എന്നത് ഒരു വെബ് പേജിൻ്റെ ഭാഗമാണ്, അത് പ്രധാന DOM-ൽ നിന്ന് വേറിട്ട് പ്രവർത്തിക്കുന്നു, ഇത് പലപ്പോഴും സങ്കീർണ്ണമായ വെബ് ഘടകങ്ങളിൽ ഉപയോഗിക്കുന്നു. Shopee പോലുള്ള സ്‌ക്രാപ്പിംഗ് സൈറ്റുകളുടെ പശ്ചാത്തലത്തിൽ, ഷാഡോ DOM-കൾക്കുള്ളിൽ പോപ്പ്അപ്പുകൾ ഇടയ്‌ക്കിടെ ദൃശ്യമാകും, ഇത് പരമ്പരാഗത സെലിനിയം രീതികൾ ഉപയോഗിച്ച് ആക്‌സസ് ചെയ്‌താൽ പിശകുകളിലേക്ക് നയിച്ചേക്കാം. ജാവാസ്ക്രിപ്റ്റ് എക്സിക്യൂഷൻ ഉപയോഗിച്ച് പോപ്പ്അപ്പ് ക്ലോസ് ചെയ്യുന്നതിനാണ് ആദ്യ സ്ക്രിപ്റ്റ് രൂപകൽപ്പന ചെയ്തിരിക്കുന്നത് execute_script(), ബ്രൗസർ സന്ദർഭത്തിൽ റോ ജാവാസ്ക്രിപ്റ്റ് പ്രവർത്തിപ്പിക്കാൻ സെലിനിയത്തെ അനുവദിക്കുന്ന ഒരു ശക്തമായ ഉപകരണം.

ഒരു ഷാഡോ DOM-നുള്ളിലെ ഘടകങ്ങൾ സാധാരണ സെലിനിയം കമാൻഡുകൾ ഉപയോഗിച്ച് ആക്‌സസ് ചെയ്യാൻ കഴിയില്ല എന്നതാണ് പ്രധാന വെല്ലുവിളി. find_element_by_xpath(). പകരം, ഷാഡോ DOM-ലേക്ക് സഞ്ചരിക്കാൻ ഞങ്ങൾ JavaScript ഉപയോഗിക്കുന്നു shadowRoot സ്വത്ത്. ഷോപ്പി പോപ്പ്അപ്പിൻ്റെ ക്ലോസ് ബട്ടൺ ആദ്യം അതിൻ്റെ ഷാഡോ ഹോസ്റ്റ് എലമെൻ്റ് ആക്‌സസ് ചെയ്‌ത് സ്‌ക്രിപ്റ്റ് ലക്ഷ്യമിടുന്നു, തുടർന്ന് അതിൻ്റെ ആന്തരിക ഘടന അന്വേഷിച്ചു. ഉപയോഗിച്ചുകൊണ്ട് driver.execute_script(), ഈ ഒറ്റപ്പെട്ട DOM-നുള്ളിലെ ഘടകങ്ങൾ കൈകാര്യം ചെയ്യാനും അടയ്ക്കാനും സ്ക്രിപ്റ്റിന് കഴിയും. അസമന്വിതമായി ലോഡുചെയ്യുന്ന ഡൈനാമിക് പേജ് ഘടകങ്ങൾ കൈകാര്യം ചെയ്യുന്നതിനുള്ള വ്യക്തമായ കാത്തിരിപ്പുകൾക്കൊപ്പം ഈ പരിഹാരം നന്നായി പ്രവർത്തിക്കുന്നു.

രണ്ടാമത്തെ സ്ക്രിപ്റ്റ് പരിചയപ്പെടുത്തുന്നു WebDriverWait, ഡൈനാമിക് പേജ് ഘടകങ്ങളുടെ സമയം കൈകാര്യം ചെയ്യുന്നതിനുള്ള ഒരു അത്യാവശ്യ ഉപകരണം. Shopee-യുടെ പോപ്പ്അപ്പുകൾ അസമന്വിതമായി ലോഡ് ചെയ്യുന്നതിനാൽ, ഈ ഘടകങ്ങളുമായി നേരിട്ട് ഇടപഴകുന്നത് പിശകുകൾക്ക് കാരണമാകും. ഇത് ഒഴിവാക്കാൻ, WebDriverWait() ഞങ്ങൾ സംവദിക്കാൻ ആഗ്രഹിക്കുന്ന ഘടകങ്ങൾ പൂർണ്ണമായും ലോഡുചെയ്‌തിട്ടുണ്ടെന്നും തയ്യാറാണെന്നും ഉറപ്പാക്കുന്നു. പ്രധാന DOM ഘടകത്തിൻ്റെയും ഷാഡോ DOM ഘടകങ്ങളുടെയും സാന്നിധ്യത്തിനായി ഈ സ്ക്രിപ്റ്റ് കാത്തിരിക്കുന്നു. രീതി EC.presence_of_element_located() സെലിനിയം മൂലകങ്ങൾ ദൃശ്യമായതിനു ശേഷം മാത്രമേ അവയുമായി സംവദിക്കുകയുള്ളൂവെന്ന് ഉറപ്പാക്കുന്നു, ഇത് അസാധുവായ റഫറൻസ് പിശകുകൾ ഒഴിവാക്കാൻ നിർണായകമാണ്.

രണ്ട് സ്ക്രിപ്റ്റുകളിലും, ഞങ്ങൾ പിശക് സാഹചര്യങ്ങൾ കൈകാര്യം ചെയ്യുന്നു a ശ്രമിക്കുക-ഒഴികെ ഘടകങ്ങൾ കണ്ടെത്താത്തത് പോലെയുള്ള അപ്രതീക്ഷിത പിശകുകൾ കാരണം പ്രോഗ്രാം ക്രാഷ് ചെയ്യുന്നില്ലെന്ന് ഉറപ്പാക്കാൻ തടയുക. പതിവായി അവയുടെ ഘടന അപ്ഡേറ്റ് ചെയ്യുന്നതോ പോപ്പ്അപ്പ് സ്വഭാവം മാറ്റുന്നതോ ആയ വെബ്സൈറ്റുകൾ സ്ക്രാപ്പ് ചെയ്യുമ്പോൾ പിശക് കൈകാര്യം ചെയ്യുന്നത് വളരെ പ്രധാനമാണ്. കൂടാതെ, ബ്രൗസർ സെഷൻ അവസാനിപ്പിച്ചുകൊണ്ട് ഈ സ്ക്രിപ്റ്റുകൾ മികച്ച രീതികൾ പിന്തുടരുന്നു driver.quit() മെമ്മറി ലീക്കുകളോ പ്രകടന പ്രശ്നങ്ങളോ ഒഴിവാക്കാൻ എക്സിക്യൂഷന് ശേഷം.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.common.exceptions import JavascriptException
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = driver.find_element(By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button')
th_button.click()
# Pause to allow popups to load
time.sleep(3)
# Try to close the shadow DOM popup
try:
    close_button = driver.execute_script('return document.querySelector("shopee-banner-popup-stateful")'
                                      '.shadowRoot.querySelector("div.shopee-popup__close-btn")')
    close_button.click()
except JavascriptException as e:
    print("Error: ", e)
# Close the browser
driver.quit()

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
# Initialize WebDriver with Chrome
options = Options()
driver = webdriver.Chrome(service=Service(), options=options)
# Open Shopee website
driver.get('https://www.shopee.co.th/')
# Click the Thai language button
th_button = WebDriverWait(driver, 10).until(
    EC.element_to_be_clickable((By.XPATH, '/html/body/div[2]/div[1]/div[1]/div/div[3]/div[1]/button'))
)
th_button.click()
# Wait for the shadow DOM popup to be present
try:
    shadow_host = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, 'shopee-banner-popup-stateful'))
    )
    shadow_root = driver.execute_script('return arguments[0].shadowRoot', shadow_host)
    close_button = shadow_root.find_element(By.CSS_SELECTOR, 'div.shopee-popup__close-btn')
    close_button.click()
except Exception as e:
    print("Error closing the popup: ", e)
# Close the browser
driver.quit()

സെലിനിയം വെബ്ഡ്രൈവർ ഉപയോഗിച്ച് ഡൈനാമിക് ഉള്ളടക്കം കൈകാര്യം ചെയ്യുന്നു

വെബ് സ്ക്രാപ്പിംഗിനായി സെലിനിയം വെബ്ഡ്രൈവറുമായി പ്രവർത്തിക്കുമ്പോൾ പരിഗണിക്കേണ്ട മറ്റൊരു പ്രധാന വശം എങ്ങനെ കൈകാര്യം ചെയ്യണം എന്നതാണ് ചലനാത്മക ഉള്ളടക്കം പേജ് ലോഡിന് ശേഷം തുടർച്ചയായി അപ്ഡേറ്റ് ചെയ്യുകയോ മാറ്റുകയോ ചെയ്യുന്നു. Shopee പോലെയുള്ള പല ആധുനിക വെബ്‌സൈറ്റുകളും ഉള്ളടക്കം ചലനാത്മകമായി ലോഡുചെയ്യാനും അപ്‌ഡേറ്റ് ചെയ്യാനും JavaScript ഉപയോഗിക്കുന്നു. പേജ് ലോഡുചെയ്‌തതിനുശേഷം പേജിലെ ഘടകങ്ങൾ ഉടനടി ലഭ്യമായേക്കില്ല എന്നാണ് ഇതിനർത്ഥം. അത്തരം സന്ദർഭങ്ങളിൽ, പേജ് ലോഡ് ഇവൻ്റിനായി കാത്തിരിക്കുന്ന സെലിനിയത്തിൻ്റെ ഡിഫോൾട്ട് സ്വഭാവം മതിയാകില്ല. പോലുള്ള വ്യക്തമായ കാത്തിരിപ്പുകൾ ഉപയോഗിക്കുന്നു WebDriverWait നിർദ്ദിഷ്‌ട ഘടകങ്ങൾ ദൃശ്യമാകുന്നതിനോ ക്ലിക്കുചെയ്യാനാകുന്നതിനോ കാത്തിരിക്കുന്നതിലൂടെ ഈ പ്രശ്‌നം പരിഹരിക്കാനാകും.

പോപ്പ്അപ്പുകൾ, ബാനറുകൾ, അല്ലെങ്കിൽ ആശ്രയിക്കുന്ന സങ്കീർണ്ണമായ യുഐ ഘടകങ്ങൾ എന്നിവയുള്ള സൈറ്റുകൾ സ്‌ക്രാപ്പുചെയ്യുന്നതിന് ഷാഡോ DOM-കൾ, അവരുമായി എങ്ങനെ ഇടപഴകണമെന്ന് അറിയേണ്ടത് അത്യാവശ്യമാണ്. XPath അല്ലെങ്കിൽ CSS സെലക്ടറുകൾ പോലെയുള്ള പരമ്പരാഗത രീതികൾക്ക് ആക്‌സസ് ചെയ്യാൻ കഴിയാത്ത ഒരു ഒറ്റപ്പെട്ട DOM ഘടനയ്ക്കുള്ളിൽ ഈ ഘടകങ്ങൾ മറയ്ക്കുന്നു. ഉപയോഗിക്കുന്നത് execute_script() ബ്രൗസറിനുള്ളിൽ നേരിട്ട് JavaScript പ്രവർത്തിപ്പിക്കാൻ നിങ്ങളെ അനുവദിച്ചുകൊണ്ട്, ഷാഡോ DOM-ലേക്ക് നിങ്ങൾക്ക് ആക്‌സസ് നൽകിക്കൊണ്ട്, പേജിൻ്റെ മറഞ്ഞിരിക്കുന്ന ഭാഗങ്ങളിലുള്ള ക്ലോസ് ബട്ടണുകളോ ഫോം ഫീൽഡുകളോ പോലുള്ള ഘടകങ്ങളുമായി ഇടപഴകാൻ അനുവദിച്ചുകൊണ്ട് കമാൻഡ് ഈ വിടവ് നികത്താൻ സഹായിക്കുന്നു.

കൂടാതെ, അത്തരം സന്ദർഭങ്ങളിൽ പിശക് കൈകാര്യം ചെയ്യുന്നത് നിർണായകമാണ്. വെബ്‌സൈറ്റുകൾക്ക് പലപ്പോഴും അവയുടെ ഘടന മാറ്റാൻ കഴിയും, ഇത് തകർന്ന സ്ക്രാപ്പറുകളിലേക്ക് നയിക്കുന്നു. ശരിയായ ഉപയോഗം ശ്രമിക്കുക-ഒഴികെ പോലുള്ള പിശകുകൾ കണ്ടെത്താൻ പൈത്തണിലെ ബ്ലോക്കുകൾ നിങ്ങളെ അനുവദിക്കുന്നു ജാവാസ്ക്രിപ്റ്റ് ഒഴിവാക്കൽ സ്ക്രാപ്പർ അപ്രതീക്ഷിതമായി തകരുന്നില്ലെന്ന് ഉറപ്പാക്കിക്കൊണ്ട് അവയെ ഭംഗിയായി കൈകാര്യം ചെയ്യുക. പിശക് വിശദാംശങ്ങൾ ക്യാപ്‌ചർ ചെയ്യുന്നതിന് ലോഗിംഗ് ഉൾപ്പെടുത്തുന്നത് മൂലകാരണം തിരിച്ചറിയാനും ഭാവിയിലെ സ്‌ക്രാപ്പുകളിൽ അത് പരിഹരിക്കാനും സഹായിക്കും.