டைனமிக் இணையதளங்களில் வெப் ஸ்கிராப்பிங்கிற்கு பைதான் மற்றும் பியூட்டிஃபுல் சூப்பைப் பயன்படுத்த கற்றுக்கொள்வது

ஈ-காமர்ஸ் தளங்களில் வெப் ஸ்கிராப்பிங் சவால்களை சமாளித்தல்

வலை ஸ்கிராப்பிங் உற்சாகமாகவும் அச்சுறுத்தலாகவும் இருக்கும், குறிப்பாக நீங்கள் செயல்முறைக்கு புதியவராக இருக்கும்போது. டைனமிக் இணையதளத்தை ஸ்கிராப்பிங் செய்யும் எனது முதல் முயற்சி இன்னும் எனக்கு நினைவிருக்கிறது - உறைந்த கண்ணாடி வழியாக ஒரு புத்தகத்தைப் படிப்பது போல் உணர்ந்தேன். பியூட்டிஃபுல் சூப் போன்ற தளங்களில், சாத்தியங்கள் முடிவற்றவை, ஆனால் சிக்கலான HTML கட்டமைப்புகளை வழிநடத்துவது போன்ற சவால்கள் உங்கள் பொறுமையை சோதிக்கும். 🧑‍💻

இந்தச் சூழ்நிலையில், ஈ-காமர்ஸ் இணையதளத்தில் இருந்து தரவைப் பிரித்தெடுக்கும் பணியில் ஈடுபட்டுள்ளீர்கள், ஆனால் HTML கூறுகள் மழுப்பலாகத் தெரிகிறது. நீங்கள் கையாளும் இணையதளம் போன்ற பல இணையதளங்கள், உள்ளமைக்கப்பட்ட கட்டமைப்புகள் அல்லது டைனமிக் உள்ளடக்கத்தைப் பயன்படுத்துகின்றன, இது குறிப்பிட்ட கூறுகளைக் கண்டறிவதைத் தந்திரமாக்கும். குறிப்பாக நீங்கள் பைதான் மற்றும் பியூட்டிஃபுல் சூப் போன்ற கருவிகளைப் பயன்படுத்தத் தொடங்கும்போது இது வெறுப்பாக உணரலாம்.

ஆனால் கவலைப்படாதே; ஒவ்வொரு வெற்றிகரமான வலை ஸ்கிராப்பரும் ஒருமுறை இதே தடையுடன் போராடியது. HTML கட்டமைப்பை பகுப்பாய்வு செய்யவும், வடிவங்களை அடையாளம் காணவும், உங்கள் தேர்வாளர்களைச் செம்மைப்படுத்தவும் கற்றுக்கொள்வது ஸ்கிராப்பிங் உலகில் ஒரு சடங்கு. விடாமுயற்சி மற்றும் சில முயற்சித்த-உண்மையான நுட்பங்களுடன், மிகவும் சுருண்ட HTML ஐக் கூட வழிநடத்தும் கலையை நீங்கள் விரைவில் தேர்ச்சி பெறுவீர்கள்.

இந்தக் கட்டுரையில், HTMLஐ திறமையாக வழிநடத்தி, உங்களுக்குத் தேவையான சரியான கூறுகளைப் பிரித்தெடுப்பதற்கான நடைமுறை உத்திகளை நாங்கள் ஆராய்வோம். குறிச்சொற்களைப் புரிந்துகொள்வது முதல் டெவலப்பர் கருவிகளுடன் பணிபுரிவது வரை, இந்த நுண்ணறிவு உங்களை வெற்றிக்கு அமைக்கும். உள்ளே நுழைவோம்! 🌟

கட்டளை	பயன்பாட்டின் உதாரணம்
find_all	HTML ஆவணத்தில் குறிப்பிட்ட HTML குறிச்சொல் அல்லது வகுப்பின் அனைத்து நிகழ்வுகளையும் மீட்டெடுக்கப் பயன்படுகிறது. எடுத்துக்காட்டாக, soup.find_all("div", class_="productContainer") பக்கத்தில் உள்ள அனைத்து தயாரிப்பு கொள்கலன்களையும் மீட்டெடுக்கிறது.
requests.get	கொடுக்கப்பட்ட URL இன் மூல HTML உள்ளடக்கத்தைப் பெற HTTP GET கோரிக்கையை உருவாக்குகிறது. எடுத்துக்காட்டு: பதில் = requests.get(url) பாகுபடுத்துவதற்காக HTML பக்கத்தை மீட்டெடுக்கிறது.
BeautifulSoup	HTML பாகுபடுத்தியை துவக்குகிறது. உதாரணம்: சூப் = BeautifulSoup(response.content, "html.parser") HTML உள்ளடக்கத்தை மேலும் செயலாக்கத்திற்கு தயார்படுத்துகிறது.
find_element	பக்கத்தில் உள்ள ஒரு தனிமத்தைக் கண்டறிய செலினியத்துடன் பயன்படுத்தப்படுகிறது. எடுத்துக்காட்டு: product.find_element(By.CLASS_NAME, "name") தயாரிப்பு பெயரை மீட்டெடுக்கிறது.
find_elements	find_element போன்றது ஆனால் பொருந்தும் அனைத்து கூறுகளையும் மீட்டெடுக்கிறது. எடுத்துக்காட்டு: driver.find_elements(By.CLASS_NAME, "productContainer") அனைத்து தயாரிப்பு கொள்கலன்களையும் மறு செய்கைக்காகப் பெறுகிறது.
By.CLASS_NAME	தனிமங்களை அவற்றின் வர்க்கப் பெயரால் அடையாளம் காண செலினியம் லொக்கேட்டர் உத்தி. எடுத்துக்காட்டு: By.CLASS_NAME, "விலை" குறிப்பிட்ட வகுப்பில் உள்ள கூறுகளைக் கண்டறியும்.
assertGreater	ஒரு மதிப்பு மற்றொன்றை விட அதிகமாக உள்ளதா என்பதை சரிபார்க்க அலகு சோதனைகளில் பயன்படுத்தப்படுகிறது. எடுத்துக்காட்டு: self.assertGreater(len(product_boxes), 0) ஸ்கிராப்பிங் செய்யும் போது தயாரிப்புகள் இருப்பதை உறுதி செய்கிறது.
ChromeDriverManager	செலினியத்திற்கான Chrome WebDriver இன் பதிவிறக்கம் மற்றும் அமைவை தானாக நிர்வகிக்கிறது. எடுத்துக்காட்டு: இயக்கி = webdriver.Chrome(service=Service(ChromeDriverManager().install())).
text	HTML உறுப்பின் உரை உள்ளடக்கத்தை மீட்டெடுக்கிறது. எடுத்துக்காட்டு: தலைப்பு = product.find("div", class_="name"). text ஆனது ஒரு பொருளின் பெயருக்கான புலப்படும் உரையைப் பிரித்தெடுக்கிறது.
unittest.TestCase	சோதனை நிகழ்வுகளை வரையறுக்க பைத்தானின் யூனிடெஸ்ட் தொகுதியிலிருந்து ஒரு வகுப்பு பயன்படுத்தப்படுகிறது. எடுத்துக்காட்டு: வகுப்பு TestWebScraper(unittest.TestCase) ஸ்கிராப்பருக்கான சோதனைகளின் தொகுப்பை உருவாக்குகிறது.

வலை ஸ்கிராப்பிங் தீர்வுகளை உடைத்தல்

முதல் ஸ்கிரிப்ட் பயனடைகிறது , வழங்கப்பட்ட e-காமர்ஸ் தளத்தில் இருந்து தரவைப் பிரித்தெடுக்க, HTML பாகுபடுத்தலுக்கான பிரபலமான பைதான் நூலகம். மூல HTML ஐப் பயன்படுத்தி இது வேலை செய்கிறது நூலகம் மற்றும் பின்னர் அதை அழகான சூப்களுடன் பாகுபடுத்துகிறது . HTML பாகுபடுத்தப்பட்டவுடன், குறிச்சொற்கள் மற்றும் வகுப்புப் பெயர்களைப் பயன்படுத்தி ஸ்கிரிப்ட் குறிப்பிட்ட கூறுகளை அடையாளம் காட்டுகிறது. தயாரிப்பு கொள்கலன், இது தயாரிப்பு விவரங்களை மூடுவதாக கருதப்படுகிறது. இந்த அணுகுமுறை நிலையான HTML க்கு திறமையானது, ஆனால் ஜாவாஸ்கிரிப்ட் மூலம் வழங்கப்படும் டைனமிக் உள்ளடக்கத்தை வலைத்தளம் பயன்படுத்தினால் அது போராடலாம். டைனமிக் ரெசிபி இணையதளத்தில் இதே போன்ற சிக்கல்களுடன் போராடியது எனக்கு நினைவிருக்கிறது—எல்லாம் சரியாகத் தோன்றியது, ஆனால் தரவு எதுவும் தோன்றவில்லை! 🧑‍💻

இரண்டாவது எழுத்தில், செயல்பாட்டுக்கு வருகிறது. ஜாவாஸ்கிரிப்ட் வழியாக ஏற்றப்பட்ட உள்ளடக்கத்தைக் கொண்ட தளங்களுக்கு இந்தக் கருவி மிகவும் பயனுள்ளதாக இருக்கும். உண்மையான உலாவி அமர்வைத் தொடங்குவதன் மூலம், தளத்துடன் தொடர்பு கொள்ளும் பயனரை செலினியம் உருவகப்படுத்துகிறது. அனைத்து உறுப்புகளும் ஏற்றப்படும் வரை காத்திருக்கவும், பின்னர் தேவையான தரவைப் பிரித்தெடுக்கவும் இது அனுமதிக்கிறது. எடுத்துக்காட்டாக, இது போன்ற வகுப்பு அடிப்படையிலான லொக்கேட்டர்களைப் பயன்படுத்தி தயாரிப்பு விவரங்களைக் கண்டறியும் . செலினியம் சக்திவாய்ந்த திறன்களை வழங்கும் அதே வேளையில், அதற்கு கவனமாக வள மேலாண்மை தேவைப்படுகிறது—உலாவி அமர்வை விட்டு வெளியேறுவதை நினைவில் கொள்வது போன்றது—அல்லது அது அதிக நினைவகத்தை உட்கொள்ளக்கூடும், என் லேப்டாப் செயலிழந்தபோது இரவு நேர பிழைத்திருத்த அமர்வின் போது நான் கற்றுக்கொண்டது போல! 🖥️

இந்த ஸ்கிரிப்ட்களின் மற்றொரு முக்கிய அம்சம் அவற்றின் மட்டு வடிவமைப்பு ஆகும், இது வெவ்வேறு பயன்பாட்டு நிகழ்வுகளுக்கு எளிதாக மாற்றியமைக்கிறது. பைத்தானைப் பயன்படுத்தி யூனிட் டெஸ்ட் ஸ்கிரிப்ட் கட்டமைப்பானது ஸ்கிராப்பிங் லாஜிக்கில் உள்ள ஒவ்வொரு செயல்பாடும் சரியாக செயல்படுவதை உறுதி செய்கிறது. தயாரிப்பு கொள்கலன்கள் காணப்படுகின்றன என்பதையும் தலைப்புகள் மற்றும் விலைகள் பிரித்தெடுக்கப்படுகின்றன என்பதையும் இது சரிபார்க்கிறது. மாற்றங்களை ஸ்கிராப்பிங் செய்யும் போது நம்பகத்தன்மையை பராமரிக்க இது மிகவும் முக்கியமானது, ஏனெனில் வலைத்தளங்கள் அவற்றின் கட்டமைப்பை அடிக்கடி புதுப்பிக்கின்றன. ஒருமுறை, ஒரு வலைப்பதிவு தளத்தை ஸ்க்ராப் செய்யும் போது, ​​இதுபோன்ற சோதனைகளின் முக்கியத்துவத்தை நான் உணர்ந்தேன்—ஒரு வாரத்தில் என்ன வேலை செய்தது என்பது அடுத்த வாரத்தை முறியடித்தது, மேலும் சோதனைகள் எனக்கு பல மணிநேரம் சரிசெய்தல் மூலம் காப்பாற்றியது.

இந்த ஸ்கிரிப்டுகள் தேர்வுமுறை மற்றும் மறுபயன்பாட்டை மனதில் கொண்டு உருவாக்கப்பட்டுள்ளன. HTML பெறுதல் மற்றும் உறுப்பு பாகுபடுத்துதல் போன்ற மறுபயன்பாட்டு செயல்பாடுகளை தனிமைப்படுத்துவதன் மூலம், சிறிய மாற்றங்களுடன் அதே தளத்தில் உள்ள பிற பக்கங்கள் அல்லது வகைகளை அவர்களால் கையாள முடியும். ஸ்கிராப்பிங் திட்டத்தை விரிவுபடுத்துவது நிர்வகிக்கக்கூடியதாக இருப்பதை இந்த மாடுலாரிட்டி உறுதி செய்கிறது. ஒட்டுமொத்தமாக, பியூட்டிஃபுல் சூப் மற்றும் செலினியத்தை இணைப்பது நிலையான மற்றும் டைனமிக் உள்ளடக்க ஸ்கிராப்பிங்கை திறம்பட சமாளிக்க உதவுகிறது. பொறுமை மற்றும் பயிற்சியுடன், வலை ஸ்கிராப்பிங் ஒரு ஏமாற்றமளிக்கும் பணியிலிருந்து தரவு சேகரிப்புக்கான வெகுமதியளிக்கும் கருவியாக மாறுகிறது. 🌟

from bs4 import BeautifulSoup
import requests

# URL of the target page
url = "https://www.noon.com/uae-en/sports-and-outdoors/exercise-and-fitness/yoga-16328/"

# Make a GET request to fetch the raw HTML content
response = requests.get(url)
soup = BeautifulSoup(response.content, "html.parser")

# Find all product boxes
product_boxes = soup.find_all("div", class_="productContainer")

for product in product_boxes:
    # Extract the title
    title = product.find("div", class_="name").text if product.find("div", class_="name") else "No title"
    # Extract the price
    price = product.find("div", class_="price").text if product.find("div", class_="price") else "No price"
    print(f"Product: {title}, Price: {price}")

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager

# Set up Selenium WebDriver
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()))
url = "https://www.noon.com/uae-en/sports-and-outdoors/exercise-and-fitness/yoga-16328/"
driver.get(url)

# Wait for the products to load
products = driver.find_elements(By.CLASS_NAME, "productContainer")

for product in products:
    try:
        title = product.find_element(By.CLASS_NAME, "name").text
        price = product.find_element(By.CLASS_NAME, "price").text
        print(f"Product: {title}, Price: {price}")
    except:
        print("Error extracting product details")

driver.quit()

import unittest
from bs4 import BeautifulSoup
import requests

class TestWebScraper(unittest.TestCase):
    def setUp(self):
        url = "https://www.noon.com/uae-en/sports-and-outdoors/exercise-and-fitness/yoga-16328/"
        response = requests.get(url)
        self.soup = BeautifulSoup(response.content, "html.parser")

    def test_product_extraction(self):
        product_boxes = self.soup.find_all("div", class_="productContainer")
        self.assertGreater(len(product_boxes), 0, "No products found")

    def test_title_extraction(self):
        first_product = self.soup.find("div", class_="productContainer")
        title = first_product.find("div", class_="name").text if first_product.find("div", class_="name") else None
        self.assertIsNotNone(title, "Title not extracted")

if __name__ == "__main__":
    unittest.main()

வலை ஸ்கிராப்பிங்கில் மேம்பட்ட நுட்பங்களை ஆராய்தல்

வலை ஸ்கிராப்பிங்கிற்காக சிக்கலான வலைத்தளங்களைக் கையாளும் போது, ​​கருத்தில் கொள்ள வேண்டிய ஒரு முக்கியமான அம்சம் மாறும் உள்ளடக்கத்தைக் கையாள்வது. பல நவீன வலைத்தளங்கள் ஆரம்ப HTML வழங்கப்பட்ட பிறகு கூறுகளை ஏற்றுவதற்கு JavaScript ஐ நம்பியுள்ளன. இது போன்ற கருவிகள் என்று பொருள் , நிலையான HTML ஐ மட்டும் பாகுபடுத்தும், தேவையான எல்லா தரவையும் கைப்பற்றுவதில் தோல்வியடையும். இதுபோன்ற சந்தர்ப்பங்களில், உலாவி ஆட்டோமேஷன் கருவியை ஒருங்கிணைத்தல் அத்தியாவசியமாகிறது. செலினியம் ஒரு உண்மையான பயனரைப் போலவே வலைத்தளத்துடன் தொடர்பு கொள்ளலாம், கூறுகள் ஏற்றப்படும் வரை காத்திருந்து அதற்கேற்ப தரவைப் பிரித்தெடுக்கும். முக்கிய கூறுகளை ஒத்திசைவற்ற முறையில் வழங்கும் தளங்களை ஸ்கிராப்பிங் செய்யும் போது இது மிகவும் பயனுள்ளதாக இருக்கும். 🌐

மற்றொரு முக்கியமான கருத்தானது வலைத்தளத்தின் அமைப்பு மற்றும் அதன் அடிப்படை API ஆகும். சில வலைத்தளங்கள் உள்ளடக்கத்தை மாறும் வகையில் ஏற்றுவதற்குப் பயன்படுத்தப்படும் கட்டமைக்கப்பட்ட API இறுதிப்புள்ளியை வெளிப்படுத்துகின்றன. டெவலப்பர் கருவிகள் மூலம் நெட்வொர்க் செயல்பாட்டை ஆய்வு செய்வதன் மூலம், HTML ஐ விட எளிதாக பிரித்தெடுக்கக்கூடிய JSON தரவை நீங்கள் கண்டறியலாம். உதாரணமாக, தயாரிப்பு விவரங்களுக்கு பல உள்ளமை குறிச்சொற்களைப் பாகுபடுத்துவதற்குப் பதிலாக, சுத்தமான, கட்டமைக்கப்பட்ட தரவைக் கொண்ட JSON பொருட்களை நேரடியாகப் பெறலாம். இந்த முறை வேகமானது, நம்பகமானது மற்றும் தேவையற்ற சர்வர் கோரிக்கைகளை குறைக்கிறது. போன்ற நூலகங்களைப் பயன்படுத்துதல் அல்லது API இன்டராக்ஷன் செயல்திறனை மேம்படுத்துவதற்கான சிறந்த அணுகுமுறையாகும்.

இறுதியாக, நெறிமுறை ஸ்கிராப்பிங் நடைமுறைகள் மற்றும் இணையதளத்தின் சேவை விதிமுறைகளுக்கு இணங்குவதை கவனிக்க முடியாது. robots.txtஐ மதிப்பது, த்ரோட்லிங் மூலம் அதிகப்படியான சர்வர் லோடைத் தவிர்ப்பது மற்றும் உண்மையான பயனரைப் பிரதிபலிக்கும் வகையில் தலைப்புகளைப் பயன்படுத்துவது அடிப்படைச் சிறந்த நடைமுறைகள். கோரிக்கைகளுக்கு இடையில் தாமதங்களைச் சேர்ப்பது அல்லது நூலகங்களைப் பயன்படுத்துவது போன்றது அல்லது , மென்மையான செயல்பாட்டை உறுதி செய்கிறது. நான் முதலில் வலை ஸ்கிராப்பிங்கைத் தொடங்கியபோது, ​​இந்த வழிகாட்டுதல்களை நான் புறக்கணித்தேன், இதன் விளைவாக எனது ஐபி தடுக்கப்பட்டது-நான் மறக்க முடியாத பாடம்! திறமையான மற்றும் பொறுப்பான தரவு சேகரிப்பை உறுதிப்படுத்த இந்த காரணிகளை எப்போதும் கருத்தில் கொள்ளுங்கள். 🌟

1. பைத்தானில் HTML பாகுபடுத்த சிறந்த நூலகம் எது?
2. HTML பாகுபடுத்தலுக்கான மிகவும் பிரபலமான நூலகங்களில் ஒன்றாகும், நிலையான வலைப்பக்கத்தில் உள்ள கூறுகளைக் கண்டறிவதற்கான எளிதான முறைகளை வழங்குகிறது.
3. ஜாவாஸ்கிரிப்ட் மூலம் வழங்கப்பட்ட உள்ளடக்கத்தை நான் எப்படி ஸ்கிராப் செய்வது?
4. போன்ற கருவிகளைப் பயன்படுத்தலாம் , இது பயனர் தொடர்புகளை உருவகப்படுத்தலாம் மற்றும் உலாவியில் உறுப்புகள் மாறும் வகையில் ஏற்றப்படும் வரை காத்திருக்கலாம்.
5. ஸ்கிராப்பிங்கிற்கான சரியான HTML கூறுகளை நான் எவ்வாறு கண்டறிவது?
6. உங்கள் உலாவியின் டெவலப்பர் கருவிகளைப் பயன்படுத்தி, நீங்கள் ஆய்வு செய்யலாம் மற்றும் உங்களுக்குத் தேவையான உறுப்புகளுடன் தொடர்புடைய குறிச்சொற்கள், ஐடிகள் அல்லது வகுப்புப் பெயர்களை அடையாளம் காணவும்.
7. HTML ஐ பாகுபடுத்தாமல் தரவை ஸ்கிராப் செய்ய முடியுமா?
8. ஆம், இணையதளத்தில் API இருந்தால், நீங்கள் நேரடியாக நூலகங்களைப் பயன்படுத்தி கட்டமைக்கப்பட்ட தரவைக் கோரலாம் அல்லது .
9. ஸ்கிராப்பிங் செய்யும் போது தடுக்கப்படுவதை நான் எவ்வாறு தவிர்க்கலாம்?
10. போன்ற தலைப்புகளைப் பயன்படுத்தவும் உண்மையான பயனர்களைப் பிரதிபலிக்கவும், கோரிக்கைகளுக்கு இடையில் தாமதங்களைச் சேர்க்கவும் மற்றும் தளத்தின் robots.txt கோப்பை மதிக்கவும்.

வலை ஸ்கிராப்பிங் என்பது தரவைத் திறமையாகச் சேகரிப்பதற்கு அவசியமான ஒரு திறமையாகும், ஆனால் இணையதளத்தின் கட்டமைப்பைப் பொருத்த உங்கள் அணுகுமுறையை மாற்றியமைக்க வேண்டும். இணைப்பதன் மூலம் HTML பாகுபடுத்துதல் மற்றும் டைனமிக் பக்கங்களுக்கான செலினியம் போன்ற கருவிகளுக்கு, தரவு பிரித்தெடுப்பதில் உள்ள பல பொதுவான தடைகளை நீங்கள் கடக்க முடியும்.

ஜாவாஸ்கிரிப்ட் ரெண்டரிங் அல்லது ஏபிஐ எண்ட்பாயிண்ட்ஸ் போன்ற இலக்கு தளத்தின் நுணுக்கங்களைப் புரிந்துகொள்வது வெற்றிக்கு முக்கியமானது. தடை செய்யப்படுவதைத் தவிர்ப்பதற்கு கோரிக்கைகளைத் தூண்டுவது போன்ற நெறிமுறை நடைமுறைகளை எப்போதும் பின்பற்றவும். விடாமுயற்சி மற்றும் சரியான கருவிகள் மூலம், சிக்கலான ஸ்கிராப்பிங் திட்டங்கள் கூட சமாளிக்கக்கூடியதாகவும் பலனளிக்கக்கூடியதாகவும் மாறும். 🚀