동적 웹사이트에서 웹 스크래핑을 위해 Python과 Beautiful Soup을 사용하는 방법 배우기

Beautiful Soup을 사용하여 전자상거래 사이트에서 데이터 추출

HTML 구문 분석 및 웹 스크래핑을 위해 Python 및 Beautiful Soup 라이브러리 사용

from bs4 import BeautifulSoup
import requests

# URL of the target page
url = "https://www.noon.com/uae-en/sports-and-outdoors/exercise-and-fitness/yoga-16328/"

# Make a GET request to fetch the raw HTML content
response = requests.get(url)
soup = BeautifulSoup(response.content, "html.parser")

# Find all product boxes
product_boxes = soup.find_all("div", class_="productContainer")

for product in product_boxes:
    # Extract the title
    title = product.find("div", class_="name").text if product.find("div", class_="name") else "No title"
    # Extract the price
    price = product.find("div", class_="price").text if product.find("div", class_="price") else "No price"
    print(f"Product: {title}, Price: {price}")

Selenium을 사용한 동적 콘텐츠 스크래핑

JavaScript로 렌더링된 콘텐츠 처리를 위해 Python과 Selenium 사용

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager

# Set up Selenium WebDriver
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()))
url = "https://www.noon.com/uae-en/sports-and-outdoors/exercise-and-fitness/yoga-16328/"
driver.get(url)

# Wait for the products to load
products = driver.find_elements(By.CLASS_NAME, "productContainer")

for product in products:
    try:
        title = product.find_element(By.CLASS_NAME, "name").text
        price = product.find_element(By.CLASS_NAME, "price").text
        print(f"Product: {title}, Price: {price}")
    except:
        print("Error extracting product details")

driver.quit()

아름다운 수프 스크레이퍼에 대한 단위 테스트

Python의 단위 테스트 모듈을 사용하여 스크래핑 논리 검증

import unittest
from bs4 import BeautifulSoup
import requests

class TestWebScraper(unittest.TestCase):
    def setUp(self):
        url = "https://www.noon.com/uae-en/sports-and-outdoors/exercise-and-fitness/yoga-16328/"
        response = requests.get(url)
        self.soup = BeautifulSoup(response.content, "html.parser")

    def test_product_extraction(self):
        product_boxes = self.soup.find_all("div", class_="productContainer")
        self.assertGreater(len(product_boxes), 0, "No products found")

    def test_title_extraction(self):
        first_product = self.soup.find("div", class_="productContainer")
        title = first_product.find("div", class_="name").text if first_product.find("div", class_="name") else None
        self.assertIsNotNone(title, "Title not extracted")

if __name__ == "__main__":
    unittest.main()

Python을 사용한 웹 스크래핑에 대해 자주 묻는 질문

1. Python에서 HTML을 구문 분석하는 데 가장 적합한 라이브러리는 무엇입니까?
2. 아름다운 수프 HTML 구문 분석을 위한 가장 인기 있는 라이브러리 중 하나이며 정적 웹 페이지에서 요소를 찾는 데 사용하기 쉬운 방법을 제공합니다.
3. JavaScript로 렌더링된 콘텐츠를 어떻게 긁을 수 있나요?
4. 다음과 같은 도구를 사용할 수 있습니다. Selenium, 사용자 상호 작용을 시뮬레이션하고 요소가 브라우저에 동적으로 로드될 때까지 기다릴 수 있습니다.
5. 스크래핑에 적합한 HTML 요소를 어떻게 식별합니까?
6. 브라우저의 개발자 도구를 사용하여 다음을 검사할 수 있습니다. DOM structure 필요한 요소에 해당하는 태그, ID 또는 클래스 이름을 식별합니다.
7. HTML을 구문 분석하지 않고 데이터를 긁어내는 것이 가능합니까?
8. 예, 웹사이트에 API가 있으면 다음과 같은 라이브러리를 사용하여 구조화된 데이터를 직접 요청할 수 있습니다. requests 또는 httpx.
9. 스크래핑하는 동안 차단되는 것을 어떻게 방지할 수 있나요?
10. 다음과 같은 헤더를 사용하세요. "User-Agent" 실제 사용자를 모방하고, 요청 사이에 지연을 추가하고, 사이트의 robots.txt 파일을 존중합니다.

효과적인 웹 스크래핑을 위한 핵심 사항

웹 스크래핑은 데이터를 효율적으로 수집하는 데 필수적인 기술이지만 웹 사이트 구조에 맞게 접근 방식을 조정해야 합니다. 결합하여 아름다운 수프 동적 페이지용 Selenium과 같은 HTML 구문 분석 및 도구의 경우 데이터 추출 시 흔히 발생하는 많은 장애물을 극복할 수 있습니다.

JavaScript 렌더링이나 API 엔드포인트 등 대상 사이트의 미묘한 차이를 이해하는 것이 성공을 위해 매우 중요합니다. 차단되지 않도록 요청 제한과 같은 윤리적 관행을 항상 따르십시오. 지속성과 올바른 도구를 사용하면 복잡한 스크래핑 프로젝트도 관리하기 쉽고 보람을 느낄 수 있습니다. 🚀