動的 Web サイトでの Web スクレイピングに Python と美しいスープを使用する方法を学ぶ

Beautiful Soup を使用して EC サイトからデータを抽出する

Python と Beautiful Soup ライブラリを使用した HTML 解析と Web スクレイピング

from bs4 import BeautifulSoup
import requests

# URL of the target page
url = "https://www.noon.com/uae-en/sports-and-outdoors/exercise-and-fitness/yoga-16328/"

# Make a GET request to fetch the raw HTML content
response = requests.get(url)
soup = BeautifulSoup(response.content, "html.parser")

# Find all product boxes
product_boxes = soup.find_all("div", class_="productContainer")

for product in product_boxes:
    # Extract the title
    title = product.find("div", class_="name").text if product.find("div", class_="name") else "No title"
    # Extract the price
    price = product.find("div", class_="price").text if product.find("div", class_="price") else "No price"
    print(f"Product: {title}, Price: {price}")

Selenium を使用した動的コンテンツ スクレイピング

Python と Selenium を使用して JavaScript でレンダリングされたコンテンツを処理する

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager

# Set up Selenium WebDriver
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()))
url = "https://www.noon.com/uae-en/sports-and-outdoors/exercise-and-fitness/yoga-16328/"
driver.get(url)

# Wait for the products to load
products = driver.find_elements(By.CLASS_NAME, "productContainer")

for product in products:
    try:
        title = product.find_element(By.CLASS_NAME, "name").text
        price = product.find_element(By.CLASS_NAME, "price").text
        print(f"Product: {title}, Price: {price}")
    except:
        print("Error extracting product details")

driver.quit()

美しいスープスクレーパーの単体テスト

Pythonのunittestモジュールを使用してスクレイピングロジックを検証する

import unittest
from bs4 import BeautifulSoup
import requests

class TestWebScraper(unittest.TestCase):
    def setUp(self):
        url = "https://www.noon.com/uae-en/sports-and-outdoors/exercise-and-fitness/yoga-16328/"
        response = requests.get(url)
        self.soup = BeautifulSoup(response.content, "html.parser")

    def test_product_extraction(self):
        product_boxes = self.soup.find_all("div", class_="productContainer")
        self.assertGreater(len(product_boxes), 0, "No products found")

    def test_title_extraction(self):
        first_product = self.soup.find("div", class_="productContainer")
        title = first_product.find("div", class_="name").text if first_product.find("div", class_="name") else None
        self.assertIsNotNone(title, "Title not extracted")

if __name__ == "__main__":
    unittest.main()

Python を使用した Web スクレイピングに関するよくある質問

1. Python で HTML を解析するのに最適なライブラリは何ですか?
2. 美しいスープ は、HTML 解析用の最も人気のあるライブラリの 1 つであり、静的 Web ページ内の要素を見つけるための使いやすいメソッドを提供します。
3. JavaScript によってレンダリングされたコンテンツをスクレイピングするにはどうすればよいですか?
4. 次のようなツールを使用できます Selenium、ユーザー操作をシミュレートし、要素がブラウザーに動的に読み込まれるのを待つことができます。
5. スクレイピングに適した HTML 要素を特定するにはどうすればよいですか?
6. ブラウザの開発者ツールを使用すると、 DOM structure 必要な要素に対応するタグ、ID、またはクラス名を特定します。
7. HTMLを解析せずにデータをスクレイピングすることは可能ですか?
8. はい、Web サイトに API がある場合は、次のようなライブラリを使用して構造化データを直接リクエストできます。 requests または httpx。
9. スクレイピング中にブロックされないようにするにはどうすればよいですか?
10. 次のようなヘッダーを使用します "User-Agent" 実際のユーザーを模倣し、リクエスト間に遅延を追加し、サイトの robots.txt ファイルを尊重します。

効果的なWebスクレイピングのための重要なポイント

Web スクレイピングはデータを効率的に収集するために不可欠なスキルですが、Web サイトの構造に合わせてアプローチを適応させる必要があります。組み合わせることで 美しいスープ HTML 解析や動的ページ用の Selenium などのツールを使用すると、データ抽出における多くの一般的なハードルを克服できます。

成功するには、JavaScript レンダリングや API エンドポイントなど、ターゲット サイトの微妙な違いを理解することが重要です。ブロックされないようにリクエストを調整するなどの倫理的慣行に従ってください。永続性と適切なツールがあれば、複雑なスクレイピング プロジェクトでも管理しやすくなり、やりがいのあるものになります。 🚀