Học cách sử dụng Python và Beautiful Soup để quét web trên các trang web động

Vượt qua các thách thức quét web trên các trang web thương mại điện tử

Việc quét web có thể vừa thú vị vừa khó khăn, đặc biệt khi bạn mới làm quen với quy trình này. Tôi vẫn nhớ nỗ lực đầu tiên của mình trong việc tìm kiếm một trang web động—cảm giác giống như cố đọc một cuốn sách qua tấm kính mờ. Với các nền tảng như Beautiful Soup, khả năng là vô tận nhưng những thách thức như điều hướng các cấu trúc HTML phức tạp có thể kiểm tra sự kiên nhẫn của bạn. 🧑‍💻

Trong trường hợp này, bạn đang trích xuất dữ liệu từ một trang web thương mại điện tử nhưng các thành phần HTML có vẻ khó nắm bắt. Nhiều trang web, giống như trang bạn đang xử lý, sử dụng cấu trúc lồng nhau hoặc nội dung động khiến việc định vị các phần tử cụ thể trở nên khó khăn. Điều này có thể khiến bạn bực bội, đặc biệt khi bạn mới bắt đầu sử dụng các công cụ như Python và Beautiful Soup.

Nhưng đừng lo lắng; mọi người quét web thành công đều từng phải vật lộn với rào cản tương tự này. Học cách phân tích cấu trúc HTML, xác định các mẫu và tinh chỉnh bộ chọn của bạn là một nghi thức bắt đầu trong thế giới cạo. Với sự kiên trì và một số kỹ thuật đã được thử nghiệm, bạn sẽ sớm thành thạo nghệ thuật điều hướng ngay cả trong HTML phức tạp nhất.

Trong bài viết này, chúng ta sẽ khám phá các chiến lược thực tế để điều hướng HTML hiệu quả và trích xuất chính xác các phần tử bạn cần. Từ việc hiểu thẻ đến làm việc với các công cụ dành cho nhà phát triển, những thông tin chi tiết này sẽ giúp bạn thành công. Hãy đi sâu vào! 🌟

Phá vỡ các giải pháp quét web

Kịch bản đầu tiên tận dụng Súp đẹp, một thư viện Python phổ biến để phân tích cú pháp HTML, để trích xuất dữ liệu từ trang thương mại điện tử được cung cấp. Nó hoạt động bằng cách tìm nạp HTML thô bằng cách sử dụng yêu cầu thư viện và sau đó phân tích nó bằng Beautiful Soup's html.parser. Khi HTML được phân tích cú pháp, tập lệnh sẽ xác định các thành phần cụ thể bằng cách sử dụng thẻ và tên lớp, chẳng hạn như sản phẩmContainer, được cho là bao bọc các chi tiết sản phẩm. Cách tiếp cận này hiệu quả đối với HTML tĩnh nhưng có thể gặp khó khăn nếu trang web sử dụng nội dung động được hiển thị bằng JavaScript. Tôi nhớ mình đã phải vật lộn với các vấn đề tương tự trên một trang web công thức nấu ăn động—mọi thứ có vẻ đúng nhưng không có dữ liệu nào xuất hiện! 🧑‍💻

Trong kịch bản thứ hai, Selen phát huy tác dụng. Công cụ này đặc biệt hữu ích cho các trang web có nội dung được tải qua JavaScript. Bằng cách khởi chạy phiên trình duyệt thực, Selenium mô phỏng người dùng tương tác với trang web. Điều này cho phép nó đợi tất cả các phần tử tải và sau đó trích xuất dữ liệu cần thiết. Ví dụ: nó định vị chi tiết sản phẩm bằng cách sử dụng các công cụ định vị dựa trên lớp như Bởi.CLASS_NAME. Mặc dù Selenium cung cấp các khả năng mạnh mẽ nhưng nó yêu cầu quản lý tài nguyên cẩn thận—chẳng hạn như nhớ thoát khỏi phiên trình duyệt—nếu không nó có thể tiêu tốn quá nhiều bộ nhớ, như tôi đã biết trong phiên gỡ lỗi lúc đêm khuya khi máy tính xách tay của tôi bị treo! 🖥️

Một tính năng quan trọng khác của các tập lệnh này là thiết kế mô-đun, giúp chúng dễ dàng thích ứng với các trường hợp sử dụng khác nhau. Tập lệnh kiểm thử đơn vị sử dụng Python nhỏ nhất framework đảm bảo rằng mỗi chức năng trong logic thu thập dữ liệu hoạt động chính xác. Nó xác minh rằng các thùng chứa sản phẩm được tìm thấy và các tiêu đề cũng như giá cả được trích xuất. Điều này đặc biệt quan trọng để duy trì độ tin cậy khi tìm kiếm các thay đổi vì các trang web thường cập nhật cấu trúc của chúng. Một lần, khi đang tìm kiếm một trang blog, tôi nhận ra tầm quan trọng của những thử nghiệm như vậy—những gì hiệu quả trong tuần này đã bị hỏng vào tuần tiếp theo và các thử nghiệm đã giúp tôi tiết kiệm hàng giờ khắc phục sự cố.

Các tập lệnh này cũng được xây dựng với mục đích tối ưu hóa và tái sử dụng. Bằng cách tách biệt các chức năng có thể sử dụng lại như tìm nạp HTML và phân tích phần tử, họ có thể xử lý các trang hoặc danh mục khác trên cùng một trang với những điều chỉnh nhỏ. Tính mô-đun này đảm bảo rằng việc mở rộng dự án thu thập dữ liệu vẫn có thể quản lý được. Nhìn chung, việc kết hợp Beautiful Soup và Selenium trang bị cho bạn khả năng xử lý cả nội dung tĩnh và nội dung động một cách hiệu quả. Với sự kiên nhẫn và thực hành, việc quét web sẽ biến từ một nhiệm vụ khó chịu thành một công cụ bổ ích để thu thập dữ liệu. 🌟

from bs4 import BeautifulSoup
import requests

# URL of the target page
url = "https://www.noon.com/uae-en/sports-and-outdoors/exercise-and-fitness/yoga-16328/"

# Make a GET request to fetch the raw HTML content
response = requests.get(url)
soup = BeautifulSoup(response.content, "html.parser")

# Find all product boxes
product_boxes = soup.find_all("div", class_="productContainer")

for product in product_boxes:
    # Extract the title
    title = product.find("div", class_="name").text if product.find("div", class_="name") else "No title"
    # Extract the price
    price = product.find("div", class_="price").text if product.find("div", class_="price") else "No price"
    print(f"Product: {title}, Price: {price}")

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager

# Set up Selenium WebDriver
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()))
url = "https://www.noon.com/uae-en/sports-and-outdoors/exercise-and-fitness/yoga-16328/"
driver.get(url)

# Wait for the products to load
products = driver.find_elements(By.CLASS_NAME, "productContainer")

for product in products:
    try:
        title = product.find_element(By.CLASS_NAME, "name").text
        price = product.find_element(By.CLASS_NAME, "price").text
        print(f"Product: {title}, Price: {price}")
    except:
        print("Error extracting product details")

driver.quit()

import unittest
from bs4 import BeautifulSoup
import requests

class TestWebScraper(unittest.TestCase):
    def setUp(self):
        url = "https://www.noon.com/uae-en/sports-and-outdoors/exercise-and-fitness/yoga-16328/"
        response = requests.get(url)
        self.soup = BeautifulSoup(response.content, "html.parser")

    def test_product_extraction(self):
        product_boxes = self.soup.find_all("div", class_="productContainer")
        self.assertGreater(len(product_boxes), 0, "No products found")

    def test_title_extraction(self):
        first_product = self.soup.find("div", class_="productContainer")
        title = first_product.find("div", class_="name").text if first_product.find("div", class_="name") else None
        self.assertIsNotNone(title, "Title not extracted")

if __name__ == "__main__":
    unittest.main()

Khám phá các kỹ thuật nâng cao trong việc quét web

Khi xử lý các trang web phức tạp để quét web, một khía cạnh quan trọng cần xem xét là xử lý nội dung động. Nhiều trang web hiện đại dựa vào JavaScript để tải các phần tử sau khi HTML ban đầu được phân phối. Điều này có nghĩa là các công cụ như Súp đẹp, chỉ phân tích cú pháp HTML tĩnh, có thể không thu thập được tất cả dữ liệu cần thiết. Trong những trường hợp như vậy, việc tích hợp một công cụ tự động hóa trình duyệt như Selen trở nên thiết yếu. Selenium có thể tương tác với trang web giống như người dùng thực, chờ các phần tử tải và trích xuất dữ liệu tương ứng. Điều này đặc biệt hữu ích khi loại bỏ các trang web hiển thị các thành phần chính không đồng bộ. 🌐

Một yếu tố quan trọng cần cân nhắc khác là cấu trúc của trang web và API cơ bản của nó. Một số trang web hiển thị điểm cuối API có cấu trúc dùng để tải nội dung một cách linh hoạt. Bằng cách kiểm tra hoạt động mạng thông qua các công cụ dành cho nhà phát triển, bạn có thể phát hiện ra dữ liệu JSON dễ trích xuất hơn HTML. Ví dụ: thay vì phân tích cú pháp nhiều thẻ lồng nhau để biết chi tiết sản phẩm, bạn có thể tìm nạp trực tiếp các đối tượng JSON chứa dữ liệu có cấu trúc rõ ràng. Phương pháp này nhanh hơn, đáng tin cậy hơn và giảm các yêu cầu máy chủ không cần thiết. Sử dụng các thư viện như yêu cầu hoặc httpx để tương tác API là một cách tiếp cận tuyệt vời để tối ưu hóa hiệu suất.

Cuối cùng, không thể bỏ qua các hoạt động thu thập dữ liệu có đạo đức và việc tuân thủ các điều khoản dịch vụ của trang web. Tôn trọng robots.txt, tránh tải máy chủ quá mức thông qua điều chỉnh và sử dụng tiêu đề để bắt chước người dùng thực là những phương pháp cơ bản tốt nhất. Thêm độ trễ giữa các yêu cầu hoặc sử dụng các thư viện như thời gian hoặc asyncio, đảm bảo hoạt động trơn tru. Khi tôi mới bắt đầu quét web, tôi đã bỏ qua những nguyên tắc này, dẫn đến việc IP của tôi bị chặn—một bài học mà tôi sẽ không quên! Luôn xem xét các yếu tố này để đảm bảo thu thập dữ liệu hiệu quả và có trách nhiệm. 🌟