Khắc phục sự cố phát hiện phần tử SeleniumBase của Python ở chế độ không đầu

Vượt qua những thách thức trong tự động hóa web không đầu

Đối với nhiều nhà phát triển, việc chạy tập lệnh ở chế độ không đầu là rất quan trọng để tăng tốc tự động hóa web nhiệm vụ và tối ưu hóa tài nguyên máy chủ. Chế độ không đầu, trong đó trình duyệt chạy mà không có giao diện người dùng đồ họa, thường cho phép thực hiện kiểm tra nhanh hơn, nhưng không phải là không có những thách thức riêng.

Hãy tưởng tượng bạn đã thiết lập một Python tập lệnh với SeleniumBase để tương tác với các thành phần cụ thể trên một trang web. Mọi thứ đều hoạt động trơn tru ở chế độ không có đầu, vì vậy bạn chuyển sang chế độ không có đầu, mong đợi kết quả tương tự—chỉ để tìm thấy lỗi “Không tìm thấy phần tử” đáng sợ! 🧐

Những vấn đề như vậy rất phổ biến, đặc biệt khi xử lý các phần tử web động hoặc phức tạp. Các trang dựa trên JavaScript. Trong tình huống này, các phần tử như #card-lib-selectCompany-change có thể khó nắm bắt ở chế độ không có giao diện người dùng, ngay cả với các kỹ thuật như cuộn và cài đặt tác nhân người dùng.

Tại đây, chúng tôi sẽ khám phá lý do tại sao sự cố này xảy ra và chia sẻ các giải pháp thiết thực có thể giúp bạn tương tác một cách đáng tin cậy với các thành phần ở chế độ không có giao diện người dùng, rút ​​ra từ các ví dụ khắc phục sự cố trong thế giới thực. Hãy cùng tìm hiểu cách bạn có thể vượt qua những rào cản này ở chế độ không đầu và giúp tập lệnh của bạn chạy trơn tru trở lại!

Khắc phục sự cố Chế độ không đầu trong Selenium để phát hiện phần tử nhất quán

Trong bài viết này, chúng tôi đã thảo luận về một vấn đề phổ biến mà các nhà phát triển sử dụng Selenium gặp phải: các phần tử được tìm thấy ở chế độ không có đầu nhưng không có trong chế độ không đầu. Trong các ví dụ về mã của mình, chúng tôi đã sử dụng các kỹ thuật cụ thể để mô phỏng quá trình duyệt thực và xử lý các tình huống duy nhất đối với duyệt không có giao diện người dùng. Việc đặt kích thước cửa sổ bằng lệnh set_window_size là rất quan trọng vì chế độ không đầu không tải chế độ xem hiển thị theo mặc định. Cấu hình này đảm bảo rằng bố cục của trang giống với những gì bạn thấy trên màn hình thực, khiến nó có nhiều khả năng định vị các phần tử động hơn. Một lệnh thiết yếu khác mà chúng tôi đã sử dụng là uc_open_with_reconnect, lệnh này cố gắng tải trang nhiều lần—hữu ích khi các trang gặp trục trặc mạng hoặc quá trình tải phức tạp. Chế độ không đầu có thể tải khác với trình duyệt thông thường, do đó, việc kết nối lại một vài lần sẽ cải thiện độ tin cậy khi tải nội dung mong muốn.

Sau khi tải trang, chế độ không đầu vẫn có thể gặp khó khăn với một số thành phần nhất định. Để giải quyết vấn đề này, chúng tôi đã kết hợp lệnh uc_gui_click_captcha, một tính năng SeleniumBase cho phép xử lý tự động các thử nghiệm CAPTCHA, thường là một trình chặn không mong muốn trong tự động hóa. Bằng cách kết hợp nó với các chức năng cuộn, chúng tôi mô phỏng các tương tác của người dùng có thể kích hoạt các phần tử ẩn xuất hiện. Ví dụ: trong vòng lặp của chúng tôi, lệnh exec_script liên tục cuộn xuống 100 pixel mỗi lần. Theo kinh nghiệm của tôi, việc thêm các hành động cuộn lặp đi lặp lại này và tạm dừng một chút giữa mỗi lần thử có thể khiến các phần tử bị ẩn trước đó, chẳng hạn như danh sách thả xuống, dễ dàng bị phát hiện hơn. Trên thực tế, tôi nhận thấy kỹ thuật này vô giá khi tự động hóa các tương tác với các trang có nhiều nội dung phụ thuộc nhiều vào kết xuất JavaScript. 😅

Một thủ thuật khác được sử dụng là kiểm tra khả năng hiển thị của phần tử trước khi chờ đợi. Kỹ thuật này giúp tránh phải chờ đợi không cần thiết các phần tử có thể đã có trong khung nhìn. Ở đây, chúng tôi đã sử dụng is_element_visible để nhanh chóng xác minh xem phần tử mục tiêu có ở chế độ xem hay không. Lệnh này, kết hợp với ngắt có điều kiện, đảm bảo vòng lặp của chúng tôi không cuộn nhiều hơn mức cần thiết—tối ưu hóa thời gian chạy. Trong trường hợp các thành phần vẫn khó tìm thấy, select_option_by_text tỏ ra hữu ích cho việc thả xuống. Nó đảm bảo khớp văn bản chính xác trong danh sách thả xuống và tiết kiệm thời gian bằng cách chọn chính xác những gì người dùng sẽ chọn theo cách thủ công. Cách tiếp cận này rất quan trọng để nhập dữ liệu chính xác vào các biểu mẫu và trường có danh sách có thể chọn, đặc biệt khi có thể có nhiều giá trị.

Cuối cùng, việc sử dụng các lệnh chẩn đoán như get_current_url và get_page_source cho phép chúng tôi kiểm tra xem trang dự định đã tải đúng cách hay chưa. Ở chế độ không có giao diện người dùng, đôi khi Chrome có thể mở một trang trống hoặc URL tiện ích mở rộng thay vì trang dự định, điều này có thể loại bỏ toàn bộ tập lệnh. Bằng cách sử dụng get_current_url, chúng tôi xác nhận URL phù hợp với mong đợi, trong khi get_page_source cung cấp đầu ra HTML thô để kiểm tra xem tất cả các phần tử có được hiển thị chính xác hay không. Bước gỡ lỗi này rất cần thiết khi gặp phải các sự cố nội dung không mong muốn và giúp ngăn ngừa các lỗi ẩn, giúp quá trình tự động hóa diễn ra suôn sẻ hơn. Trong trường hợp chế độ không đầu vẫn đặt ra thách thức, các lệnh này cung cấp manh mối có giá trị để giải quyết chúng. 🚀

from seleniumbase import SB
def scrape_servipag_service_reading(service_type, company, identifier):
    result = None
    with SB(uc=True, headless=True) as sb:  # using headless mode
        try:
            # Set viewport size to ensure consistent display
            sb.set_window_size(1920, 1080)
            url = f"https://portal.servipag.com/paymentexpress/category/{service_type}"
            sb.uc_open_with_reconnect(url, 4)
            sb.sleep(5)  # Wait for elements to load
            sb.uc_gui_click_captcha()  # Handle CAPTCHA interaction
            # Scroll and search for element with incremental scrolling
            for _ in range(50):  # Increase scrolling attempts if necessary
                sb.execute_script("window.scrollBy(0, 100);")
                sb.sleep(0.2)
                if sb.is_element_visible("#card-lib-selectCompany-change"):
                    break
            sb.wait_for_element("#card-lib-selectCompany-change", timeout=20)
            sb.select_option_by_text("#card-lib-selectCompany-change", company)
            # Additional steps and interactions can follow here
        except Exception as e:
            print(f"Error: {e}")
    return result

from seleniumbase import SB
def scrape_service_with_user_agent(service_type, company):
    result = None
    user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36"
    with SB(uc=True, headless=True, user_agent=user_agent) as sb:
        try:
            sb.set_window_size(1920, 1080)
            sb.open(f"https://portal.servipag.com/paymentexpress/category/{service_type}")
            sb.sleep(3)
            sb.execute_script("document.querySelector('#card-lib-selectCompany-change').scrollIntoView()")
            sb.wait_for_element_visible("#card-lib-selectCompany-change", timeout=15)
            sb.select_option_by_text("#card-lib-selectCompany-change", company)
        except Exception as e:
            print(f"Encountered Error: {e}")
    return result

import unittest
from seleniumbase import SB
class TestHeadlessElementDetection(unittest.TestCase):
    def test_element_detection_headless(self):
        with SB(uc=True, headless=True) as sb:
            sb.set_window_size(1920, 1080)
            url = "https://portal.servipag.com/paymentexpress/category/electricity"
            sb.uc_open_with_reconnect(url, 4)
            sb.sleep(5)
            found = sb.is_element_visible("#card-lib-selectCompany-change")
            self.assertTrue(found, "Element should be visible in headless mode")
if __name__ == '__main__':
    unittest.main()

Khắc phục sự cố hiển thị phần tử trong Chế độ Selenium không đầu

Khi làm việc với tự động hóa trình duyệt không đầu khi sử dụng Selenium, một trong những thách thức chính là hiển thị chính xác các phần tử trên trang. Ở chế độ không có đầu, các thành phần trực quan tải tương tự như cách chúng làm trong cửa sổ trình duyệt, nhưng chế độ không có đầu thiếu khả năng hiển thị trực quan này. Do đó, các nhà phát triển thường xuyên gặp phải các lỗi như “không tìm thấy phần tử”, đặc biệt là với các phần tử được tải động hoặc phụ thuộc vào JavaScript. Điều này có thể gây khó chịu khi sử dụng các công cụ như SeleniumBase để tự động hóa các tương tác lặp đi lặp lại, vì các tín hiệu trực quan không có sẵn giống như trong phiên trình duyệt hiển thị. 😬

Một cách tiếp cận hiệu quả để giải quyết vấn đề này là tinh chỉnh tác nhân người dùng của trình duyệt và các yếu tố môi trường khác. Bằng cách mô phỏng người dùng thực tế bằng chuỗi tác nhân người dùng, có thể làm cho trình duyệt trông “giống con người” hơn. Ngoài ra, việc đặt kích thước khung nhìn ở chế độ không đầu để phù hợp với độ phân giải màn hình phổ biến, như 1920x1080, thường cải thiện khả năng phát hiện phần tử. Việc điều chỉnh các cài đặt này cho phép bạn mô phỏng màn hình hiển thị chính xác hơn, giúp hiển thị một số thành phần nhất định mà lẽ ra vẫn bị ẩn. Tôi nhận thấy những kỹ thuật này đặc biệt hữu ích khi tự động hóa các tác vụ trên ứng dụng web thực hiện thử nghiệm A/B hoặc hiển thị các giao diện khác nhau dựa trên kích thước màn hình.

Một kỹ thuật hữu ích khác là tích hợp các lần tạm dừng và thử lại trong tập lệnh để tính đến sự thay đổi khi tải. Sử dụng các lệnh như sb.sleep Và wait_for_element, cùng với việc thêm scrolling scripts để dần dần hiển thị các phần tử ngoài màn hình, có thể mang lại độ chính xác cao hơn trong quá trình tự động hóa. Ví dụ: cuộn xuống từ từ để hiển thị một phần tử ẩn và đợi nó xuất hiện để đảm bảo rằng tập lệnh không bị lỗi sớm. Bằng cách tăng cường các chiến lược phát hiện và mô phỏng hành động của con người, những chiến thuật này có thể cải thiện đáng kể hiệu suất của tự động hóa Selenium ở chế độ không có đầu, cho phép các nhà phát triển vượt qua các rào cản tự động hóa web một cách suôn sẻ! 🚀