Cum să navigați pe site-uri web de paginare bazate pe JavaScript și să colectați link-uri

Înțelegerea paginii bazate pe JavaScript și a provocărilor API

Site-urile web cu paginare bazată pe JavaScript pot face dificilă navigarea vizitatorilor prin material, mai ales dacă controalele de paginare nu dezvăluie niciun parametru URL. Acest lucru face imposibilă modificarea sau automatizarea navigării în pagină folosind abordări convenționale, cum ar fi modificarea interogărilor URL. Este posibil să interacționați cu astfel de pagere prin diferite metode.

O astfel de problemă apare atunci când încercați să preluați link-uri sau date de pe aceste tipuri de site-uri web. Dacă nu puteți naviga manual în sute de pagini, o abordare mai bună este să simulați evenimentele de clic pe paginatorul JavaScript. Această tehnologie automatizează procedura de navigare, simplificând foarte mult sarcinile de colectare a datelor.

În anumite circumstanțe, fila „Rețea” din Instrumentele pentru dezvoltatori ale browserului poate afișa puncte finale API care oferă informații utile. Cu toate acestea, interacțiunea directă cu aceste puncte finale poate cauza ocazional probleme, deoarece este posibil să nu permită anumite metode HTTP, cum ar fi solicitările GET, care sunt utilizate în mod obișnuit pentru a prelua date.

Acest articol explică cum să simulați evenimentele de clic pe paginatorul JavaScript al unui site web și cum să faceți față limitărilor API care restricționează accesul direct la datele de care aveți nevoie. De asemenea, vom analiza modalități de a evita limitele anumitor metode API pentru a ne asigura că colectați toate informațiile importante în mod eficient.

Stăpânește paginarea bazată pe JavaScript și navigarea API

Primul script introdus folosește JavaScript pur pentru a explora dinamic o pagină cu paginare bazată pe JavaScript. Ideea de bază din spatele acestei metode este de a imita un utilizator care lovește butoanele pager prin alegerea și activarea evenimentelor de clic pe elementele HTML corespunzătoare. Prin identificarea containerului de paginare folosind document.querySelector() comandă, putem accesa diferitele butoane ale paginii și automatizam navigarea. Această abordare este ideală pentru cazurile în care modificarea manuală a adresei URL nu este o opțiune și aveți nevoie de o interfață rapidă, frontală, pentru a se angaja cu mecanismul de paginare.

În al doilea script, am folosit Puppeteer, un pachet Node.js pentru a controla un browser fără cap. Acest script nu numai că simulează apăsarea butonului de paginare, dar automatizează și întregul proces de călătorie pe numeroase pagini, adunând toate linkurile publicitare la fiecare iterație. Puppeteer vă permite să răzuiți conținut încărcat dinamic interacționând direct cu elementele DOM, la fel ca un utilizator real. Una dintre componentele majore aici este page.evaluate(), care permite ca codul JavaScript să fie executat în contextul paginii. Acest lucru este perfect pentru a culege date, cum ar fi link-uri publicitare pe pagini paginate.

Ambele scripturi necesită gestionarea erorilor pentru a se asigura că procesul automatizat funcționează bine chiar dacă anumite piese lipsesc sau API-ul se comportă neașteptat. De exemplu, console.error() înregistrează orice erori întâlnite în timpul execuției, cum ar fi atunci când un buton vizat nu este găsit pe pagină. În plus, la Marionetarul page.waitForSelector() comanda se asigură că componentele dinamice, cum ar fi linkurile de anunțuri, sunt încărcate complet înainte ca scriptul să încerce să interacționeze. Acest lucru îl face extrem de util atunci când lucrați cu site-uri web care se bazează în mod semnificativ pe JavaScript pentru a reda conținut, deoarece evită problemele cauzate de încărcările lipsă sau incomplete ale paginilor.

Scriptul final folosește Axios, un client HTTP Node.js bazat pe promisiuni, pe backend. Aici, încercăm să obținem date direct de la punctul final API, care, conform erorii HTTP 405, nu acceptă OBŢINE interogări. Pentru a evita acest lucru, scriptul trimite un POST cerere, care poate fi aprobată de server. Această metodă este mai potrivită pentru utilizatorii care doresc să extragă date fără a fi nevoiți să navigheze pe front-end, dar implică înțelegerea structurii și comportamentului API-ului serverului. Gestionarea erorilor garantează că orice eșec de solicitare API este raportată, facilitând depanarea dificultăților de recuperare a datelor de pe partea serverului.

// Select the pagination container
const pagerContainer = document.querySelector('.pagination');

// Function to trigger a click event on a pager button
function clickPageButton(pageNumber) {
  const buttons = pagerContainer.querySelectorAll('button');
  const targetButton = [...buttons].find(btn => btn.textContent === String(pageNumber));
  if (targetButton) {
    targetButton.click();
  } else {
    console.error('Page button not found!');
  }
}

// Example usage: clicking the 2nd page button
clickPageButton(2);

const puppeteer = require('puppeteer');

// Function to scrape all ad links from a paginated website
async function scrapeAds() {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  await page.goto('https://www.supralift.com/uk/itemsearch/results');

  let ads = [];
  let hasNextPage = true;

  while (hasNextPage) {
    // Scrape the ad links from the current page
    const links = await page.evaluate(() => {
      return Array.from(document.querySelectorAll('.ad-link-selector')).map(a => a.href);
    });
    ads.push(...links);

    // Try to click the next page button
    const nextButton = await page.$('.pagination-next');
    if (nextButton) {
      await nextButton.click();
      await page.waitForSelector('.ad-link-selector');
    } else {
      hasNextPage = false;
    }
  }

  await browser.close();
  return ads;
}

// Call the scraping function and log results
scrapeAds().then(ads => console.log(ads));

const axios = require('axios');

// Function to fetch data from the API using POST instead of GET
async function fetchData() {
  try {
    const response = await axios.post('https://www.supralift.com/api/search/item/summary', {
      headers: {
        'Content-Type': 'application/json'
      },
      data: { /* Add necessary POST body if applicable */ }
    });

    console.log(response.data);
  } catch (error) {
    console.error('Error fetching data:', error.response ? error.response.data : error.message);
  }
}

// Invoke the fetchData function
fetchData();

Optimizarea paginației JavaScript pentru web scraping și colectarea datelor

Când explorați site-uri web cu un sistem de paginare bazat pe JavaScript, este esențial să investigați mai multe metode pentru extragerea rapidă a datelor. O opțiune uneori ignorată este interceptarea cererilor de rețea emise de mecanismul de paginare. Examinând cu atenție interogările efectuate în Instrumentele pentru dezvoltatori ale browserului, în special fila „Rețea”, puteți determina punctele finale utilizate pentru a prelua date pentru fiecare pagină. Sistemele bazate pe JavaScript pot folosi AJAX sau aduce solicită încărcarea dinamică a datelor fără modificarea adresei URL, spre deosebire de paginarea tradițională care necesită modificarea parametrilor URL.

Pentru a extrage link-uri sau date de pe astfel de site-uri web, interceptați cererile și preluați datele pe care le returnează. Puppeteer și alte instrumente vă permit să monitorizați traficul din rețea și să adune date utile. Atunci când această strategie nu este practicabilă din cauza constrângerilor de pe partea serverului, înțelegerea comportamentului API devine critică. Unele API-uri, cum ar fi Supralift, poate interzice anumite metode precum OBŢINE și doar permiteți POST interogări. Adaptarea interogărilor pentru a se potrivi cu metoda propusă de API este o soluție eficientă pentru aceste limitări.

În cele din urmă, în timpul răzuirii datelor paginate, este esențial să se permită pauze adecvate între solicitări. Multe site-uri web utilizează algoritmi de limitare a ratei pentru a preveni abuzul, iar trimiterea prea multor solicitări în succesiune rapidă poate duce la trecerea temporară pe lista neagră a adresei dvs. IP. Pentru a evita detectarea și pentru a asigura extragerea cu succes a datelor, includeți o întârziere aleatorie între interogări sau limitați numărul de solicitări simultane. Folosind instrumente precum axios în Node.js și gestionarea adecvată a ratelor este o abordare minunată pentru a realiza acest lucru.