El raspat web pot ser difícil, especialment per a llocs web dinàmics com els que utilitzen JavaScript. Es poden obtenir diverses solucions utilitzant eines com Beautiful Soup per a HTML estàtic i Selenium per a pàgines dinàmiques. Trobar punts finals de l'API també pot facilitar l'extracció de dades. Les operacions funcionen bé quan el rendiment i els mètodes de raspat moral estan equilibrats.

Trobar fonts fiables i efectives és essencial per a qualsevol persona que busqui un conjunt de dades important de vídeos semblants a Instagram per a l'aprenentatge automàtic. Tot i que les dades públiques es poden extreure mitjançant programes de raspat com BeautifulSoup, hi ha problemes ètics.

En aquest article es tracten les dificultats d'extreure HTML de pàgines web que depenen significativament de JavaScript mitjançant JSoup. S'investiguen tècniques alternatives, com ara Selenium i Puppeteer, per capturar l'HTML renderitzat final perquè JSoup no pot executar JavaScript.