Sťahovanie webu môže byť náročné, najmä pre dynamické webové stránky, ako sú tie, ktoré používajú JavaScript. Rôzne riešenia možno získať pomocou nástrojov ako Beautiful Soup pre statické HTML a Selenium pre dynamické stránky. Nájdenie koncových bodov API môže tiež uľahčiť extrakciu údajov. Operácie fungujú dobre, keď sú výkon a morálne metódy škrabania v rovnováhe.

Nájdenie spoľahlivých a efektívnych zdrojov je nevyhnutné pre každého, kto hľadá veľký súbor údajov videí podobných Instagramu na strojové učenie. Hoci verejné údaje možno extrahovať pomocou programov na zoškrabovanie, ako je BeautifulSoup, existujú s nimi etické problémy.

Tento článok popisuje ťažkosti s extrahovaním HTML z webových stránok, ktoré výrazne využívajú JavaScript pomocou JSoup. Na zachytenie konečného vykresleného kódu HTML sa skúmajú alternatívne techniky, ako napríklad Selenium a Puppeteer, pretože JSoup nedokáže spustiť JavaScript.