Web scraping může být obtížné, zejména pro dynamické weby, jako jsou ty, které používají JavaScript. Různá řešení lze získat pomocí nástrojů, jako je Beautiful Soup pro statické HTML a Selenium pro dynamické stránky. Nalezení koncových bodů API může také usnadnit extrakci dat. Operace běží dobře, když jsou výkonové a morální metody stírání vyvážené.

Nalezení spolehlivých a efektivních zdrojů je zásadní pro každého, kdo hledá velkou datovou sadu videí podobných Instagramu pro strojové učení. Přestože lze veřejná data extrahovat pomocí škrabacích programů, jako je BeautifulSoup, existují s nimi etické problémy.

Tento článek popisuje potíže s extrahováním HTML z webových stránek, které výrazně spoléhají na JavaScript pomocí JSoup. Alternativní techniky, jako je Selenium a Puppeteer, jsou zkoumány k zachycení finálního vykresleného HTML, protože JSoup nedokáže spouštět JavaScript.