Webscrapen kan moeilijk zijn, vooral voor dynamische websites zoals websites die JavaScript gebruiken. Er zijn verschillende oplossingen mogelijk door tools te gebruiken zoals Beautiful Soup voor statische HTML en Selenium voor dynamische pagina's. Het vinden van API-eindpunten kan het extraheren van gegevens ook eenvoudiger maken. Operaties verlopen goed als prestaties en morele schrappingsmethoden in evenwicht zijn.

Het vinden van betrouwbare en effectieve bronnen is essentieel voor iedereen die op zoek is naar een aanzienlijke dataset van Instagram-achtige video's voor machine learning. Hoewel openbare gegevens kunnen worden geëxtraheerd met behulp van scrapingprogramma's zoals BeautifulSoup, kleven er ethische problemen aan.

De moeilijkheden bij het extraheren van HTML uit webpagina's die in aanzienlijke mate afhankelijk zijn van JavaScript met behulp van JSoup worden in dit artikel behandeld. Alternatieve technieken, zoals Selenium en Puppeteer, worden onderzocht om de uiteindelijk weergegeven HTML vast te leggen, omdat JSoup geen JavaScript kan uitvoeren.