Pengikisan web bisa jadi sulit, terutama untuk situs web dinamis seperti yang menggunakan JavaScript. Berbagai solusi dapat diperoleh dengan menggunakan alat seperti Beautiful Soup untuk HTML statis dan Selenium untuk halaman dinamis. Menemukan titik akhir API juga dapat mempermudah ekstraksi data. Operasi berjalan dengan baik bila kinerja dan metode pengikisan moral seimbang.

Menemukan sumber yang andal dan efektif sangat penting bagi siapa pun yang mencari kumpulan data video mirip Instagram yang cukup besar untuk pembelajaran mesin. Meskipun data publik dapat diambil menggunakan program pengikisan seperti BeautifulSoup, terdapat masalah etika pada data tersebut.

Kesulitan mengekstraksi HTML dari halaman web yang sangat bergantung pada JavaScript menggunakan JSoup dibahas dalam artikel ini. Teknik alternatif, seperti Selenium dan Puppeteer, diselidiki untuk menangkap HTML akhir yang dirender karena JSoup tidak dapat menjalankan JavaScript.