Hampir setiap rangkuman “scraper open-source terbaik” punya satu kekurangan yang jarang dibahas: tidak ada yang benar-benar menguji semua tools di halaman yang sama. Scrapy diuji pada artikel berita, Playwright pada demo e-commerce, Colly pada apa pun yang kebetulan ada di tangan penulis — lalu semuanya langsung dibandingkan, seolah-olah angka-angka itu memang bisa disetarakan. Padahal, ranking seperti itu lebih banyak bercerita soal halamannya, bukan tool-nya.
Jadi saya melakukan hal paling sederhana yang justru sering dilewatkan daftar-daftar itu. Saya menyiapkan satu set fixture yang sama dan mendorong kesembilan tools melewatinya: katalog statis, katalog yang dirender JavaScript, artikel yang tersembunyi di balik navigasi dan footer, HTTP 500 yang sengaja dibuat rusak, grafik crawl internal-link kecil, plus dua situs latihan publik. Ground truth sama, pengukuran sama, dan setiap run diperlakukan identik. Script dan output mentahnya tersedia di satu repo benchmark publik, jadi Anda bisa menjalankan ulang semuanya sendiri. Hasilnya bukan leaderboard rapi seperti yang sering dijanjikan rangkuman-rangkuman itu — tidak ada satu pemenang tunggal. Ada tiga jenis pekerjaan berbeda, dan kesembilan tools itu hampir otomatis terbagi ke dalamnya.
Coba Thunderbit untuk Ekstraksi Data Web
Cara benchmark ini bekerja, dan satu batasan yang saya sampaikan terus terang
Setiap tool diuji pada bentuk fixture yang sama: 12 produk statis yang tersebar di dua halaman, 8 produk yang dimasukkan lewat JavaScript setelah jeda, sebuah artikel yang dibungkus boilerplate navigasi/footer di sekitar tiga paragraf asli, error server 500 yang disengaja, dan sebuah graf tautan internal. Desain seperti inilah yang membuat hasilnya benar-benar bisa dibandingkan — “8/8 produk dinamis” berarti hal yang persis sama, apakah hasilnya dibuat oleh Puppeteer atau Crawlee.
Ada satu batas yang sering dilewati rangkuman lain. Setiap paket tool mencerminkan salinan fixture miliknya sendiri, jadi jumlah karakter absolut tidak benar-benar bisa dibandingkan lintas tool — anggap itu sebagai sinyal di dalam tool tersebut, bukan skor antar-tool. Angka yang benar-benar bisa dibandingkan adalah recall (anggap saja sebagai rate), berhasil/gagal pada JavaScript, dan perilaku struktural. Catatan ruang lingkup lain yang sejalan: run statis Crawl4AI hanya mencakup halaman satu, jadi 6/6 di sana berarti recall penuh pada irisan yang lebih sempit, sedangkan tool lain merayapi dua halaman untuk 12/12 — ruang lingkupnya lebih kecil, bukan miss sebagian. Alasan lengkapnya, fixture demi fixture, ada di penjelasan metodologi.
Satu catatan lagi sebelum masuk ke angka. Setiap paket juga membawa skor riset sementara, tetapi saya sengaja tidak menampilkannya sebagai tabel peringkat. Itu dipakai secara internal untuk mengecek tiap tool terhadap buktinya sendiri, bukan untuk dijadikan klasemen — mempublikasikannya sebagai ranking justru akan mengulang masalah ketepatan palsu yang ingin dihindari oleh seluruh eksperimen ini. Ini adalah sintesis dari hasil benchmark, bukan papan skor.
Seluruh medan, di satu meja uji
Baca dua kolom pada tabel ini — “Renders JS?” dan “Built-in crawl queue” — dan tiga jenis pekerjaan itu langsung terlihat.
| Tool | Language | Renders JS? | Static recall | Structured output | Built-in crawl queue | Setup weight | License |
|---|---|---|---|---|---|---|---|
| Crawl4AI | Python | Yes (browser) | 6/6 (page 1) | CSS schema | BFS/DFS built-in | Heavy (2 browser stacks) | Apache-2.0 |
| Firecrawl | Self-hosted | Yes (playwright-service) | Full Markdown | Yes | /v1/crawl | Heaviest (6 containers) | AGPL-3.0 |
| trafilatura | Python | No | 3/3 article | No (text only) | No | Light | Apache-2.0 |
| Crawlee | Node/TS | Engine-optional | 12/12 | Via extraction | Yes (RequestQueue) | Medium (+~80 MiB) | Apache-2.0 |
| Playwright | Node/multi | Yes | 12/12 | Manual | No (hand-written BFS) | Medium (browser) | Apache-2.0 |
| Puppeteer | Node | Yes (Chrome) | 12/12 | Manual | No (hand-written BFS) | Medium (Chrome) | Apache-2.0 |
| Scrapy | Python | No | 12/12 | Feed export (JSON/CSV/XML) | Yes (built-in) | Medium (Twisted deps) | BSD-3 |
| Colly | Go | No | 12/12 | Via callbacks | Depth control | Light (1 binary + Go) | Apache-2.0 |
| Scrapling | Python | No (HTTP fetcher) | 12/12 | Yes | No | Medium ([fetchers]) | BSD-3 |
Catatan untuk metadata di tabel itu dan di seluruh bagian bawah: jumlah bintang dan nomor versi diambil pada awal Juli 2026, dan keduanya berubah cepat. Perbarui lagi melalui GitHub dan halaman paket masing-masing proyek sebelum menganggapnya masih terbaru.
Indeks ulasan satu-tool
Setiap proyek dalam rangkuman ini punya ulasan mendalam yang terpisah:
- Ulasan Crawl4AI
- Ulasan Firecrawl
- Ulasan trafilatura
- Perbandingan Playwright vs Puppeteer
- Ulasan Crawlee
- Ulasan Scrapy
- Ulasan Colly
- Ulasan Scrapling
Ini cover mereka — plus dua screenshot asli dari pengujian rendering JavaScript, supaya klaim “8/8 dinamis” bukan sekadar angka di halaman.
Pekerjaan pertama: mengubah halaman menjadi teks siap pakai untuk LLM
Kalau yang Anda butuhkan adalah Markdown bersih untuk dipakai ke pipeline RAG, ada tiga tool yang saling bersaing — dan bentuknya sangat berbeda satu sama lain.
Crawl4AI pada dasarnya adalah generator Markdown berbasis browser, meski marketing-nya sering terdengar lebih besar dari itu. Perlu diluruskan juga soal cerita “adaptive intelligence self-learning selector” yang sering menempel padanya di hasil pencarian: fitur itu tidak ada — itu trik library lain yang berbeda sama sekali (nanti dibahas saat kita sampai ke Scrapling). Yang benar-benar dilakukan Crawl4AI, ia lakukan dengan baik. Di situs latihan Books to Scrape, ia menghasilkan 13.476 karakter Markdown, mendukung ekstraksi berbasis CSS schema untuk pengambilan terstruktur, dan deep crawl BFS bawaannya menelusuri 5 halaman pada fixture graf crawl sambil merender halaman JavaScript dan mengambil screenshot. Tapi ada dua kekurangan nyata. Markdown mentahnya membawa boilerplate halaman kecuali Anda mengaktifkan content filter, dan error 500 yang disengaja kembali sebagai success=false — bukan karena Crawl4AI menangkap HTTP error dengan bersih, melainkan karena heuristik kontennya sendiri melihat body error yang kecil lalu menandainya sebagai minimal_text ... blocked. Selain itu, setup-nya menaruh dua browser stack ke disk Anda. Versi 0.9.0, Apache-2.0, sekitar 71 ribu bintang pada awal Juli.
Firecrawl adalah yang paling berat di kelompok ini, dan self-hosting-nya benar-benar berhasil — saya bilang “benar-benar” karena stack enam container-nya (api, playwright-service, redis, rabbitmq, nuq-postgres, dan foundationdb) memang bangkit dan menghasilkan 9.222 karakter Markdown siap pakai LLM dari halaman Books to Scrape yang sama. Ia merender halaman JavaScript lewat playwright-service bawaannya, dan kutipan Einstein yang muncul setelah script terbaca di output, yang membuktikan render-nya memang benar terjadi. Dua masalah yang saya temui berasal dari lingkungan, bukan Firecrawl, dan saya jelaskan detailnya supaya tidak ada yang menyalin solusi yang keliru: build dari source sempat terganjal gangguan snapshotter containerd di bawah colima (saya lalu beralih ke image prebuilt), dan rentang DNS 198.18.x.x milik colima memicu pelindung SSRF Firecrawl, yang saya atasi dengan ALLOW_LOCAL_WEBHOOKS=true — workaround untuk pengembangan lokal, bukan sesuatu yang seharusnya dimatikan di deployment sungguhan. Core self-hosted-nya juga tidak memiliki Fire-engine, yaitu lapisan anti-block di cloud, dan saya tidak menguji API cloud-nya. Peringatan yang lebih besar ada pada lisensinya: core self-hosted Firecrawl adalah AGPL-3.0, dan itu benar-benar perlu ditinjau secara hukum sebelum dipakai komersial, bukan sekadar catatan kaki. Sekitar 148 ribu bintang pada awal Juli.
trafilatura adalah pendatang yang paling berlawanan arah dalam grup ini, dan justru itulah yang sering dilupakan daftar-daftar yang terlalu sibuk membahas AI. Tanpa browser. Tanpa baris terstruktur. Hanya teks artikel yang cepat dan bersih dalam Python murni. Pada fixture artikel, ia mengambil judul plus seluruh 3 dari 3 paragraf asli, membersihkan boilerplate sepenuhnya — tidak ada “Login,” “Subscribe,” atau “Copyright” yang ikut lolos — dan di atas itu juga berhasil menangkap author serta tanggal. Pada halaman produk publik, ia mengembalikan 1.324 karakter teks bersih. Batasannya persis seperti yang disiratkan desainnya: arahkan ke katalog, dan ia akan mengembalikan 12 nama produk sebagai teks tetapi 0 baris terstruktur — teksnya ada, strukturnya tidak, dan JavaScript tidak dirender sama sekali. Versi 2.1.0 (rilis saat ini), Apache-2.0, sekitar 6,2 ribu bintang. Untuk ekstraksi artikel murni, inilah tool pertama yang akan saya pilih.
Dua angka karakter Markdown itu — 13.476 dari Crawl4AI, 9.222 dari Firecrawl — berasal dari halaman publik yang sama, tetapi jangan dibaca sebagai jarak kualitas. Itu mencerminkan strategi Markdown yang berbeda (seberapa banyak chrome halaman yang dipertahankan masing-masing), bukan penilaian mana output yang “lebih baik”. Itulah aturan sinyal di dalam tool yang disebut tadi, terlihat langsung di depan mata.
Pekerjaan kedua: merender JavaScript dengan andal
Sebagian data memang belum ada di HTML sebelum script dijalankan, dan di titik itulah browser sungguhan jadi tidak bisa dihindari. Ada tiga tool untuk pekerjaan ini — dan dua di antaranya ternyata nyaris sama saja.
Playwright dan Puppeteer seri di semua pengujian yang saya lemparkan. Keduanya merender 8/8 produk dinamis pada fixture lokal dan 10 pada Quotes JS site publik, keduanya mencapai recall statis 12/12, dan keduanya menangani error 500 dengan rapi (Puppeteer mengembalikan objek response alih-alih melempar error). Keduanya tidak menyertakan crawl queue, jadi saya harus menulis BFS sendiri untuk menelusuri graf tautan 12 halaman. Satu-satunya perbedaan nyata adalah jangkauannya: Playwright mendukung Chromium, Firefox, dan WebKit serta berbicara dalam Python dan .NET, sedangkan Puppeteer berpusat pada Chrome dan hanya Node. Dua catatan penting karena versinya cepat berubah: saya menguji Playwright 1.56.0 dibandingkan 1.61.1 yang lebih baru dan hanya memakai Chromium, serta Puppeteer 24.16.0 dibandingkan 25.3.0 yang lebih baru — jadi hasilnya perlu diuji ulang atau dibaca dengan diskon seperlunya. Keduanya Apache-2.0; masing-masing sekitar 92 ribu dan 95 ribu bintang.
Crawlee adalah yang menyelesaikan problem queue yang ditinggalkan dua tool tadi. Ia membungkus engine Cheerio (HTTP) dan engine Playwright (browser) lewat satu API, dan kontras pada satu halaman itu sendiri sudah mewakili seluruh daya tariknya: engine Cheerio melihat 0 item yang dimasukkan oleh JavaScript, sementara engine Playwright melihat 8/8 penuh secara lokal (dan 10 pada situs publik), dan berpindah di antara keduanya hanya butuh perubahan satu baris. Ia juga memberi Anda RequestQueue sungguhan, itulah alasan ia masuk ke kategori pekerjaan ini, bukan pekerjaan ketiga. Satu detail yang sering tidak ditulis di headline: engine browser-nya memerlukan npx playwright install terpisah, sekitar 80 MiB yang tidak ikut diunduh oleh npm install crawlee. Versi 3.17.0, TypeScript, Apache-2.0, sekitar 24,6 ribu bintang.
Pekerjaan ketiga: crawl cepat tanpa browser
Kalau tidak ada JavaScript di halaman, browser itu mahal dan berlebihan. Tiga tool HTTP-first bersaing di sini, masing-masing mewakili filosofi bahasa yang berbeda, dan hasilnya cukup menarik.
Scrapy adalah framework paling matang di kelompok ini — spider, feed export ke JSON/CSV/XML, AutoThrottle, semuanya ada. Ia mencapai recall statis 12/12, mengambil 3/3 paragraf artikel, menelusuri 11 halaman pada kedalaman 0–2 di graf crawl, dan menangkap error 500 lewat handle_httpstatus_list. Yang paling menarik justru cara pandangnya: ia tidak merender, melainkan mereproduksi request. Saat diarahkan ke halaman JavaScript, ia mendapat 0 node — lalu JSON API di balik halaman yang sama memberinya 8/8. Itulah filosofi Scrapy dalam satu titik data: cari request yang dipakai halaman itu lalu replay, jangan mengemudikan browser. Konsekuensinya adalah stack dependensi yang cukup besar (Twisted, lxml, parsel), dan saya hanya mengujinya pada fixture kecil. Versi 2.17.0, BSD-3-Clause, sekitar 63 ribu bintang.
Colly adalah jawaban dari dunia Go, dan sangat apa adanya soal identitasnya: satu binary statis, berbasis callback lewat OnHTML, OnResponse, dan OnError, dengan kontrol kedalaman. Ia menuntaskan recall statis 12/12, mengambil 8/8 dari JSON API lewat OnResponse, menangkap 500 lewat OnError, dan mencapai 17 halaman pada crawl kedalaman 2 — dan saya sengaja mengatakannya persis begitu, karena jumlah halaman itu adalah hitungan harness sendiri, bukan jaminan kelengkapan yang diklaim Colly. Yang tidak ia lakukan adalah JavaScript: fixture dinamis dan Quotes JS site sama-sama kembali 0, memang sesuai desain. Anda perlu Go toolchain untuk membangunnya, dan versi modulnya (v2.3.0) saat ini lebih maju daripada release tag (v2.2.0). Apache-2.0, sekitar 25 ribu bintang.
Scrapling adalah spesialisnya, dan label itu memang pantas. Adaptive selector-nya dibuat untuk menemukan ulang elemen ketika markup bergeser — jadi saat saya mengganti class HTML target dari product-name menjadi product-title, selector biasa hanya cocok 0, sementara adaptive re-match tetap berhasil menemukan elemen yang dilacak. Untuk ekstraksi HTTP biasa, ia mencapai 12/12 statis dan 8/8 pada JSON API. Namun ada satu batas yang tidak disembunyikan dokumentasinya: pada tes sintetis multi-elemen, ia memulihkan 1 dari 3 — ini adalah pelacakan elemen yang tahan terhadap perubahan, bukan pemulihan total, jadi jangan dilebih-lebihkan di kepala Anda. Instalasi dasar pip install scrapling juga memerlukan extra [fetchers] agar bisa berjalan, dan StealthyFetcher-nya adalah catatan kepatuhan, bukan fitur yang ingin saya pamerkan di slide. Versi 0.4.10 (rilis saat ini), BSD-3-Clause, sekitar 68,7 ribu bintang.
Pola di balik tiga pekerjaan itu
Kalau kesembilan tool itu disejajarkan, pola yang bersih langsung muncul. Recall statis penuh — angka datar 12/12 — adalah syarat minimum untuk semua tool HTTP-first; tidak ada satu pun yang gagal di kasus mudah, jadi itu bukan pembeda. Tool browser hanya layak membawa beban ekstra mereka ketika JavaScript benar-benar terlibat, dan semuanya membayar mahal dalam setup: stack browser, instalasi tambahan, atau seluruh armada container. Dan kolom “built-in crawl queue” sebenarnya adalah garis pemisah antara framework dan engine — Scrapy dan Crawlee membawa orkestrasi, sedangkan Playwright dan Puppeteer membuat Anda menulis BFS sendiri. Begitulah bentuk medan ini. Tidak ada yang menang secara keseluruhan karena memang tidak ada yang bermain di game yang sama.
Jadi, sebaiknya pilih yang mana?
Benchmark ini menolak menobatkan satu pemenang karena jawaban yang tepat bukan tool, melainkan pertanyaan — dari tiga pekerjaan tadi, Anda sedang mengerjakan yang mana?
- Butuh Markdown siap pakai untuk LLM? Pilih trafilatura kalau yang Anda cari adalah teks artikel yang bersih; pilih Crawl4AI kalau Anda juga ingin ekstraksi CSS dan rendering JavaScript dalam satu library; pilih Firecrawl kalau Anda memang butuh service self-hosted dan siap menghadapi lisensi AGPL-3.0 serta bobot enam container.
- Butuh JavaScript yang benar-benar dirender? Pilih Playwright atau Puppeteer untuk rendering mentah — tentukan berdasarkan engine dan bahasa, karena selain itu mereka nyaris seri — dan pilih Crawlee kalau Anda juga ingin orkestrasi crawl disiapkan untuk Anda, bukan ditulis manual.
- Perlu crawl halaman statis atau API yang bisa direproduksi dalam skala besar? Scrapy untuk framework Python penuh, Colly untuk kecepatan Go mentah dalam satu binary, dan Scrapling kalau masalah utama Anda adalah bertahan dari perubahan markup yang terus bergeser.
Cocokkan tool dengan pekerjaannya, dan semuanya bisa jadi pilihan yang masuk akal. Ambil dari kategori yang salah — tool browser untuk halaman statis, atau parser HTTP untuk aplikasi JavaScript — dan library dengan rating terbaik sekalipun tetap akan mengecewakan Anda.
Di mana peran API AI yang dikelola
Semua tool di atas gratis, open-source, dan bisa Anda jalankan sendiri. Tapi itulah trade-off yang juga terus terlihat dari benchmark ini: Anda yang memegang environment browser, kode crawl, perlombaan anti-bot, dan semua pekerjaan pemeliharaan. Bagi banyak tim, kontrol seperti itulah inti keuntungannya, dan peta lisensi jadi penting saat Anda mengambil jalur itu — sebagian besar medan ini permisif (Apache-2.0 untuk Crawl4AI, Crawlee, Playwright, Puppeteer, dan Colly; BSD-3 untuk Scrapy dan Scrapling), dengan core self-hosted Firecrawl yang berlisensi AGPL-3.0 sebagai satu-satunya yang perlu ditinjau serius sebelum dipakai komersial.
Tapi perhatikan juga apa yang dipetakan benchmark ini: apa yang tidak dilakukan tools tersebut. Render, crawl, strukturkan, dan berputar saat kena blok — jarang semuanya sekaligus, dan tidak pernah tanpa perawatan Anda. API scraping AI yang dikelola merangkum semua tumpukan itu menjadi satu panggilan. Surface developer kami sendiri di Thunderbit adalah salah satu opsinya, dan untuk audiens teknis yang penting adalah API, server MCP, dan CLI — bukan ekstensi browsernya. POST /distill mengembalikan Markdown bersih dan POST /extract mengembalikan JSON berbasis skema, dengan rendering JavaScript dan anti-bot ditangani di sisi server, bukan di mesin Anda. Ada server MCP resmi untuk agen dan coding assistant — thunderbit_suggest_fields berjalan gratis untuk merencanakan ekstraksi, lalu thunderbit_distill (1 credit) dan thunderbit_extract (20 credits) mengerjakan sisanya — serta CLI yang bisa dipasang lewat npx @thunderbit/thunderbit-cli untuk terminal dan cron job. Untuk rekan tim yang bukan developer, ada juga ekstensi Chrome tanpa kode, dan halaman harga mencakup keduanya.
Trade-off-nya sama seperti yang berputar sepanjang benchmark ini: jalankan dan rawat sampai sembilan library sendiri dengan biaya per-panggilan nol, atau serahkan plumbing-nya dan bayar per request. Tidak ada pilihan yang salah. Semuanya kembali ke seberapa besar bagian stack yang benar-benar ingin Anda miliki. Kalau Anda lebih suka melihat bagaimana bentuk ekstraksinya dalam praktik, saluran YouTube Thunderbit menjelaskannya langkah demi langkah.
{{INTERNAL_BLOG_LINKS}}
Kesimpulan
Tidak ada scraper open-source terbaik yang tunggal, dan daftar mana pun yang dengan percaya diri menyerahkan satu jawaban sebenarnya sedang menyembunyikan pertanyaan yang benar-benar menentukan: dari tiga pekerjaan tadi, Anda sedang mengerjakan yang mana? Ubah halaman menjadi teks, render JavaScript, atau crawl cepat tanpa browser — medan ini terbagi rapi ke dalam tiga kotak itu, dan di dalam masing-masing kotak, pilihannya kembali ke bahasa dan bobot setup, bukan ke satu juara universal.
Kalau Anda hanya membawa satu kebiasaan dari semua ini, bawa ini: uji di halaman Anda sendiri sebelum berkomitmen. Semua angka di sini bisa direproduksi di repo benchmark tepat karena alasan itu — karena tool yang menang di rangkuman umum dan tool yang benar-benar bertahan di target nyata Anda belum tentu sama.
Coba Thunderbit untuk Ekstraksi Data Web Get Started Free
FAQ
Apa web scraper open-source terbaik? Tidak ada satu jawaban tunggal — semuanya tergantung pekerjaan. Untuk teks siap LLM, trafilatura atau Crawl4AI; untuk rendering JavaScript, Playwright, Puppeteer, atau Crawlee; untuk crawl HTTP yang cepat, Scrapy atau Colly. Pada meja uji yang sama, tiap tool paling kuat di kategorinya sendiri dan jauh lebih lemah di luar itu, jadi ranking serba-ada sering menyesatkan.
Open-source scraper mana yang bisa merender JavaScript? Crawl4AI, Firecrawl, Playwright, Puppeteer, dan engine Playwright milik Crawlee semuanya bisa merender JavaScript. Scrapy, Colly, trafilatura, dan HTTP fetcher default milik Scrapling tidak — mereka perlu API yang bisa direproduksi di balik halaman (pendekatan Scrapy, yang mendapat 8/8 dari endpoint JSON) atau mode browser terpisah.
Apakah saya perlu headless browser untuk scrape sebuah situs? Hanya jika datanya muncul setelah JavaScript berjalan. Kalau request HTTP biasa plus parser sudah bisa menjangkau kontennya, browser itu mahal dan berlebihan — Scrapy, Colly, atau Scrapling jauh lebih ringan dan cepat untuk kasus seperti itu.
Mana yang lisensinya paling ramah untuk penggunaan komersial? Sebagian besar permisif: Apache-2.0 (Crawl4AI, Crawlee, Playwright, Puppeteer, Colly) atau BSD-3-Clause (Scrapy, Scrapling). Pengecualiannya adalah core self-hosted Firecrawl, yang memakai AGPL-3.0 dan layak ditinjau lisensinya secara serius sebelum Anda membangun produk komersial di atasnya.
Apakah angka benchmark ini bisa direproduksi? Ya. Semua runner, fixture, dan hasil mentah ada di repo publik berlisensi MIT. Satu hal yang perlu diingat: recall dan hasil struktural bisa dibandingkan lintas tool, tetapi jumlah karakter absolut hanya menjadi sinyal di dalam tool masing-masing, karena setiap paket mencerminkan fixture-nya sendiri, bukan berbagi satu salinan kanonik — jadi bandingkan rate dan lolos/gagal, bukan total karakter mentah.
