Setiap founder yang saya kenal, pada satu titik, pernah beli daftar berisi sepuluh ribu kontak yang katanya “terverifikasi” lalu lihat tingkat balasannya nyaris nol. Saya juga pernah melakukan hal yang sama di awal karier, dan dari situ saya cepat dapat pelajaran penting: tumpukan email bukanlah pipeline. Yang benar-benar mendorong deal maju adalah tahu perusahaan mana yang layak diajak ngobrol dan kenapa — dan itu jelas masalah yang beda jauh dibanding sekadar ngumpulin nama dari internet.
Web scraping sering dipromosikan sebagai jalan pintas untuk “dapat 10.000 lead sebelum Jumat,” tetapi alat yang benar-benar berguna di 2026 justru dirancang untuk hal yang lebih bernilai: menemukan akun nyata, dengan bukti nyata, tepat saat mereka menunjukkan sinyal beli. Saya sudah banyak menghabiskan waktu di Thunderbit memikirkan bagaimana orang melakukan scraping data untuk sales, dan tim yang hasilnya paling bagus bukan yang ngambil baris data paling banyak — melainkan yang ngambil baris yang tepat, lengkap dengan konteks.
Apa Sebenarnya Arti Menemukan Lead B2B dengan Web Scraping?
Kebanyakan orang dengar kata “scrape leads” lalu langsung kebayang alat yang menyedot halaman direktori dan keluar CSV berisi nama, jabatan, dan email. Itu bukan generasi lead — itu pengumpulan kontak, dan itu sebabnya banyak tim sales akhirnya pegang daftar yang banyak gagal terkirim dan konversinya malah makin buruk.
Sebuah record lead yang benar butuh lebih dari sekadar nama. Ia perlu identitas akun (nama perusahaan dan domain kanonik), bukti bahwa perusahaan itu memang cocok dengan ideal customer profile Anda, sinyal bertimestamp yang menjelaskan kenapa sekarang waktu yang pas untuk menghubungi, jalur kontak yang diperbolehkan, catatan asal data, dan status yang bisa ditinjau nanti. Kedengarannya panjang, tapi intinya simpel: mulai dari sumber publik yang diizinkan, konfirmasi identitas perusahaan, kumpulkan bukti kecocokan, catat pemicu peristiwanya, cari jalur kontak minimal yang tersedia, validasi, deduplikasi, lalu kirim ke CRM Anda. Lewat satu langkah saja, hasilnya bakal jadi hal yang dibenci semua orang: spreadsheet penuh orang asing.
Mengapa Ini Semakin Penting Sekarang
AI bikin scraping jadi sangat mudah buat dimulai, dan juga sangat gampang dilakukan dengan buruk dalam skala besar. Beberapa tahun lalu, bikin scraper berarti harus nyewa developer atau bergulat dengan XPath selector sepanjang akhir pekan. Sekarang siapa pun bisa arahkan AI scraper ke sebuah halaman dan dapat data terstruktur dalam hitungan menit. Itu bagus buat produktivitas, tetapi juga berarti lebih banyak tim sales memasukkan data yang belum lolos kualifikasi dan belum diverifikasi ke CRM mereka lebih cepat dari sebelumnya, dan beresin kacauannya nanti jauh lebih mahal waktunya dibanding dari awal melakukan dengan benar.
Di saat yang sama, aturan regulasi tidak ikut berubah cuma karena alatnya makin pintar. Information Commissioner's Office di Inggris sudah menjelaskan dengan tegas bahwa data kontak bisnis yang tersedia publik masih bisa tunduk pada UK GDPR, dan keberatan untuk direct marketing tetap harus dihormati bahkan dalam konteks B2B. Di AS, panduan CAN-SPAM dari FTC juga tidak memberi pengecualian untuk email B2B — setiap pesan komersial tetap harus punya header yang akurat, opsi opt-out yang berfungsi, dan permintaan unsubscribe yang dipenuhi dalam waktu 10 hari kerja. Ini bukan trivia hukum yang aneh-aneh; ini standar dasar tempat Anda beroperasi, suka tidak suka.
Sebelum Mulai: Pahami Aturannya (dan Syarat Layanannya)
Saya akan jujur: tidak semua situs boleh dijadikan target, sebaik apa pun scraper Anda. Ketentuan Google Maps secara eksplisit melarang mengekspor atau melakukan bulk-scraping atas konten Maps. User Agreement LinkedIn secara langsung melarang scraping dan otomasi yang tidak sah. Ketentuan Clutch yang sekarang juga melarang scraping manual maupun otomatis. Ini bukan klausul tersembunyi — justru hal pertama yang harus Anda cek sebelum mengarahkan alat apa pun ke sebuah situs, dan saya sudah menulis lebih jauh soal ini khusus untuk scraping LinkedIn karena topik itu terus muncul.
robots.txt memang perlu dipahami, tetapi jangan dianggap sebagai lampu hijau secara hukum. Menurut spesifikasi IETF sendiri, itu adalah instruksi crawling, bukan sistem izin atau mekanisme kontrol akses. Sebuah situs bisa saja mengizinkan crawling di robots.txt tapi tetap melarang scraping di terms of service — dan dalam sengketa, terms biasanya yang menang. Aturan praktis saya: kalau sebuah situs mewajibkan login untuk melihat data, memasang CAPTCHA di depan, atau secara eksplisit bilang “no scraping” di mana pun dalam ketentuannya, itu sumber yang harus dilewati, bukan teka-teki yang harus dipecahkan.
Sumber publik yang cenderung lebih aman dan lebih berguna untuk riset B2B antara lain website perusahaan, filing pemerintah, direktori peserta pameran dan partner yang memang mengizinkan, halaman karier, dan newsroom. API EDGAR milik SEC, misalnya, menyediakan filing JSON publik gratis dan data XBRL tanpa perlu API key sama sekali — cukup pastikan permintaan otomatis Anda tidak melebihi 10 per detik sesuai panduan rate limit SEC.
Pipeline Lengkap: Dari Scrape Mentah ke Lead Siap Masuk CRM
Berikut alur yang benar-benar saya rekomendasikan, dan ini lebih mirip proses riset mini dengan scraper sebagai pusatnya daripada sekadar “scraping”.
Pertama, pilih sumber publik yang diizinkan dan ambil hanya field tingkat organisasi: nama perusahaan, domain, URL sumber, kategori, lokasi, dan sinyal yang bikin Anda meninjaunya sejak awal (lowongan kerja, siaran pers, daftar event). Kedua, untuk akun yang kelihatan menjanjikan, buka website asli mereka dan konfirmasi apa yang mereka lakukan, di mana lokasi mereka, dan jalur kontak publik apa yang tersedia. Ketiga, validasi dan enrich hanya akun yang sudah lolos kualifikasi Anda — jangan buang kredit enrichment ke perusahaan yang belum Anda verifikasi. Keempat, dedupe terhadap data CRM yang sudah ada sebelum apa pun diimpor. Kelima, kirim dengan field status supaya tim sales tahu mana yang sudah ditinjau dan mana yang masih perlu dicek.
Bagian terakhir ini lebih penting daripada yang banyak orang kira. Saya sarankan memberi tag pada setiap record seperti candidate_account, qualified_account, contact_ready, needs_review, atau rejected. Kedengarannya berlebihan sampai tim SDR Anda nanya, “tunggu, apakah ada yang benar-benar memeriksa apakah perusahaan ini cocok dengan ICP kita?” dan Anda punya jawaban, bukan cuma anggukan bingung.
Di Mana Menemukan Akun B2B dengan Sinyal Kuat
Sinyal terbaik sebenarnya tidak tersembunyi — cuma tersebar di banyak sumber yang jarang diperiksa tim secara sistematis. Halaman karier perusahaan memberi tahu siapa yang sedang rekrut untuk posisi apa, dan itu proksi yang lumayan oke untuk area investasi mereka. Newsroom dan halaman press memberi tahu Anda soal pendanaan, ekspansi, dan peluncuran produk. Halaman partner dan exhibitor (kalau scraping diizinkan) menunjukkan siapa yang aktif di ekosistem tertentu. Filing publik, terutama untuk perusahaan besar, membuka kesehatan finansial dan prioritas strategis dengan cara yang tidak akan pernah bisa disaingi posting LinkedIn.
Tidak satu pun sinyal ini sendirian bisa membuktikan niat beli — lowongan untuk “VP of Sales” bukan berarti perusahaan siap beli produk Anda besok. Tapi kalau digabungkan, lalu dicocokkan dengan kriteria ICP Anda sendiri, hasilnya jauh lebih bagus dibanding daftar statis yang dibeli dari marketplace lead enam bulan lalu dan sudah 20% basi.
Mengapa Scraping Berbasis AI Mengubah Permainannya
Di sinilah perbedaannya benar-benar terasa dibanding scraping yang saya ingat lima atau enam tahun lalu. Scraping model lama berarti bikin selector untuk setiap layout halaman, dan begitu situs mendesain ulang HTML-nya, scraper Anda rusak. Alat scraping berbasis AI membaca halaman lebih mirip manusia — mereka paham konteks seperti “ini nama perusahaan, ini lokasi, ini jabatan,” bukan bergantung pada CSS path yang rapuh.
Perubahan itu sebabnya alat seperti Thunderbit bisa melihat halaman daftar dan, lewat AI Suggest Fields, mengusulkan kolom yang tepat secara otomatis alih-alih memaksa Anda memetakan setiap field secara manual. Anda juga bisa langsung ngetik kebutuhan Anda dalam bahasa sehari-hari — misalnya, “ambil nama perusahaan, website, industri, dan lokasi” — lalu AI akan cari cara mengekstraknya. Saya pernah ngobrol dengan tim yang dulu butuh setengah hari per situs buat menyusun konfigurasi scraper; sekarang cukup beberapa klik dan satu kali cek. Itu bukan karena aturan kepatuhan dasarnya berubah — tidak — melainkan karena hambatan teknis untuk mengerjakannya dengan benar turun drastis. Kalau mau lihat lebih jauh bagaimana perubahan ini bekerja di lanskap AI scraping yang lebih luas, saya sarankan baca penjelasan kami tentang AI web scraping dan perbandingannya dengan pendekatan lama berbasis aturan.
Masalah Subpage (Kenapa Halaman Daftar Saja Belum Cukup)
Ini salah satu hal yang menjebak hampir semua orang di awal: halaman daftar hampir tidak pernah cerita semuanya. Sebuah halaman direktori mungkin kasih Anda nama perusahaan dan tautan, tapi bukti yang benar-benar Anda butuhkan — apa yang perusahaan lakukan, di mana kantor pusatnya, industri apa yang mereka layani — biasanya ada satu klik lebih dalam, di halaman detail perusahaan sendiri atau website mereka.
Saya sering lihat tim mengekstrak ratusan baris dari direktori, lalu sadar bahwa separuh “lead” mereka justru kehilangan satu field yang paling penting buat kualifikasi. Ini alasan subpage scraping ada sebagai kategori fitur, bukan sekadar nice-to-have. Scraper yang bagus harus bisa mengunjungi halaman daftar, mengambil tautan ke halaman detail tiap perusahaan, lalu otomatis mengikuti tautan itu dan menarik field yang lebih dalam sebelum menggabungkan semuanya jadi satu baris rapi. Lewatkan langkah ini, dan Anda sedang menilai lead cuma berdasarkan nama perusahaan dan tebakan.
Langkah demi Langkah: Menemukan Lead B2B dengan Thunderbit
Saya akan jelaskan seperti cara saya benar-benar melakukannya sendiri, duduk dengan sebuah direktori target dan secangkir kopi.
Langkah 1: Install Thunderbit dan Buka Direktori Target Anda
Unduh Thunderbit Chrome Extension dan buka sumber publik yang diizinkan — daftar exhibitor, direktori industri, papan karier, apa pun yang cocok dengan ICP Anda. Pastikan syarat situs mengizinkan penggunaan seperti ini sebelum lanjut lebih jauh; langkah ini cuma butuh dua menit dan bisa menyelamatkan Anda dari masalah nanti.
Langkah 2: Klik "AI Suggest Fields"
Alih-alih klik manual satu per satu untuk menentukan kolom, biarkan AI membaca struktur halaman dan mengusulkan field seperti nama perusahaan, website, lokasi, dan kategori. Anda bisa edit atau tambah field sendiri dengan bahasa biasa — misalnya “ekstrak industri yang dilayani perusahaan ini” sudah cukup sebagai instruksi field.
Langkah 3: Jalankan Scrape
Mulai proses ekstraksi dan biarkan berjalan di halaman daftar tersebut (serta pagination kalau direktori terdiri dari beberapa halaman). Ini adalah pull “mentah” — cuma identifier tingkat perusahaan, belum ada yang Anda anggap sebagai kontak pribadi.
Langkah 4: Enrich dengan Subpage Scraping
Untuk baris yang terlihat menjanjikan, gunakan subpage scraping untuk mengikuti tautan tiap perusahaan ke situs atau halaman detail mereka sendiri, lalu tarik field yang lebih dalam seperti apa yang mereka lakukan, lokasi basis mereka, dan jalur kontak publik apa pun yang tercantum. Inilah langkah yang mengubah baris direktori polos jadi record akun yang benar-benar lolos kualifikasi.
Langkah 5: Validasi dan Bersihkan
Sebelum apa pun menyentuh CRM Anda, cek sampel secara manual. Pastikan domain bisa diakses, pastikan alasan kualifikasinya memang benar, dan tandai apa pun yang ambigu sebagai needs_review alih-alih menebak. Di sini Anda juga bisa menjalankan validasi email lewat layanan seperti Hunter kalau Anda sudah menemukan jalur kontak publik yang sah — cuma ingat, alamat email yang “valid” bukan berarti ada persetujuan buat dipasarkan ke orang itu.
Langkah 6: Ekspor dan Kirim ke CRM
Thunderbit mengekspor gratis ke format seperti CSV, Excel, Google Sheets, Airtable, dan Notion. Sebelum impor ke HubSpot atau Salesforce, samakan domain perusahaan sebagai primary key Anda — panduan impor HubSpot sendiri merekomendasikan domain untuk perusahaan dan email untuk kontak, dan duplicate rules Salesforce bisa diam-diam memblokir atau menandai impor Anda kalau langkah ini dilewatkan. Coba batch kecil 20-30 baris sebelum impor penuh sudah lebih dari sekali menyelamatkan saya dari proses pembersihan yang berantakan.
Tips & Kesalahan Umum
Beberapa hal yang bakal saya bilang ke siapa pun yang baru mulai proses ini hari ini. Jangan anggap jabatan kerja atau role hasil scrape sebagai bukti niat beli — itu petunjuk, bukan lampu hijau. Jangan berasumsi field yang diekstrak AI pasti benar; cek sampel dulu sebelum Anda memperbesar workflow apa pun. Simpan kontak bernama dan email langsung dalam bagian dataset yang terpisah dan pengaturannya lebih ketat dibanding riset tingkat perusahaan, karena B2B tidak otomatis membebaskan data pribadi dari aturan privasi. Dan jangan biarkan “secara teknis alat ini bisa” berubah jadi kebijakan kepatuhan Anda — periksa terms sumbernya setiap kali, bukan cuma pertama kali.
Web Scraping vs. Membeli Database Lead
Keduanya punya tempat masing-masing, dan berpura-pura salah satunya selalu lebih baik itu agak tidak jujur.
| Faktor | Web Scraping (Sumber yang Diizinkan) | Membeli Database Lead |
|---|---|---|
| Kebaruan data | Seaktual scrape terakhir Anda | Sering basi dalam hitungan minggu |
| Kualitas sinyal | Tinggi — Anda mengontrol pemicu dan konteks | Rendah — biasanya hanya data firmografis statis |
| Luas cakupan | Lebih sempit, tergantung sumber | Lebih luas, lebih terstandar |
| Model biaya | Utamanya waktu Anda + langganan alat | Biaya per record atau per seat secara berkelanjutan |
| Risiko kepatuhan | Masih bisa dikelola kalau sumber dan field dipilih dengan hati-hati | Sangat bergantung pada praktik sourcing penyedia |
| Paling cocok untuk | Outbound yang ditargetkan dan berbasis sinyal | Pemetaan pasar yang luas, sizing TAM tahap awal |
Pendapat jujur saya: scrape saat Anda butuh konteks dan timing — misalnya daftar exhibitor dari event tertentu, halaman produk baru pesaing, atau perusahaan yang baru saja memposting tiga lowongan sales. Beli atau pakai penyedia enrichment seperti Apollo saat Anda butuh cakupan yang luas dan terstandar, serta siap memvalidasi kebaruannya sendiri. Keduanya tidak saling meniadakan; banyak tim melakukan scraping untuk sinyal lalu melakukan enrichment pada akun yang lolos kualifikasi, bukan memilih satu jalur selamanya.
Skenario Nyata
Misalnya Anda menjual software manajemen armada dan ingin menemukan perusahaan logistik yang lagi berkembang. Scraping registry operator publik milik state DOT atau direktori anggota asosiasi industri memberi Anda nama perusahaan, lokasi, dan kategori ukuran armada — semuanya publik, semuanya diizinkan. Lalu Anda masuk ke situs masing-masing perusahaan untuk memastikan mereka benar-benar aktif dan mengambil jalur kontak umum mereka. Hasilnya mungkin 200 akun yang lolos kualifikasi, bukan 5.000 nama yang belum diverifikasi, tetapi setiap satu di antaranya layak untuk waktu seorang SDR, dan itulah tujuan sebenarnya.
Scraping untuk lead B2B paling efektif saat Anda berhenti menganggapnya cuma sebagai cara membangun daftar dan mulai melihatnya sebagai riset dengan alat yang lebih baik. Saya pernah lihat tim sales menghasilkan pipeline lebih besar dari 150 akun yang dikualifikasi dengan baik dibanding 10.000 kontak yang dibeli, semata-mata karena outreach-nya relevan, bukan generik. Kalau Anda lagi mempertimbangkan di mana AI scraping masuk ke motion sales yang lebih luas, ada baiknya baca bagaimana AI mengubah lead generation dan bagaimana tim sales benar-benar memakai AI sehari-hari — keduanya membahas workflow yang lebih dalam daripada sekadar langkah scraping.
Membangun pipeline seperti ini memang butuh sedikit setup tambahan dibanding mengunduh daftar kontak. Tapi akun yang Anda dapatkan benar-benar ingin dengar dari Anda, dan — saya bilang ini sebagai orang yang sudah berkali-kali kirim email dingin ke ruang kosong selama bertahun-tahun — itu sepadan dengan tambahan waktu setup tiga puluh menit.
FAQ
Apakah legal melakukan scraping data perusahaan B2B dari web?
Itu sepenuhnya tergantung sumbernya. Website perusahaan publik, filing pemerintah, dan direktori yang secara eksplisit mengizinkannya umumnya aman untuk di-scrape untuk tujuan riset. Situs seperti LinkedIn dan Google Maps secara eksplisit melarang scraping dalam ketentuan mereka, terlepas dari apa yang secara teknis mungkin dilakukan. Selalu cek terms of service situs sebelum scraping, dan anggap robots.txt sebagai instruksi crawling, bukan izin hukum.
Apa bedanya "lead" dan "contact" dalam konteks ini?
Contact cuma nama dan cara menghubunginya. Lead, kalau dilakukan dengan benar, adalah record perusahaan yang didukung bukti bahwa mereka cocok dengan ideal customer profile Anda, plus sinyal bertimestamp yang menjelaskan kenapa Anda menghubungi sekarang. Mengambil kontak secara massal tanpa konteks itulah alasan banyak kampanye cold outreach performanya buruk.
Apakah alat scraping AI bisa menjamin datanya akurat?
Tidak, dan alat apa pun yang mengklaim begitu patut dicurigai. Ekstraksi AI sangat bagus untuk menstrukturkan halaman yang berantakan, tetapi masih bisa salah baca field yang ambigu. Cek sampel sebelum menskalakan scrape adalah kebiasaan yang layak dipertahankan, apa pun alat yang Anda pakai.
Lebih baik scrape email langsung, atau pakai alat enrichment setelahnya?
Alat enrichment cenderung lebih andal untuk menemukan dan memverifikasi email kontak bernama dibanding coba men-scrape langsung dari halaman, dan biasanya status verifikasinya didokumentasikan dengan jelas. Saran saya: scrape dulu untuk kualifikasi tingkat perusahaan, lalu enrich hanya akun yang sudah lolos kriteria kecocokan Anda — lebih efisien dan lebih rendah risiko kepatuhannya.
Bagaimana cara menghindari duplikasi lead saat impor ke CRM?
Samakan domain perusahaan sebagai identifier utama sebelum impor, bukan nama perusahaan — nama terlalu bervariasi untuk deduplikasi secara andal. Baik HubSpot maupun Salesforce punya dokumentasi tentang cara kerja matching rules mereka, dan menjalankan batch uji kecil sebelum impor penuh bakal menangkap sebagian besar masalah sebelum berubah jadi kekacauan di pipeline Anda.
