私の知る創業者は、誰もが一度は「検証済み」とされる1万件の連絡先リストを買って、返信率がほぼゼロのまま推移するのを見てきました。私自身もキャリアの初期に同じことをしましたが、その経験で早い段階ではっきり学んだことがあります。大量のメールアドレスがあっても、それだけでは商談は進みません。本当に案件を動かすのは、どの企業が話す価値があるのか、そしてなぜ今なのかを理解することです。これは、インターネット上で名前だけを集める作業とはまったく別の問題です。
Webスクレイピングは「金曜までにリードを1万件集める近道」として語られがちですが、2026年に本当に役立つツールは、もっと実用的な用途のために作られています。つまり、購買シグナルが出たまさにそのタイミングで、根拠のある実在アカウントを見つけることです。Thunderbitで営業向けのデータ取得について長く考えてきましたが、成果を出しているチームは、行数を最も多く集めるチームではありません。文脈付きで、必要な行だけを正しく集めているチームです。
WebスクレイピングでB2Bリードを見つけるとは、実際にはどういうことか？
多くの人は「リードをスクレイピングする」と聞くと、ディレクトリのページを吸い上げて、名前・役職・メールアドレスのCSVを吐き出すツールを思い浮かべます。でもそれはリード獲得ではなく、単なる連絡先の収集です。そして、営業チームがバウンスだらけで成約率の低いリストを抱える原因でもあります。
本当のリードレコードには、名前以上のものが必要です。アカウントの識別情報（会社名と正規ドメイン）、その企業が自社の理想顧客像に合致している根拠、なぜ今アプローチすべきかを示すタイムスタンプ付きのシグナル、連絡可能な手段、データの出どころを示す記録、あとで確認できるステータスが必要です。少し長く聞こえますが、要するに流れはシンプルです。公開され、利用が許可されたソースから始める、会社の識別情報を確かめる、適合性の根拠を集める、トリガーイベントを記録する、最小限の連絡ルートを見つける、検証する、重複を排除する、そしてCRMに流し込む。どれか1つでも飛ばすと、結局みんなが嫌うもの、つまり見知らぬ人のスプレッドシートが出来上がります。
なぜ今これがこれまで以上に重要なのか
AIのおかげで、スクレイピングは驚くほど簡単に始められるようになりました。そして同時に、雑に大量運用するのも驚くほど簡単になりました。数年前まで、スクレイパーを作るには開発者を雇うか、週末にXPathセレクターと格闘する必要がありました。今では誰でもAIスクレイパーをページに向けて、数分で構造化データを得られます。それ自体は生産性向上として素晴らしいことです。ただ、その結果として、資格確認もしていないデータをCRMにかつてないスピードで流し込む営業チームが増えています。後からそれを片付けるコストは、最初から正しくやるよりはるかに高くつきます。
同時に、ツールが賢くなったからといって、法規制の前提が変わったわけではありません。英国のInformation Commissioner's Officeは、公開されているビジネス連絡先データであってもUK GDPRの対象になり得ること、そしてB2Bの文脈でもダイレクトマーケティングへの異議は尊重しなければならないことを明確にしています。米国ではFTCのCAN-SPAMガイダンスもB2Bメールを例外扱いしていません。商用メッセージはすべて、正確なヘッダー、機能する配信停止手段、そして10営業日以内の停止対応が必要です。これらは珍しい法律知識ではありません。知っていようといまいと、実務上の最低ラインです。
始める前に：空気を読むこと（そして利用規約を読むこと）
はっきり言います。どんなに優秀なスクレイパーでも、すべてのサイトが自由に扱えるわけではありません。Google Mapsの利用規約は、Mapsのコンテンツをエクスポートしたり大量スクレイピングしたりすることを明確に禁じています。LinkedInのUser Agreementも、スクレイピングと無許可の自動化を全面的に禁止しています。Clutchの現行規約も、手動・自動を問わずスクレイピングを禁じています。これらは見落としやすい条項ではありません。どんなツールを使う前でも、最初に確認すべき項目です。私はLinkedInのスクレイピングについて、これが頻繁に話題になるので、別途詳しく書いたこともあります。
robots.txtは理解する価値がありますが、法的な許可証として扱うべきではありません。IETFの仕様でも、これはクロールの指示であって、許可システムでもアクセス制御機構でもないとされています。サイトによってはrobots.txtでクロールを許可していても、利用規約でスクレイピングを禁止していることがあります。そして争いになったときは、通常、利用規約のほうが優先されます。私の基本方針はこうです。データを見るのにログインが必要なサイト、CAPTCHAが前面にあるサイト、または利用規約のどこかに「スクレイピング禁止」と明記しているサイトは、解くべきパズルではなく、避けるべきソースです。
B2Bリサーチで比較的安全かつ有用な公開ソースには、企業サイト、政府提出書類、許可のある出展者・パートナーディレクトリ、採用ページ、ニュースルームなどがあります。たとえばSECのEDGAR APIは、APIキーなしで無料の公開JSON提出書類とXBRLデータを提供しています。ただし、SEC自身のレート制限ガイダンスに従い、1秒あたり10リクエスト以下に抑えてください。
全体の流れ：生データの取得から、CRMに入れられるリードへ
私ならこの順番で進めます。これは「スクレイピング」というより、スクレイパーを中心に据えた小さなリサーチプロセスです。
最初に、利用が許可された公開ソースを1つ選び、会社名、ドメイン、ソースURL、カテゴリ、所在地、そして最初に目を向けた理由となるシグナル（求人情報、プレスリリース、イベント一覧など）だけを取得します。次に、有望に見えるアカウントについて、その企業サイトを見に行き、実際に何をしているのか、どこに拠点があるのか、公開されている連絡手段は何かを確認します。三番目に、すでに自社の適合基準を通過したアカウントだけを検証・拡張します。まだ精査していない企業に、エンリッチメントのクレジットを無駄遣いしないことです。四番目に、何かをインポートする前に、既存のCRMデータと重複排除します。最後に、営業チームが何を確認済みで、何にまだ目を通す必要があるのか分かるよう、ステータス付きでCRMに送ります。
この最後の部分は、思っている以上に重要です。candidate_account、qualified_account、contact_ready、needs_review、rejectedのようなタグを各レコードに付けることをおすすめします。大げさに聞こえるかもしれませんが、SDRチームから「この会社、本当にICPに合ってるって誰か確認した？」と聞かれたときに、肩をすくめる代わりに答えられるようになります。
高シグナルなB2Bアカウントはどこで見つけるか
良いシグナルは隠れているわけではありません。多くのチームが体系的に見に行っていない場所に散らばっているだけです。企業の採用ページを見れば、どの職種を採用しているかが分かり、それは何に投資しているかのかなり良い代理指標になります。ニュースルームやプレスページは、資金調達、事業拡大、新製品発表を教えてくれます。パートナー一覧や出展者一覧（スクレイピングが許可されている場合）は、特定のエコシステムの中でどの企業が活発かを示します。特に規模の大きい企業では、公開提出書類が財務健全性や戦略優先度を、LinkedInの投稿よりはるかに明確に示してくれます。
ただし、こうしたシグナルのどれか1つだけで購買意欲が証明されるわけではありません。たとえば「営業VP」の求人があるからといって、明日すぐに自社製品を買う準備ができているとは限りません。でも、複数のシグナルを組み合わせ、自社のICP基準と照らし合わせれば、6か月前にリードマーケットプレイスで買った、すでに20%古くなった静的リストより、はるかに優れた絞り込みができます。
AI搭載スクレイピングで何が変わるのか
ここが、私が5〜6年前にやっていたスクレイピングとは本質的に違うところです。昔ながらのスクレイピングでは、ページレイアウトごとにセレクターを1つずつ書く必要があり、サイトがHTMLを少しでも変更するとすぐ壊れました。AI搭載のスクレイピングツールは、人間に近い感覚でページを読みます。壊れやすいCSSパスに頼るのではなく、「これは会社名だ」「これは所在地だ」「これは役職だ」と文脈で理解します。
この変化があるからこそ、Thunderbitのようなツールは一覧ページを見ただけで、AI Suggest Fieldsを使って適切な列を自動で提案できます。しかも、「会社名、Webサイト、業種、所在地を取ってきて」のように平易な英語で指示するだけでも、AIが取得方法を判断してくれます。以前は1サイトごとに半日かけてスクレイパー設定を作っていたチームが、今では数回のクリックと確認だけで済む、という話をよく聞きます。これはコンプライアンスの基本ルールが変わったからではありません。そこは変わっていません。技術的なハードルが大きく下がったからです。AIスクレイピング分野全体でこの変化がどう現れているかは、AI web scrapingと従来のルールベース手法の比較も参考になるはずです。
サブページ問題（一覧ページだけでは半分しか分からない理由）
始めたばかりの人がほぼ必ずつまずくのがこれです。一覧ページは、決して全体像ではありません。ディレクトリページには会社名とリンクが載っているかもしれませんが、本当に必要な根拠、つまりその企業が何をしているか、本社はどこか、どの業界を相手にしているかは、たいてい1クリック深い場所、つまり会社の詳細ページか自社サイトにあります。
ディレクトリから何百行もスクレイピングしたのに、実際に資格判定で重要だった1項目が半数の「リード」から抜けていた、というチームを何度も見てきました。だからこそ、サブページスクレイピングは「あると便利」ではなく、機能カテゴリとして存在しているのです。良いスクレイパーなら、一覧ページにアクセスして各社詳細ページへのリンクを取得し、そのリンクを自動でたどって深い項目を集め、すべてを1つのきれいな行にまとめられるべきです。これを省くと、会社名と勘だけでリードを評価することになります。
ステップごとに見る：ThunderbitでB2Bリードを見つける方法
ここからは、私なら実際にどう進めるかを、ターゲットのディレクトリとコーヒーを片手に座ってやる感覚で説明します。
ステップ1：Thunderbitをインストールし、対象ディレクトリを開く
Thunderbit Chrome拡張機能を入れて、利用が許可された公開ソースに移動します。出展者一覧、業界ディレクトリ、採用ボードなど、ICPに合うものなら何でも構いません。先に進む前に、そのサイトの利用規約でこの使い方が認められているか確認してください。この手順は2分で済み、あとからの面倒を防げます。
ステップ2：「AI Suggest Fields」をクリックする
ページを手作業でクリックしながら列を定義する代わりに、AIにページ構造を見せて、会社名、Webサイト、所在地、カテゴリなどの項目を提案してもらいます。これらは編集できますし、独自に追加することもできます。たとえば「この会社が対象としている業界を抽出して」といった自然な指示で十分です。
ステップ3：スクレイピングを実行する
抽出を開始し、一覧ページ全体、必要ならページネーションも含めて走らせます。ここで取るのは「生」のデータです。会社レベルの識別情報だけで、まだ個人の連絡先とは言えません。
ステップ4：サブページスクレイピングで拡張する
有望そうな行については、サブページスクレイピングで各社のサイトや詳細ページに進み、事業内容、拠点、公開されている連絡ルートなどの深い項目を取得します。これが、ただのディレクトリ行を実際の適格アカウント記録に変える工程です。
ステップ5：検証してクリーンアップする
CRMに触れる前に、サンプルを目視で確認します。ドメインが解決するか、適合判断の根拠が本当に成立しているかを確認し、あいまいなものは推測せず needs_review にします。ここでは、合法的な公開連絡手段を見つけた場合に限り、Hunterのようなサービスでメール検証を行うのもよいでしょう。ただし、「有効な」メールアドレスであっても、その相手にマーケティングしてよい同意があるわけではありません。
ステップ6：エクスポートしてCRMに送る
ThunderbitはCSV、Excel、Google Sheets、Airtable、Notionなどへ無料でエクスポートできます。HubSpotやSalesforceに取り込む前に、会社の主キーをドメインに統一してください。HubSpotのインポートガイドでも、会社はドメイン、連絡先はメールを使うことが推奨されています。Salesforceの重複ルールは、これを省くとインポートを静かにブロックしたりフラグを立てたりします。全件投入の前に20〜30行の小さなテストバッチを流すだけで、何度も面倒な修正を避けられました。
ヒントとよくある落とし穴
今から始める人にまず伝えたいことがいくつかあります。スクレイピングした役職名や職種だけで購買意欲の証明とは考えないことです。あくまで手がかりであって、ゴーサインではありません。AIが抽出した項目を自動的に正しいとみなさないことです。規模を拡大する前に、必ず目視で確認してください。氏名付きの連絡先や直通メールは、会社レベルのリサーチとは別の、より慎重に管理された領域に分けて扱ってください。B2Bだからといって、個人データがプライバシー規制の対象外になるわけではありません。そして「技術的にできる」ことを、そのままコンプライアンス方針にしないでください。サイトの利用規約は最初だけでなく、毎回確認するべきです。
Webスクレイピングとリードデータベース購入の違い
どちらにも役割はあります。どちらか一方が常に優れていると言い切るのは、少し不誠実です。
| 比較項目 | Webスクレイピング（許可されたソース） | リードデータベースの購入 |
|---|---|---|
| 鮮度 | 最後にスクレイプした時点の最新情報 | 数週間で古くなることが多い |
| シグナルの質 | 高い — トリガーと文脈を自分で管理できる | 低い — たいてい静的な企業属性データだけ |
| カバー範囲 | 狭めで、ソースに依存 | 広い、標準化されている |
| コスト構造 | 主に自分の時間＋ツールのサブスク | レコード単位または席単位の継続費用 |
| コンプライアンスリスク | ソースと項目を慎重に選べば管理しやすい | 提供元の収集方法に大きく依存 |
| 向いている用途 | ターゲットを絞った、シグナル起点のアウトバウンド | 市場の広い把握、初期TAMの算定 |
率直なところ、文脈とタイミングが必要ならスクレイピングを使うべきです。たとえば、特定イベントの出展者一覧、競合の新製品ページ、あるいは新しく営業職を3件出した企業などです。広く標準化されたカバレッジが必要で、自分で鮮度を検証するつもりがあるなら、Apolloのような購入型データやエンリッチメント提供者を使うとよいでしょう。両者は排他的ではありません。多くのチームは、シグナルをスクレイピングし、その後で適格アカウントをエンリッチしています。ずっと片方だけに絞る必要はありません。
実例シナリオ
たとえば、あなたが車両管理ソフトを販売していて、成長中の物流企業を見つけたいとします。州のDOTが公開している運送事業者登録や、業界団体の会員ディレクトリをスクレイピングすれば、会社名、所在地、車両規模の区分が手に入ります。しかも全部公開情報で、利用も許可されています。そこから各社サイトにサブページで入り、実際に稼働しているかを確認し、代表連絡先を取得します。すると、未検証の名前5,000件ではなく、適格なアカウントが200件手に入るかもしれません。でも、その200件はすべてSDRの時間をかける価値があります。これこそが本当の目的です。
B2Bリードのためのスクレイピングは、単なるリスト作成ではなく、より良いツールを使ったリサーチだと捉えたときに最も効果を発揮します。私は、的外れな10,000件の購入済み連絡先より、150件の精査済みアカウントからはるかに多くのパイプラインを作る営業チームを見てきました。AIスクレイピングが営業全体の流れの中でどこに位置づくのかを考えるなら、AIがリード獲得をどう変えているか、そして営業チームが日々AIをどう使っているかも読む価値があります。どちらも、スクレイピングの先にあるワークフローまで掘り下げています。
こうしたパイプラインを作るには、連絡先リストをダウンロードするより少し準備が要ります。もちろんです。でも、最終的に手元に残るアカウントは、きちんとあなたの話を聞く気がある相手です。長年、虚空に向けて冷たいメールを送ってきた身として言うと、その30分の準備は十分に価値があります。
よくある質問
Web上のB2B企業データをスクレイピングするのは合法ですか？ それはソース次第です。公開企業サイト、政府提出書類、そして明確に許可されているディレクトリは、通常、調査目的でスクレイピングしても問題ありません。LinkedInやGoogle Mapsのように、技術的に可能かどうかに関係なく利用規約でスクレイピングを明確に禁じているサイトもあります。スクレイピング前には必ず各サイトの利用規約を確認し、robots.txtは法的許可ではなくクロール指示として扱ってください。
この文脈での「リード」と「連絡先」の違いは何ですか？ 連絡先は、名前と連絡手段だけです。適切に扱われたリードは、自社の理想顧客像に合致するという根拠がある会社レコードであり、さらに「なぜ今アプローチするのか」を示すタイムスタンプ付きのシグナルが付いています。文脈なしに大量の連絡先だけをスクレイピングするから、コールドアウトリーチの成果が伸びないのです。
AIスクレイピングツールはデータの正確性を保証できますか？ いいえ。そう主張するツールがあれば、まず疑ってかかるべきです。AI抽出は複雑なページを構造化するのが非常に得意ですが、あいまいな項目を誤読することはあります。どのツールを使う場合でも、規模を広げる前にサンプルを目視確認する習慣は持っておくべきです。
メールを直接スクレイピングするべきですか、それとも後からエンリッチメントツールを使うべきですか？ 名前付き連絡先のメールを見つけて検証するには、ページから直接スクレイピングするより、エンリッチメントツールのほうが信頼性が高いことが多く、検証ステータスも分かりやすく記録されます。私のおすすめは、まず会社レベルの適格判定のためにスクレイピングし、その後、基準を通過したアカウントだけをエンリッチする方法です。効率がよく、コンプライアンス上のリスクも下げられます。
CRMに重複リードを入れないようにするには？ インポート前の主キーは会社名ではなく、会社ドメインに統一してください。会社名は表記ゆれが多く、重複排除に向きません。HubSpotにもSalesforceにも、照合ルールの仕組みに関するドキュメントがあります。全件投入の前に少量のテストバッチを流せば、ほとんどの問題を、パイプラインが混乱する前に見つけられます。
