リンク切れ。孤立ページ。2019年の「テスト」ページがなぜかGoogleにインデックスされている——サイト運営をしていれば、こういう悩みはめちゃくちゃ身に覚えがあるはずです。
優秀なクローラーなら、こうした問題をまとめて洗い出して、サイト全体を見える化し、ちゃんと修正できるところまで持っていけます。ただし、多くの人が「ウェブクローラー」と「ウェブスクレイパー」をごっちゃにしがちです。この2つは別物です。
今回は、実際のサイトで10種類の無料クローラーを試しました。SEO監査に強いものもあれば、データ抽出向きのものもあります。何が使えて、何がいまいちだったのかを紹介します。
サイトクローラーとは？基本を分かりやすく解説
まず最初に整理しておきましょう。サイトクローラーは、ウェブスクレイパーとは違います。似た言葉として雑に使われがちですが、役割はまったく異なります。クローラーはサイトの“地図を作る人”みたいな存在です。サイト内をくまなく回ってリンクをたどり、ページ全体の構造を把握します。つまり、クローラーの役割は発見です。URLを見つけ、サイト構造を整理し、コンテンツをインデックスしやすい形にすること。Googleのボットがやっていることや、SEOツールがサイト診断に使う仕組みがこれに当たります（Thunderbit Blog: What Is a Web Crawler?）。
一方のウェブスクレイパーは、データを掘り出す担当です。サイト全体の地図には興味がなく、欲しいのは“中身”そのもの——商品価格、会社名、レビュー、メールアドレスなど、特定の情報です。スクレイパーは、クローラーが見つけたページから必要な項目だけを抜き出します（Thunderbit Blog: How to Web Crawl a Site?）。
たとえ話でいうと：
- クローラー: スーパーの棚を全部見て回って、売り場全体の在庫を記録する人。
- スクレイパー: コーヒー売り場にまっすぐ行って、オーガニックブレンドの価格だけを書き出す人。
なぜこれが大事かというと、サイト内の全ページを把握したいだけなら（たとえばSEO監査）、必要なのはクローラーだからです。競合サイトの商品価格を集めたいなら、必要なのはスクレイパーです。理想を言えば、その両方を扱えるツールがベストです。
オンラインのウェブクローラーを使うべき理由：ビジネス上のメリット
では、なぜウェブクローラーを使うのでしょうか。答えはシンプルで、ウェブの規模は小さくなるどころか、むしろどんどん膨らんでいるからです。実際、54%以上のエンタープライズ企業が専用のクローリング基盤を利用してサイト最適化を行っており、一部のSEOツールは1日あたり70億ページものページを巡回しています。
クローラーでできることは、たとえばこんな感じです。
- SEO監査: リンク切れ、タイトル欠落、重複コンテンツ、孤立ページなどを見つける (SEO.ai)。
- リンクチェックとQA: ユーザーより先に404やリダイレクトループを見つける (Screaming Frog)。
- サイトマップ生成: 検索エンジン向けや設計用にXMLサイトマップを自動生成する (PowerMapper)。
- コンテンツ棚卸し: すべてのページ、階層、メタデータを一覧化する。
- コンプライアンスとアクセシビリティ: 各ページのWCAG、SEO、法務面を確認する (SiteOne Crawler)。
- パフォーマンスとセキュリティ: 表示が遅いページ、画像サイズの大きすぎるもの、セキュリティ上の問題を検出する (SiteOne Crawler)。
- AI・分析用データ: クローリングしたデータを分析ツールやAIツールに投入する (Thunderbit Blog: Crawl4AI Review)。
以下は、用途とビジネス上の役割を対応させた簡単な表です。
| 用途 | 向いている人 | メリット / 成果 |
|---|---|---|
| SEO・サイト監査 | マーケター、SEO担当、中小企業のオーナー | 技術的な問題を見つけ、構造を最適化し、順位改善につなげる |
| コンテンツ棚卸し・QA | コンテンツ担当、Web担当者 | コンテンツ監査や移行、リンク切れ・画像切れの検出 |
| リード獲得（スクレイピング） | 営業、事業開発 | 見込み顧客の開拓を自動化し、CRMに新しいリードを取り込める |
| 競合分析 | EC、プロダクトマネージャー | 競合価格、新商品、在庫変動を継続監視 |
| サイトマップ・構造の複製 | 開発者、DevOps、コンサルタント | リニューアルやバックアップ用にサイト構造を複製 |
| コンテンツ集約 | 研究者、メディア、アナリスト | 複数サイトのデータを集めて分析やトレンド把握に活用 |
| 市場調査 | アナリスト、AI学習チーム | 分析やAIモデル学習に使える大規模データを収集 |
(Thunderbit Blog: How to Web Crawl a Site?
無料のサイトクローラーツールを選んだ基準
私は何度も夜更かしをしながら、正直かなりの量のコーヒーを飲みつつ、クローラーツールを調べ、ドキュメントを読み、実際にテストクロールを回してきました。重視したのは次のポイントです。
- 技術力: JavaScript、ログイン、動的コンテンツなど、今どきのサイトに対応できるか？
- 使いやすさ: 非エンジニアでも扱いやすいか、それともコマンドラインの知識が必要か？
- 無料プランの制限: 本当に無料か、それともお試しレベルか？
- オンライン対応: クラウドツールか、デスクトップアプリか、コードライブラリか？
- 独自機能: AI抽出、ビジュアルサイトマップ、イベント駆動型クロールなど、何か特別な強みがあるか？
各ツールを実際に試し、ユーザーの評価も確認し、機能を横並びで比較しました。もし使っていてノートPCを窓から投げたくなるレベルなら、候補から外しています。
ひと目で分かる比較表：無料サイトクローラー10選
| ツール & 種類 | 主な機能 | 最適な用途 | 必要な技術レベル | 無料プランの詳細 |
|---|---|---|---|---|
| Bright Data（クラウド/API） | エンタープライズ向けクロール、プロキシ、JSレンダリング、CAPTCHA対応 | 大規模データ収集 | ある程度の技術知識があると良い | 無料枠：Web Scraper APIで月5,000レコード、クレジットカード不要 |
| Crawlbase（クラウド/API） | APIクロール、ボット対策、プロキシ、JSレンダリング | バックエンドのクロール基盤が必要な開発者向け | API連携 | 無料：開始時に最大20,000リクエスト、クレカ不要。その後は従量課金 |
| ScraperAPI（クラウド/API） | プロキシローテーション、JSレンダリング、非同期クロール、事前構築済みエンドポイント | 開発者、価格監視、SEOデータ収集 | 最小限のセットアップ | 無料：最初の7日間に5,000 APIコール、その後は毎月1,000 |
| Diffbot Crawlbot（クラウド） | AIクロール＋抽出、ナレッジグラフ、JSレンダリング | 大規模な構造化データ、AI/ML | API連携 | 無料：抽出系APIで月10,000クレジット、クレカ不要。CrawlはPlusプラン以上が必要 |
| Screaming Frog（デスクトップ） | SEO監査、リンク/メタ分析、サイトマップ、カスタム抽出 | SEO監査、サイト管理 | デスクトップアプリ、GUI | 無料：1クロール500URLまで、主要機能のみ |
| SiteOne Crawler（デスクトップ） | SEO、パフォーマンス、アクセシビリティ、セキュリティ、オフライン出力、Markdown | 開発者、QA、移行、ドキュメント化 | デスクトップ/CLI、GUI | 無料・オープンソース、GUIレポートは1,000URLまで（設定変更可） |
| Crawljax（Java、オープンソース） | JavaScriptが多いサイト向けのイベント駆動型クロール、静的出力 | 開発者、動的WebアプリのQA | Java、CLI/設定 | 無料・オープンソース、制限なし |
| Apache Nutch（Java、オープンソース） | 分散クロール、プラグイン対応、Hadoop連携、独自検索 | 独自検索エンジン、大規模クロール | Java、コマンドライン | 無料・オープンソース、必要なのはインフラコストのみ |
| YaCy（Java、オープンソース） | P2Pクロールと検索、プライバシー重視、Web/社内網の索引化 | プライベート検索、分散型運用 | Java、ブラウザUI | 無料・オープンソース、制限なし |
| PowerMapper（デスクトップ/SaaS） | ビジュアルサイトマップ、アクセシビリティ、QA、ブラウザ互換性 | 代理店、QA、視覚的な構造把握 | GUI、簡単 | 無料トライアル：30日間、1回のスキャンでデスクトップは100ページ、オンラインは10ページまで |
ひとつ補足しておくと、最後の列の「無料」はかなり意味が違います。SiteOne、Crawljax、Nutch、YaCyはオープンソースで、実質的な上限は自分の環境次第です。Screaming Frogはずっと無料ですが、1回のクロールは500URLまで。Bright Data、ScraperAPI、Diffbotはちゃんとした無料枠がありますが、量は控えめです。しかもDiffbotでは、無料で使えるのは抽出API部分で、クローラー本体は対象外です。Crawlbaseは最初に無料リクエスト枠があり、その後はリクエストごとの課金になります。PowerMapperはこの中で唯一の純粋なトライアルで、30日を過ぎると有料です。
Bright Data：エンタープライズ級のクラウドサイトクローラー
Bright Dataは、ウェブクロール界の“巨大装備”です。大規模なプロキシネットワーク、JavaScriptレンダリング、CAPTCHA対応、さらにカスタムクロール用のIDEまで備えたクラウド基盤です。数百のECサイトの価格を監視するような大規模収集を回すなら、Bright Dataのインフラはかなり強力です（aimultiple.com）。
強み:
- ボット対策が厳しいサイトにも対応しやすい
- エンタープライズ用途にスケールしやすい
- よくあるサイト向けのテンプレートが用意されている
弱み:
- 無料枠はあるが小さい：Web Scraper APIで月5,000レコード
- 単純な監査用途には大げさなこともある
- 非技術者にはやや学習コストがある
大規模にWebをクロールしたいなら、Bright Dataは“F1カーを借りる”ようなものです。無料の月5,000レコードは街を一周するには十分ですが、それ以上は従量課金になります（Bright Data Pricing）。
Crawlbase：開発者向けのAPI駆動型無料ウェブクローラー
Crawlbase（旧ProxyCrawl）は、プログラムで回すクロールに特化しています。URLをAPIに投げるとHTMLが返ってきて、その裏側でプロキシ、地理制限回避、CAPTCHA処理などを勝手にやってくれます（Capterra）。
強み:
- 高い成功率（99%以上）
- JavaScript中心のサイトにも対応
- 自社アプリやワークフローへの組み込みに向いている
弱み:
- APIまたはSDK連携が必要
- 無料プランは開始時に最大20,000リクエスト、その後は従量課金
プロキシ管理なしで大規模クロールを回したい開発者なら、Crawlbaseはかなり堅実な選択肢です（Crawlbase Pricing）。
ScraperAPI：動的サイトのクロールをシンプルにするツール
ScraperAPIは、「とにかく取ってきてほしい」をそのまま叶えるAPIです。URLを渡すだけで、プロキシ、ヘッドレスブラウザ、ボット対策をまとめて処理し、HTML（または一部サイトでは構造化データ）を返してくれます。特に動的ページに強いですが、無料枠は控えめです。最初の7日間に5,000 APIクレジット、クレカ不要。その後は継続無料プランで毎月1,000クレジットです（ScraperAPI Pricing）。
強み:
- 開発者にとってかなり使いやすい（APIを呼ぶだけ）
- CAPTCHA、IPブロック、JavaScriptに対応
- 無料：7日間で5,000 APIコール、その後は毎月1,000
弱み:
- ビジュアルなクロールレポートはない
- リンクをたどる処理は自分で実装する必要がある
コードベースに数分で組み込みたいなら、ScraperAPIはかなり有力です。
Diffbot Crawlbot：自動化されたサイト構造の発見
Diffbot Crawlbotは、ここで一気に賢くなります。単にクロールするだけでなく、AIを使ってページを分類し、記事・商品・イベントなどの構造化データをJSONに抽出します。まるで、読んだ内容をちゃんと理解してくれるロボットのインターンがいるみたいなものです（Diffbot Free Plan）。
強み:
- 単なるクロールではなく、AIによる抽出ができる
- JavaScriptや動的コンテンツに対応
- 無料：月10,000クレジット、クレカ不要。Extract、Natural Language、Knowledge Graph、Searchをカバー
弱み:
- 開発者向け（API連携前提）
- 見た目で操作するSEOツールではない。データプロジェクト向き
- サイト全体を巡回するCrawlbot本体はPlusプラン以上。無料クレジットは抽出API分のみ（Diffbot Pricing）
特にAIや分析用途で、大規模に構造化データが必要なら、Diffbotはかなり強力です。
Screaming Frog：無料で使えるデスクトップSEOクローラー
Screaming Frogは、SEO監査の定番デスクトップクローラーです。無料版では1回のスキャンにつき500URLまでクロールでき、リンク切れ、メタタグ、重複コンテンツ、サイトマップなど、必要な情報をひと通り確認できます（Screaming Frog User Guide）。
強み:
- 速く、網羅的で、SEO業界での信頼も厚い
- コーディング不要。URLを入れて実行するだけ
- 1クロール500URLまで無料
弱み:
- デスクトップ専用（クラウド版はない）
- 高度な機能（JSレンダリング、スケジュール実行など）は有料ライセンスが必要
SEOに本気なら、Screaming Frogはほぼ必携です。ただし、1万ページのサイトを無料で全部回せるとは思わない方がいいでしょう。
SiteOne Crawler：静的サイトの書き出しとドキュメント化に強い
SiteOne Crawlerは、技術監査向けの“万能ツール”です。オープンソースかつクロスプラットフォームで、クロール、監査、さらにサイトをMarkdown形式で書き出してドキュメント化やオフライン利用にも対応します（SiteOne Crawler）。
強み:
- SEO、パフォーマンス、アクセシビリティ、セキュリティまでカバー
- アーカイブや移行用にサイトを書き出せる
- 無料・オープンソースで利用制限なし
弱み:
- 一部のGUIツールより技術寄り
- GUIレポートはデフォルトで1,000URLまで（設定変更可）
深い分析が必要で、しかもオープンソースが好きな開発者・QA・コンサルタントなら、SiteOneはかなり掘り出し物です。
Crawljax：動的ページ向けのJava製オープンソースクローラー
Crawljaxはかなり特化型のツールです。クリックやフォーム入力など、ユーザー操作をシミュレーションしながら、JavaScriptが多い最新Webアプリをクロールするために設計されています。イベント駆動型で、動的サイトを静的版として出力することもできます（Wikipedia: Crawljax）。
強み:
- SPAやAJAX中心のサイトにかなり強い
- オープンソースで拡張しやすい
- 利用制限なし
弱み:
- Javaとある程度のプログラミング/設定が必要
- 非技術者向けではない
ReactやAngularのアプリを、実ユーザーみたいにクロールしたいなら、Crawljaxは頼れる相棒です。
Apache Nutch：大規模分散型サイトクローラー
Apache Nutchは、オープンソースクローラーの大ベテランです。巨大な分散クロールを前提に設計されており、自前の検索エンジン構築や数百万ページのインデックス化に向いています（Martechvibe）。
強み:
- Hadoopと組み合わせれば数十億ページ規模まで拡張可能
- 高度にカスタマイズ・拡張できる
- 無料・オープンソース
弱み:
- 学習コストが高い（Java、コマンドライン、設定ファイル）
- 小規模サイトやライトユーザー向けではない
大規模にWebをクロールしたい、しかもコマンドライン操作も苦にならないなら、Nutchはかなり有力候補です。
YaCy：ピアツーピア型のウェブクローラー兼検索エンジン
YaCyは、かなりユニークな分散型クローラー兼検索エンジンです。各インスタンスがサイトをクロールして索引化し、ピアツーピアネットワークに参加して他のユーザーとインデックスを共有できます（TechRadar: YaCy）。
強み:
- プライバシー重視で、中央サーバーが不要
- プライベート検索や社内検索の構築に向いている
- 無料・オープンソース
弱み:
- 検索結果の質はネットワークのカバー範囲に左右される
- 多少のセットアップが必要（Java、ブラウザUI）
分散型システムが好き、あるいは自分用の検索エンジンを作りたいなら、YaCyはかなり面白い選択肢です。
PowerMapper：UXとQA向けのビジュアルサイトマップ生成ツール
PowerMapperは、サイト構造を“見える化”することに特化しています。サイトをクロールして対話型のサイトマップを生成し、アクセシビリティ、ブラウザ互換性、SEOの基本項目もチェックします（Slickplan Review）。
強み:
- ビジュアルサイトマップは、代理店やデザイナーにとって使いやすい
- アクセシビリティとコンプライアンスを確認できる
- GUIがシンプルで、技術知識が少なくても使いやすい
弱み:
- 無料はトライアルのみ（30日、1回のスキャンでデスクトップ100ページ/オンライン10ページ）
- 本格利用は有料
クライアント向けにサイトマップを見せたい、あるいはコンプライアンスを確認したいなら、PowerMapperはかなり便利です。
自分に合った無料Webクローラーの選び方
選択肢が多すぎて迷うなら、私はこう考えます。
- SEO監査向け: Screaming Frog（小規模サイト）、PowerMapper（見た目重視）、SiteOne（深掘り監査）
- 動的Webアプリ向け: Crawljax
- 大規模・独自検索向け: Apache Nutch、YaCy
- API連携したい開発者向け: Crawlbase、ScraperAPI、Diffbot
- ドキュメント化やアーカイブ向け: SiteOne Crawler
- エンタープライズ級で、少しだけ無料枠が欲しい場合: Bright Data、Diffbot
選ぶときの重要ポイント:
- 拡張性: サイトやクロール対象はどれくらい大きいか？
- 使いやすさ: コードが書ける方がいいか、それともクリック操作がいいか？
- データ出力: CSV、JSON、他ツールとの連携が必要か？
- サポート: つまずいたときに、コミュニティやヘルプドキュメントがあるか？
ウェブクロールとウェブスクレイピングが交わるとき：Thunderbitがより賢い選択である理由
AIであらゆるWebサイトからデータを抽出 Thunderbit のエージェント型ウェブスクレイパーは、クロールしたいサイトを読み取り、ワンクリックで構造化データを抽出します。月6ページまで無料です。 Get Started Free
現実的には、多くの人はきれいな地図を作るためだけにサイトをクロールしているわけではありません。本当の目的は、商品一覧、連絡先情報、コンテンツ一覧みたいな“使えるデータ”を取り出すことです。そこで役立つのが Thunderbit です。
Thunderbitは、ただのクローラーでもスクレイパーでもなく、その両方を兼ね備えたAI搭載のChrome拡張です。仕組みは次の通りです。
- AIクローラー: Thunderbitがクローラーのようにサイトを巡回します。
- ウォーターフォール型クロール: Thunderbit独自のエンジンでページ取得できない場合（強いボット対策がある場合など）は、自動的に第三者のクロールサービスへ切り替えます。手動設定は不要です。
- AIによるデータ構造化: HTMLを取得したら、ThunderbitのAIが適切な列を提案し、名前・価格・メールアドレスなどをセレクタなしで抽出します。
- サブページ抽出: 各商品ページの詳細も必要ですか？ Thunderbitなら各サブページを自動で巡回して、表を充実させられます。
- データ整形とエクスポート: 要約、分類、翻訳もでき、Excel、Google Sheets、Airtable、Notionへワンクリックで出力できます。
- ノーコードの手軽さ: ブラウザが使えれば、Thunderbitはすぐ使えます。コードもプロキシ設定も、面倒な作業も不要です。
従来のクローラーではなくThunderbitを使うべき場面は？
- 欲しい最終成果が、URL一覧ではなく、すぐ使えるきれいなスプレッドシートのとき。
- クロール、抽出、整形、出力までを一か所で自動化したいとき。
- 時間と気力をできるだけ節約したいとき。
ThunderbitのChrome拡張はこちらからダウンロードして、多くのビジネスユーザーが乗り換えている理由をぜひ体験してみてください。
Thunderbitを無料で試す – エージェント型ウェブスクレイパー 無料のChrome拡張を入れて、コード不要であらゆるサイトをワンクリックでクロールし始めましょう。 Get Started Free
まとめ：無料サイトクローラーを最大限活用するには
エージェント型ウェブスクレイピングの仕組みを見る ThunderbitのAIは、人間みたいにページを読み取り、何を抽出すべきかを判断するので、手作業のクローラー設定を置き換えます。 Get Started Free
サイトクローラーはかなり進化しました。マーケターでも、開発者でも、単にサイトを健全に保ちたい人でも、無料または少なくとも試せるツールが見つかります。Bright DataやDiffbotのようなエンタープライズ向け、SiteOneやCrawljaxのようなオープンソースの逸品、PowerMapperのようなビジュアル系まで、選択肢は以前よりずっと豊富です。
ただし、「このデータが欲しい」から「はい、スプレッドシートです」までを、もっと賢く一体的に進めたいなら、Thunderbitを試す価値があります。レポートだけでなく、成果を求めるビジネスユーザー向けに作られています。
準備はできましたか？ ツールをダウンロードしてスキャンを実行し、今まで見逃していたものを確認してみてください。そして、クロールから実用的なデータ化までをワンクリックで進めたいなら、Thunderbitをチェックしてください。
より詳しい解説や実践ガイドは、Thunderbit Blogをご覧ください。
AIでWebサイトのデータをワンクリック抽出 Thunderbitにサブページ追跡とスケジュール実行を設定すれば、手動で再実行しなくてもクロール結果を常に最新に保てます。 Get Started Free
エージェント型ウェブスクレイパーを試す Get Started Free
よくある質問
サイトクローラーとウェブスクレイパーの違いは？
クローラーはサイト内の全ページを見つけて整理します（目次を作るイメージです）。スクレイパーは、そのページから価格、メールアドレス、レビューなどの特定データを取り出します。クローラーは見つける役割、スクレイパーは掘り出す役割です（Thunderbit Blog: What Is a Web Crawler?）。
非技術系の人に一番向いている無料のWebクローラーは？
小規模サイトやSEO監査なら、Screaming Frogは使いやすいです。見た目で構造を把握したいなら、PowerMapperも良い選択です（トライアル期間中）。構造化データを取りたい、ノーコードでブラウザ完結がいいなら、Thunderbitがいちばん簡単です。
Webクローラーをブロックするサイトはありますか？
はい。robots.txtや、CAPTCHA、IPブロックなどのボット対策でクローラーを拒否するサイトもあります。ScraperAPI、Crawlbase、Thunderbit（ウォーターフォール型クロール付き）なら回避できることが多いですが、必ずルールを守って責任あるクロールを行ってください（Bright Data Pricing）。
無料のサイトクローラーにはページ数や機能の制限がありますか？
多くはあります。たとえば、Screaming Frogの無料版は1回500URLまで、PowerMapperのトライアルは100ページまでです。APIベースのツールは月間クレジット制限があることが多いです。SiteOneやCrawljaxのようなオープンソースは基本的にハード制限がありませんが、ハードウェア性能に左右されます。
Webクローラーの利用は合法で、プライバシー面でも問題ありませんか？
一般に、公開Webページのクロールは合法ですが、必ずサイトの利用規約とrobots.txtを確認してください。許可なく非公開データやパスワード保護された情報をクロールしてはいけません。また、個人データを抽出する場合は、プライバシー法にも十分注意してください（Crawlbase Guide）。
