初心者向けウェブクローラーおすすめ10選｜スキルレベル別ランキング

ウェブは年々複雑になる一方で、「このデータが欲しい」と「取り方が分かっている」の間の溝は、いっこうに埋まりません。初心者がまず抱く疑問は、たいていシンプルです。商品価格をサイトから抜き出すためだけに、本当に Python を覚えないといけないのか？

ありがたいことに、答えはノーです。ただし次の疑問——で、結局どのツールを使えばいいのか？——ここからが厄介です。ノーコードのデスクトップアプリ、ブラウザ拡張機能、Python フレームワーク、Go のライブラリ、SEO 用スパイダー、マネージド API、そしてその境界をまたぐオープンソースプロジェクトまで、選択肢は入り乱れています。2026 年に選べる有力な 10 本を、初心者が本当に気にする軸——どれくらいコードが要るか、使えるデータにどれだけ早くたどり着けるか、JavaScript 主体のサイトに対応できるか、無料で何ができるか、どんな用途に本当に向いているか——で整理しました。コードを 1 行も書いたことがない方も、初めてのクローラーフレームワークを探している駆け出しエンジニアの方も、ここに出発点が見つかるはずです。

初心者向けウェブクローラーの選定基準

「初心者」＝「非エンジニア」ではありません。ここで言う初心者とは、ウェブクローリングのワークフローを組んだ経験がない人すべて。基本的な Python や JavaScript は書けるけれど、URL キューを管理したことも robots.txt を扱ったこともない、という人も含みます。

各ツールは、フォーラムで初心者が実際に投げかける疑問に直結する 6 つの軸で評価しました。

1. 必要なコーディング — 不要／基本的な Python・JS／中級以上
2. セットアップの難易度 — インストールから最初の使えるデータまでの時間
3. JavaScript レンダリング — SPA や動的に読み込むページに対応できるか
4. 無料枠の手厚さ — 課金前に何ができるか
5. 出力形式 — CSV、JSON、Excel、Google Sheets など
6. 最適な用途 — 初心者にとってそのツールが本領を発揮する具体的な場面

対象は 3 つのスキル層にまたがります。ノーコード（プログラミング不要）、中級（基本的な Python か JavaScript）、上級初心者（Go やフレームワークの深い知識）。各ツールの得意分野も物足りない部分も、包み隠さず書いたつもりです。自分のスキルに合わないクローラーを選ぶのは、午後を丸ごと溶かす最短ルートですから。

最初のウェブクローラーの選び方：早わかりフローチャート

10 本のレビューを読み込む前に、3 つの質問に答えてください。交点にあるのが、あなたに合う 1〜2 本です。

質問 1：コーディングはどのくらいできますか？

• まったくできない → 質問 2a へ
• 基本的な Python → 質問 2b へ
• JavaScript／TypeScript → 質問 2c へ
• Go → Colly

質問 2a（ノーコード）：主な目的は？

• 一般的なデータ抽出（商品情報、リード一覧、リサーチ）→ Thunderbit または Octoparse
• 複数ステップの複雑な操作（ログイン、ドロップダウン、無限スクロール）→ ParseHub または Octoparse
• SEO 監査 → Screaming Frog

質問 2b（Python）：主な目的は？

• AI／LLM パイプライン（RAG、チャットボット学習）→ Crawl4AI または Firecrawl
• ほぼ静的なサイトを大規模に構造化クロール → Scrapy
• JS 主体サイトのブラウザ自動化 → Playwright（ただしクロール処理は自作前提）

質問 2c（JavaScript／TypeScript）：主な目的は？

• ブロック対策込みでモダンな SPA をクロール → Crawlee
• 複雑なブラウザ操作（ログイン、クリック、スクリーンショット）→ Playwright
• AI に読ませるためのきれいな Markdown → Firecrawl（API／SDK 経由）

予算で絞るなら： ソフト代 0 円で、かつセルフホストできるなら、ここで挙げたオープンソース勢（Scrapy、Crawlee、Crawl4AI、Playwright、Colly）にベンダー側のページ上限はありません。ただし計算資源、帯域、ストレージ、保守、対象サイト側の制約は依然として残ります。セルフホストが難しいなら、Octoparse、ParseHub、Thunderbit、Firecrawl、Screaming Frog がそれぞれ上限の異なる無料の入り口を用意しています。

このフローチャートだけでも、タブを行き来する時間を何時間も節約できるはずです。ブックマークしておいてください。

初心者向けウェブクローラー一覧比較

比較表の全体像がこちらです。「必要なコーディング」はどの言語が（必要なら）要るか、「JS レンダリング」は JavaScript でコンテンツを読み込むページに対応できるか、「無料枠」は 0 円で何ができるかを示しています。詳細レビューはこの後に続きます。

ツール	スキルレベル	必要なコーディング	JS レンダリング	無料枠	向いている用途
Octoparse	初心者	不要	✅ 標準搭載	無料プラン：10 タスク、ローカル実行のみ、1 回 10K 行までエクスポート	構造化サイトのポイント＆クリック抽出
ParseHub	初心者	不要	✅ 標準搭載	公開プロジェクト 5 件、1 実行 200 ページ、保持 14 日	コード不要で複数ページの複雑な操作
Thunderbit	初心者	不要	✅ ブラウザ経由	無料枠あり（最新の上限を確認）	今見ているページから AI 支援で抽出
Crawl4AI	中級	Python	✅ Chromium	オープンソース（セルフホスト）	RAG パイプライン向けの LLM 対応クロール
Firecrawl	中級	API／SDK	✅ マネージド	月 1,000 クレジット（クラウド）	AI 取り込み用のきれいな Markdown 出力
Scrapy	中級	Python	⚠️ プラグインが必要	オープンソース（BSD）	大規模でカスタマイズ性の高い HTTP クロール
Crawlee	中級	JS／TS または Python	✅ Playwright 経由	オープンソース（Apache）	ブロック対策込みのモダンな JS クロール
Playwright	中級	Python／JS／Java／.NET	✅ ネイティブ	オープンソース（Apache）	ブラウザ自動化＋JS 主体サイトの操作
Screaming Frog	初心者	不要	✅（有料版のみ）	1 クロール 500 URL（無期限無料）	SEO 監査とテクニカル分析
Colly	上級初心者	Go	⚠️ 標準搭載なし	オープンソース（Apache）	高速・軽量な並行 HTTP クロール

では、個別に見ていきましょう。

1. Octoparse

Octoparse は、ノーコードでタスクを組み立てるデスクトップ型ツールで、有料オプションとしてクラウド実行も選べます。URL を貼り付けると Auto-detect が繰り返しデータ項目とナビゲーション構造を判別し、プレビューを確認してからローカルで実行する、という流れです。ビジュアルなワークフローエディタはループ、分岐、ページネーション、無限スクロール、AJAX、フォーム、ドロップダウンに対応しますが、動的な処理では待ち時間の手動調整が必要になることもあります。

主な機能：

• データ項目とページ遷移の Auto-detect
• 内蔵ブラウザによる JavaScript レンダリング
• 主要サイト向けのテンプレートが数百種類
• ループ、分岐、セレクタ制御を自由に編集できるワークフロー
• Excel、CSV、HTML、JSON、XML、Google Sheets、データベースへのエクスポート（プランによる）

料金： 無料枠は機能が絞られており、ローカル実行に対応します。クラウド実行、スケジュール、IP ローテーション、API 利用は有料プランが必要です。プランの上限は変わるので、契約前に最新の料金を確認してください。

向いている人： EC サイト、ディレクトリ、リスティングサイトから、コードを書かずに定期的な構造化抽出をしたい初心者。ブラウザ拡張の手軽さや LLM 向けの出力形式が欲しい場合は、ほかを当たったほうがよいでしょう。

2. ParseHub

ParseHub は Windows、macOS、Linux（AppImage 経由）で動くダウンロード型のビジュアル抽出ツールです。コマンドツリー形式の UI で、要素の選択、クリック、フォーム入力、スクロール、ページテンプレートを組み立てます。AJAX／JavaScript、ドロップダウン、タブ、ポップアップ、ページネーション、ログインフォーム、無限スクロールに対応します。

主な機能：

• 複数ステップの抽出フローを組めるビジュアルなコマンドツリー
• AJAX、JavaScript、ドロップダウン、タブ、無限スクロールに対応
• クロスプラットフォームのデスクトップアプリ（Windows、macOS、Linux）
• プログラムからデータを取得できる API
• CSV と JSON でのエクスポート

料金： 無料プランと有料プランがあります。課金対象の「ページ」は URL 1 件のこともあれば、クリックやスクロールで読み込まれた動的コンテンツのこともあるため、ページ数の上限＝URL 数の上限とは限りません。プランを選ぶ前に、現行のプロジェクト数・実行回数・保持期間の上限を確認してください。

プライバシー上の注意： 本番用の認証情報をサードパーティのクローラーに入力するのは、ログイン情報やプロジェクトデータの保存方法を確認してからにしてください。評価段階では権限を絞ったテスト用アカウントを使いましょう。

向いている人： 複雑なナビゲーション、ドロップダウン、スクロール読み込みを含む動的で多段階のサイトを、コードなしでスクレイピングしたい初心者。

ParseHub と Octoparse の違い

どちらも JavaScript に対応したノーコードのデスクトップツールです。ParseHub のコマンドツリー方式は、複数ステップの操作をより明示的に制御できます。複雑なナビゲーションには有利ですが、単純な作業には遠回りに感じるでしょう。Octoparse の Auto-detect は素直な構造のサイトなら断然速く、無料プランのエクスポート上限も寛容です。対象がおもにテーブルやリストなら Octoparse から。クリック、フォーム入力、条件分岐の連なりを組み立てる必要があるなら、ParseHub のやり方のほうが見通しが立つはずです。

3. Thunderbit

Thunderbit は Chrome と Edge で動くエージェント型のウェブスクレイピング拡張機能で、今まさに開いているページからデータを取り出したい非エンジニアのビジネスユーザー向けに作られています。（念のためお断りしておくと、私は Thunderbit で働いています。だからこそ、長所も限界も率直に書きます。）

主な機能：

• One Click Extract がページ内容をもとに列を自動判定
• 抽出時に分類・翻訳・整形・正規化ができる項目単位の AI プロンプト
• Excel／CSV、Google Sheets、Airtable、Notion へエクスポート
• ブラウザモードはユーザーが表示中のセッションをそのまま使うため、対応ページなら JavaScript で読み込まれたコンテンツも扱える
• ブラウザ拡張機能以外のインストールは不要

料金： 無料枠は現在、月 6 ページまで（1 ページあたり最大 30 クレジット）。Starter（月 15 ドル、年払いなら月 9 ドル）ではページネーション、サブページ抽出、一括抽出、データ補完、既製スクレイパー、スケジュール実行が使えます。最新の料金はこちら。

知っておくべき制限： Thunderbit はページ／スキーマ単位の設計で、ドメイン全体を探索するスパイダーではありません。ページネーションとサブページ抽出は無料ではなく Starter の機能です。AI が提案する項目は精度こそ高いものの万能ではないので、実行前に必ず目を通してください。

向いている人： ブラウザで開いているページから構造化データが欲しく、項目設定を手作業でやりたくない営業・オペレーション・リサーチのチーム。対応ページにあるテーブルやリスト、レコード群をさっと抜き出してスプレッドシートに落としたいなら、私の知るかぎりこれが最短ルートです。

AI 支援の抽出が実際にどう動くのかは、AI ウェブスクレイピングの解説記事もあわせてどうぞ。

コード不要、ワンクリックで始める Thunderbit のエージェント型スクレイパーは、どんなページでも読み取って項目を自分で選びます。初めてのクローラーにぴったりです。 Get Started Free

4. Crawl4AI

Crawl4AI は、LLM ワークフロー向けにきれいな出力を作ることを狙ったオープンソースのブラウザ前提 Python クローラーです。生 HTML とクリーンな HTML、複数バリエーションの Markdown、構造化された抽出結果、リンク、メディア、テーブル、スクリーンショット、PDF、MHTML を出力できます。

主な機能：

• 内部で Chromium／Playwright を使う AsyncWebCrawler
• RAG パイプラインやエージェント処理に最適化された複数の出力形式
• カバレッジ・一貫性・飽和度を評価して関連リンクを優先し、十分な情報が集まったら止まるアダプティブクロール
• ローカル（Ollama）でもクラウド API でも使えるオプションの LLM 抽出
• Apache-2.0 ライセンス（帰属表示の追加要件あり）

料金： 完全オープンソースで、ページ単価はありません。インフラは自前で用意し、LLM の推論費用（ローカルまたはクラウド）は自己負担です。

制限： Python の非同期処理の知識とブラウザ依存関係が必要です。抽出品質は使う LLM（使う場合）に左右されます。アダプティブクローラーは情報充足度のシグナルで関連リンクを優先するだけで、CSS セレクタを恒久的に学習したり自己修復したりするわけではありません。

向いている人： AI データパイプラインを組む中級 Python ユーザーで、完全なコントロールとリクエスト単価ゼロを求める人。

5. Firecrawl

Firecrawl は、マネージド型のウェブデータ API（Python と Node.js の SDK あり）と、AGPL ライセンスのセルフホスト用コードベースの二本立てです。クラウド版は JavaScript レンダリングを引き受け、Markdown、要約、HTML、リンク、画像、スクリーンショット、JSON、変更差分を返します。

主な機能：

• パスフィルタ、探索深度、サイトマップ、上限、遅延、並列数を制御できる /crawl エンドポイント
• マネージドクラウド上での JavaScript 自動レンダリング
• きれいな Markdown を含む複数の出力形式
• サイト構造をすばやく把握する /map エンドポイント
• 複数ステップ操作に対応する Browser／Interact とベータ版のエージェント経路（基本の crawl とは別建て）

料金： クラウドの無料枠は月 1,000 クレジットで、同時リクエスト 2 件、レート上限も低めです。有料プランはクレジットと並列数ベースなので、最新の数字は料金ページで確認してください。セルフホストにするとインフラと保守は自分持ちになり、マネージドクラウドの機能がすべて使えるわけでもありません。

制限： 基本の /crawl はリンクとサイトマップをたどって URL を再帰的に見つけますが、クリック起点のページネーションを必ず処理できるとは限りません。クレジット消費量は操作の種類で変わります。セルフホスト版とクラウド版では機能セットが異なります。

向いている人： ウェブサイトの内容を LLM、チャットボット、ナレッジベースに流し込みたい中級ユーザーで、ブラウザ基盤を自前で抱えるよりマネージドサービスを選びたい人。

Firecrawl と Crawl4AI、AI パイプラインにはどちら？

Firecrawl の強みは、きれいな API 越しのマネージドな Markdown 変換です。URL を投げれば構造化された出力が返ってきます。Crawl4AI の強みは、ブラウザと（必要なら）LLM を自分で握るローカルファーストな運用です。インフラ管理を最小限にしたいなら Firecrawl のクラウドが楽な道。ベンダーのページ課金なしで完全にセルフホストしたい、そして Python の非同期処理に抵抗がないなら、Crawl4AI のほうが自由度は高くなります。

6. Scrapy

Scrapy は、Twisted の非同期エンジン上に構築された BSD ライセンスの Python 製クローリング／スクレイピングフレームワークで、長い実績があります。リクエストのスケジューリング、リンク追跡、重複排除、ミドルウェア、リトライ、スロットリング、パイプライン、そして JSON、JSON Lines、CSV、XML、pickle、marshal へのフィードエクスポートを備えています。

主な機能：

• 大規模かつ慎重に範囲を区切ったクロールに向く非同期リクエスト処理
• 充実したミドルウェア群（プロキシ、リトライ、スロットリング、カスタムヘッダー）
• データのクレンジングと保存を担う構造化されたパイプライン
• 巨大なコミュニティ、豊富なドキュメント、サードパーティ拡張
• 完全オープンソース（BSD ライセンス）

制限： JavaScript レンダリングは標準では非対応です。公式の動的コンテンツのガイドは、可能なら元のデータソースを見つけること、あるいはブラウザ／レンダリング部品（scrapy-playwright など）を意識的に組み込むことを勧めています。スパイダー、ミドルウェア、アイテムパイプライン、設定というアーキテクチャには相応の学習コストがあります。

料金： 無料。ホスティングは自前です。

向いている人： 大規模で、ほぼ静的あるいはサーバーサイドレンダリングのサイトをクロールしたい中級 Python ユーザー。

Scrapy をはじめる：注釈つきクイックスタート

インストールから最初のデータまで、最短の手順はこうです。

pip install scrapy
scrapy startproject beginner_crawl
cd beginner_crawl
scrapy genspider example example.com

beginner_crawl/spiders/example.py を開いて編集します。

import scrapy

class ExampleSpider(scrapy.Spider):
    name = "example"
    allowed_domains = ["example.com"]       # Stay on this domain only
    start_urls = ["https://example.com"]    # Seed URL

    custom_settings = {
        "ROBOTSTXT_OBEY": True,            # Respect robots.txt
        "DOWNLOAD_DELAY": 2,               # Wait 2 seconds between requests
        "CLOSESPIDER_PAGECOUNT": 10,       # Stop after 10 pages (safety cap)
        "USER_AGENT": "Beginner-Crawl-Bot (+https://yoursite.com/bot-info)",
    }

    def parse(self, response):
        yield {
            "title": response.css("title::text").get(),
            "url": response.url,
        }
        # Follow links on the page (within allowed_domains)
        for link in response.css("a::attr(href)").getall():
            yield response.follow(link, callback=self.parse)

実行します。

scrapy crawl example -o output.json

規模を広げる前に、まず scrapy shell "https://example.com" でセレクタを試しましょう。セットアップにかかる時間は Python の慣れ具合次第です。仮想環境やターミナル操作が初めてなら、10 分では終わらないと思っておいてください。

7. Crawlee

Crawlee は Apify が開発する Apache ライセンスのクローラーライブラリで、JavaScript／TypeScript と Python に対応します。HTTP のみのクラス（CheerioCrawler など）に加えて Playwright／Puppeteer ベースのブラウザクローラー、リクエストキュー、データセット、セッション管理、リトライ、範囲制御を備えています。

主な機能：

• プロジェクトごとに HTTP 優先（CheerioCrawler）とフルブラウザ（PlaywrightCrawler）を選べる
• リクエストキュー、重複排除、データセット保存を標準装備
• セッション管理、ブラウザフィンガープリント、リトライ、リクエスト範囲の制御
• TypeScript ファーストで、Python も安定サポート
• 公式クイックスタートは、HTML にデータが含まれるなら HTTP 優先を推奨

料金： 無料。オープンソースでセルフホストします。

制限： JavaScript／TypeScript か Python の知識が必要です。コミュニティのドキュメントは Scrapy ほど厚くありません。ブロック対策機能は許諾やアクセス権を保証するものではなく、検知リスクを下げるだけで、無断クロールを正当化するものではありません。

向いている人： モダンな SPA や JS レンダリングのサイトを、キュー管理とブロック対策込みでクロールしたい中級 JavaScript 開発者。

Crawlee クイックスタート：インストールから最初のデータまで

npx crawlee create my-crawler
cd my-crawler

セットアップのプロンプトが出たら Playwright のテンプレートを選びます。

src/routes.ts のハンドラーを編集して必要な項目を抽出したら、次を実行します。

npm start

結果はローカルのデータセットディレクトリに JSON で保存されます。テスト実行から先へ進む前に、maxRequestsPerCrawl、深さ制限、同一ドメイン限定のルール、無理のない並列数の上限を設定しておきましょう。

8. Playwright

Playwright は Microsoft が開発する Apache ライセンスのブラウザ自動化フレームワークで、Python、Node.js、Java、.NET に対応します。実際の Chromium、Firefox、WebKit を動かすため、JavaScript でコンテンツを読み込むページ、ログインが必要なページ、複雑な操作を伴うページに滅法強いのが特徴です。

主な機能：

• 3 つのエンジンでの本物のブラウザレンダリング
• SPA、ログイン、クリック、フォーム入力、ファイルダウンロード、スクリーンショット、PDF に対応
• 複数言語サポート（Python、JS／TS、Java、.NET）
• 優れたドキュメントと活発な開発
• ネットワークの傍受とリクエストのモック

Playwright ではないもの： 完結したクローラーではありません。URL フロンティア、重複排除キュー、ポライトネスポリシー、リトライ設計、データのフィードエクスポートは標準では用意されていません。そこは自分で作るか、Crawlee のようにそれらを備えたフレームワークと組み合わせることになります。

料金： 無料。オープンソースです。

向いている人： JS 主体、あるいはログインが必要なサイトでブラウザ操作を自動化したい中級開発者で、その周りのクロール処理を自作するのが苦にならない人。

9. Screaming Frog

Screaming Frog SEO Spider は Windows、macOS、Linux で動くデスクトップ型のテクニカル SEO クローラーです。汎用のデータ抽出ツールではなく、SEO 監査の定番——リンク切れ、リダイレクトチェーン、重複コンテンツ、メタデータの欠落など、数百種類のテクニカル SEO の問題を洗い出すためのツールです。

主な機能：

• 500 URL まで無料でクロール（試用期間ではなく無期限）
• リンク切れ、リダイレクトチェーン、重複コンテンツ、メタデータ欠落の検出
• ページタイトル、メタディスクリプション、見出し、画像などを詳細なタブで確認
• 有料版では JavaScript レンダリング、クロール結果の保存、カスタム抽出、GA／GSC 連携、AI 連携（OpenAI、Gemini、Anthropic、Ollama）が追加されます

料金： 無料版は 1 クロール 500 URL で期限なし。ただし JavaScript レンダリング、高度な設定、カスタム抽出、外部連携は含まれません。ライセンスは1 ユーザーあたり年 £199 ／ $279 ／ €245 です。

制限： SEO に馴染みがない人には学習コストが高めです。ローカルマシンのリソースを消費します（大規模サイトではメモリがボトルネック）。月額プランはありません。汎用のデータ抽出用ではなく、あくまで監査ツールです。

向いている人： SEO 監査とサイトのテクニカル分析が目的の初心者。商品データの抽出やリードリストの作成が目的なら、ほかを探しましょう。

10. Colly

Colly は Apache ライセンスの Go 製 HTTP クローラー／スクレイパーフレームワークです。コールバック方式の API、並列制御、セッション／Cookie、キュー、キャッシュ、差し替え可能なストレージバックエンドを備えています。

主な機能：

• リソース消費が少なく高速な並行 HTTP クロール
• すっきりしたコールバック駆動の API
• Cookie／セッション処理とキャッシュを標準搭載
• LimitRule によるドメイン単位のレート制限
• 現在のインストール方法：go get github.com/gocolly/colly/v2

初心者が必ず知っておくべき注意点： Colly の現行ソースは、既定で IgnoreRobotsTxt = true に初期化されています。明示的に false を設定し、LimitRule で適切な遅延と並列数を指定してください。この手当てをしないと、Colly は robots.txt を無視し、対象サーバーに簡単に過負荷をかけてしまいます。

料金： 無料。オープンソースです。

制限： Go のプログラミング知識が必要です。JavaScript レンダラーも汎用のフィードエクスポーターも内蔵しておらず、出力のシリアライズは自分で書きます。コミュニティは Python 系ツールより小さめです。

向いている人： Go が書けて、静的サイトや API 向けに高速・軽量な HTTP クローラーが欲しい上級初心者。ただし robots とレート制限は必ず明示的に設定すること。

無料枠の比較：課金前に本当にできること

コストを気にする初心者が探しているのは、この表でしょう。以下のツールは 2 つに分かれます。上限はあるがインフラ不要のフリーミアム製品と、ページ数は無制限だが全部自分でホストするオープンソースです。

フリーミアム／デスクトップ製品の無料枠

ツール	無料の上限	プロジェクト／タスク数	エクスポート制限	期間限定？	使えない主な機能
Octoparse	1 クロールのページ数は無制限	10 タスク	1 回 10K 行、月 50K 行	いいえ（無期限）	クラウド、スケジュール、IP ローテーション、API
ParseHub	1 実行 200 ページ	公開プロジェクト 5 件	CSV／JSON	いいえ（無期限）	プロジェクトやデータが公開になる場合あり、保持 14 日
Thunderbit	月 6 ページ	該当なし	Excel／CSV、Sheets、Airtable、Notion	いいえ（無期限）	ページネーション、サブページ、一括、スケジュールは Starter
Firecrawl	月 1,000 クレジット	該当なし	全形式	いいえ（無期限）	同時リクエスト 2 件、低いレート上限
Screaming Frog	1 クロール 500 URL	実行回数は無制限	エクスポート制限あり	いいえ（無期限）	JS レンダリング、クロール保存、カスタム抽出、外部連携

オープンソースツール（セルフホスト）

ツール	ページ上限	ライセンス	自己負担するもの
Scrapy	なし	BSD	計算資源、帯域、ストレージ、任意のブラウザ連携
Crawlee	なし	Apache	計算資源、帯域、ブラウザプロセス
Crawl4AI	なし	Apache-2.0＋帰属表示	計算資源、ブラウザプロセス、任意の LLM 推論
Playwright	なし	Apache	計算資源、ブラウザプロセス（CPU／メモリ負荷が高い）
Colly	なし	Apache	計算資源、帯域

ソフトウェア予算がゼロでコードが書けるなら、オープンソース勢を選べばベンダーのページ枠に縛られません。ただしインフラ、対象サイト側の制限、運用コストは残ります。コードが書けないなら、Octoparse、ParseHub、Thunderbit がそれぞれ無料の入り口を用意しています。上限とプライバシー条件だけは確認しておきましょう。

最初の 10 分：スキル別の 3 つのクイックスタート

理屈も大事ですが、手を動かすほうがもっと大事です。スキル層ごとに 1 本ずつ、ゼロから最初のデータ書き出しまでの流れを紹介します。

ノーコード編：Thunderbit を使ってみる

1. Thunderbit のブラウザ拡張機能をインストールする
2. 対象ページ（商品一覧、ディレクトリ、検索結果ページなど）を開く
3. Thunderbit のアイコンをクリックして One Click Extract を選ぶ — AI がページを読み取り、構造を判断し、どの列を取るか決めて、一気に抽出します
4. 拡張機能上で結果を確認し、列の名前変更・削除・追加や Field AI Prompts での調整を行ってから、Excel、Google Sheets、Airtable、Notion にエクスポートする

対応ページであれば、プログラミングのプロジェクトというより、ちょっとした設定だけで終わる作りになっています。

もう少し詳しい手順は、Thunderbit でウェブページからデータを抽出する方法の記事をご覧ください。

Python 初心者編：Scrapy を使ってみる

上の Scrapy のセクションにある注釈つきクイックスタートを参照してください。要は pip install scrapy、scrapy startproject、スパイダーに ROBOTSTXT_OBEY = True と DOWNLOAD_DELAY を設定、そして scrapy crawl example -o output.json。規模を広げる前に scrapy shell でセレクタを試しましょう。所要時間は Python 環境構築の慣れ次第です。

JavaScript 編：Crawlee を使ってみる

上の Crawlee クイックスタートを参照してください。npx crawlee create my-crawler を実行し、Playwright テンプレートを選び、ハンドラーを編集して npm start。結果はローカルのデータセットディレクトリに JSON で出てきます。規模を広げる前に maxRequestsPerCrawl とドメイン制約を追加しましょう。

クローラーのプロジェクト全体がどう噛み合うのかを Python 中心にじっくり追いたい方には、この講座が良い伴走役になります。

クレジットカード不要で無料お試し 無料プランは月 6 ページまで使えるので、有料ツールを決める前にデータ抽出を練習できます。 Get Started Free

最初のクロールを台無しにする初心者の 5 つのミス（と回避法）

フォーラムで繰り返し目にする話ですが、上位表示されている記事でこれを独立した章として扱っているものは見当たりません。

ミス 1：JavaScript でレンダリングするサイトに HTTP 専用クローラーを使う

問題： 最近のサイトの多くは、最初の HTML レスポンスの後に JavaScript でデータを読み込みます。単純な HTTP リクエストでは、空の <div> が並んだ骨組みだけが返ってきて、肝心のデータがありません。

対処： ツールを決める前に、対象ページを開いて右クリックし、ソースを表示してみてください。必要なデータが生の HTML に見当たらないなら、ブラウザレンダリング対応のツールが必要です。Playwright、Crawlee の PlaywrightCrawler、あるいは Thunderbit や Octoparse のようにブラウザ上で描画するノーコードツールが候補になります。ただし HTTP で足りるのにブラウザを使うのはコストと複雑さを増やすだけなので、そこは見極めましょう。

ミス 2：robots.txt とクロール遅延のルールを無視する

問題： robots.txt は、特定のクローラートークンがどのパスにアクセスしてよいかを伝える標準です。サイトのクロールポリシーを無視すれば、ブロック、業務上の実害、コンプライアンスリスクにつながります。

対処： クロール前に必ず yoursite.com/robots.txt を確認し、使うツールの実際の既定値も検証してください。既定値はツールごとに違います。たとえば Colly は IgnoreRobotsTxt = true で初期化されるので、明示的な設定が要ります。なお robots.txt はクロール制御のシグナルであって、法的な許諾ではありません。アクセスが許可されたパスであっても、そのデータを任意の目的で収集・再利用してよいという免許にはなりません。

ミス 3：レート制限をかけずにリクエストを送りすぎる

問題： 毎秒何百というリクエストを浴びせれば、相手のサーバーを圧迫し、自分の IP はブロックされ、作法としても論外です。

対処： かならず遅延を入れましょう。Scrapy なら DOWNLOAD_DELAY = 2 と低めの CONCURRENT_REQUESTS_PER_DOMAIN。Colly なら LimitRule で遅延と並列数を設定します。クラウド／ノーコードのツールはたいてい自動で調整しますが、設定は確認しておいてください。まずは 1 ドメインあたり同時 1 リクエストから始め、サイトの挙動と利用規約が許す範囲でだけ増やしていきます。

ミス 4：小さな案件に大規模向けのツールを選ぶ

問題： 500 ページの案件のために、プロキシローテーションとメッセージキューを備えた分散 Scrapy クラスタを組むのは、食材の買い出しに大型トレーラーを借りるようなものです。

対処： 最初のフローチャートに戻りましょう。ツールの複雑さは案件の規模に合わせること。小規模な単発の抽出なら、ブラウザ拡張機能か簡単なスクリプトがほぼ常に正解です。

ミス 5：出力データを検証しない

問題： 初心者は中身を確かめずにデータを書き出しがちで、あとから行の半分が空だったり、重複していたり、文字化けしていたことに気づきます。

対処： 本番のクロールを回す前に、最初の 10〜20 行は必ず目視で確認してください。空の項目、文字化けなどのエンコーディング問題、行の重複、想定外の値がないかを見ます。着手前に期待するスキーマ——どんな列があるべきか、型は何か、必須項目はどれか——を決めておきましょう。クロールが正常終了したことは、データが正確である証明にはなりません。

「LLM-ready な出力」とは何か（AI を作らない人にも効く理由）

2026 年のクローラーのマーケティング文句には「LLM-ready」が氾濫しています。そして解説のほとんどは、読者がベクトルデータベースを知っている前提で書かれています。ここでは噛み砕いて説明します。

LLM-ready な出力とは、AI モデル（GPT や Claude など）が手作業のクリーンアップなしにそのまま取り込める、きれいで構造化されたテキストのことです。整然としたスプレッドシートを手渡すのと、広告やナビゲーションメニューや Cookie バナーがくっついたまま印刷したウェブページの束を手渡すのとの違い、と考えてください。

チャットボットを作る予定がなくても、なぜ気にする価値があるのか。LLM-ready な出力を狙って設計されたツールは、誰にとってもきれいで使いやすいデータを出す傾向があるからです。後処理は減り、ゴミ列は減り、エンコーディングの頭痛も減ります。きれいなデータはきれいなデータ。読むのが人間でも機械でも変わりません。

このリストの中で、標準で LLM-ready な出力を作れるのは？

• Firecrawl → きれいな Markdown、要約、構造化 JSON
• Crawl4AI → 複数バリエーションの Markdown、構造化チャンク、テーブル
• Thunderbit → AI が提案する構造化項目と、プロンプトによる正規化

イメージしやすいよう、ビフォー／アフターを見てみましょう。商品ページの生 HTML はたとえばこんな具合です。

<div class="product-card">
  <span class="price">$29.99</span>
  <h2 class="title">Wireless Mouse</h2>
  <p class="desc">Ergonomic design, 2.4GHz...</p>
  <a href="/buy" class="btn">Add to Cart</a>
</div>

Firecrawl が出す LLM-ready な Markdown はこうなります。

## Wireless Mouse
- **Price:** $29.99
- **Description:** Ergonomic design, 2.4GHz

Thunderbit の構造化出力はこうです。

商品名	価格	説明
Wireless Mouse	$29.99	Ergonomic design, 2.4GHz

どちらもそのまま使えます。HTML のパースも、広告の除去も、手作業の列マッピングも不要です。AI ベースの抽出が従来のスクレイピングとどう違うのかは、おすすめの AI ウェブスクレイパーのまとめもどうぞ。

責任あるウェブクローリング：倫理とコンプライアンスの要点

ウェブクローリングの倫理とコンプライアンスは、飛ばして済ませられる話ではありません。

• robots.txt を確認する。 クロール制御の標準シグナル（RFC 9309）ですが、法的な許諾でもセキュリティ境界でもありません。
• レート制限と Retry-After ヘッダーを尊重する。 429 や 503 が返ってきたら、速度を落とすか止めましょう。
• 公開データか、許諾を得たデータだけを使う。 目的を満たせるなら、公式 API やエクスポート機能を優先してください。
• サイトの利用規約を確認する。 公開されていることは判断材料にはなりますが、収集・再利用の万能な許可ではありません。
• 個人データには慎重に。 収集は最小限にし、保持・削除のルールを定め、機微な用途では専門家のレビューを受けてください。GDPR をはじめとする規制は、どのツールを使うかに関係なく適用されます。

多くのツールが責任あるクロールを支える設定を用意していますが、設定したからといって責任が運用者の手を離れるわけではありません。仕組みそのものをもう少し詳しく知りたい方は、ウェブスクレイピングとはの解説をご覧ください。

どのウェブクローラーから始めるべきか

スキル層ごとの要点をまとめます。

• コードを書かない： AI 支援のページ抽出なら Thunderbit、ビジュアルなワークフロー構築なら Octoparse、複雑な多段階フローなら ParseHub、SEO 監査なら Screaming Frog
• 中級 Python： 大規模な HTTP クロールなら Scrapy、LLM パイプラインなら Crawl4AI
• 中級 JavaScript： モダンな SPA のクロールなら Crawlee、複雑なブラウザ自動化なら Playwright
• Go： 高速な HTTP クロールなら Colly（robots とレート制限の明示設定が前提）
• マネージド API： セルフホストせずにきれいな Markdown が欲しいなら Firecrawl

最良のクローラーとは、扱うデータ、許諾、スキルレベル、運用上の制約に合ったものです。まずは小さく始め、小規模な実行で検証し、必要になってから複雑さを足していきましょう。AI 支援の抽出を試してみたいなら、Thunderbit のブラウザ拡張機能が、対応ページからスプレッドシートまでノーコードでつなげてくれます。

もっと詳しく

• AI ウェブスクレイピング
• コード不要のウェブスクレイピング
• ウェブスクレイピングとは
• Instant Data Scraper の代替ツール
• LinkedIn のスクレイピング

Thunderbit のエージェント型ウェブスクレイパーを試す Get Started Free

よくある質問

1. ウェブクローラーとは何ですか。ウェブスクレイパーとどう違いますか。

クローラーはページを発見して取得するものです。リンクをたどり、URL キューを管理し、重複排除や深さ制限を扱います。スクレイパーは、そのページから特定の構造化データを抜き出すもので、HTML を解析し、項目を選び、レコードとして出力します。最近のツールは程度の差こそあれ両方をこなし、用語も混用されがちですが、ツール選びでは違いが効いてきます。Playwright のようにページの描画は得意でもクロール基盤を持たないものもあれば、Scrapy のようにクロールのパイプラインは一式そろっていても JavaScript レンダリングにはプラグインが要るものもあります。

2. コーディングができない人に最適なウェブクローラーは？

一般的なデータ抽出なら、Thunderbit、Octoparse、ParseHub がノーコードの筆頭です。Thunderbit は AI が項目を提案するブラウザ拡張機能、Octoparse は Auto-detect 付きのビジュアルなワークフロービルダー、ParseHub は複数ステップの複雑なフローに強いのが持ち味です。SEO 用途に限れば、Screaming Frog の無料版がコード不要で 500 URL までクロールできます。

3. ウェブクローラーは無料で使えますか。

2 種類に分かれます。完全オープンソースのツール（Scrapy、Crawlee、Crawl4AI、Playwright、Colly）にはページ単価がありませんが、インフラは自前で用意し、計算資源・帯域・ストレージの費用を負担します。フリーミアムのツール（Octoparse、ParseHub、Thunderbit、Firecrawl、Screaming Frog）は、ページ数、プロジェクト数、エクスポート、機能などにさまざまな上限のある無料枠を提供しています。詳細は上の無料枠比較表をご覧ください。

4. ウェブクローラーは JavaScript 中心のサイトを扱えますか。

扱えますが、すべてではありません。ブラウザレンダリングを内蔵したツール——Playwright、Crawlee（PlaywrightCrawler）、Octoparse、ParseHub、Crawl4AI、そして Thunderbit（ブラウザモード経由）——なら JavaScript で読み込まれたコンテンツに対応できます。Scrapy と Colly は HTTP 優先で、JS レンダリングには別途ブラウザ連携が必要です。Screaming Frog が JavaScript レンダリングに対応するのは有料版だけです。いずれにせよ、まず対象ページのソース HTML を見て、本当にブラウザが必要かを確認しましょう。

5. ウェブクローリングは合法ですか。

一律にイエス・ノーで答えられる問題ではありません。法的な評価は、データの内容、アクセス方法、利用目的、サイトの利用規約、契約、知的財産のルール、GDPR などのプライバシー上の義務、そして適用される法域によって変わります。robots.txt はクロール制御のシグナルであって法的な許諾ではなく、公開されていることが包括的な許可になるわけでもありません。個別のケース——とくに個人データ、著作物、認証、商用の再利用が絡む場合——については、資格のある法律専門家に相談してください。