初心者向け Web クローラー10選をスキル別にランキング

Web の複雑さは年々増すばかりで、「このデータがほしい」と「どうやって取ればいいのか分かる」のあいだには、なかなか埋まらないギャップがあります。初心者にとって最初の疑問は、たいていすごくシンプルです。サイトから商品価格を取り出すだけなのに、Python を覚える必要って本当にあるの？

ありがたいことに、答えはノーです。とはいえ、その次の問い——じゃあ、実際にはどのツールを使えばいいの？——で、話は一気にややこしくなります。ノーコードのデスクトップアプリ、ブラウザ拡張、Python フレームワーク、Go ライブラリ、SEO 用スパイダー、マネージド API、そしてその境界をあいまいにするオープンソースプロジェクトまで、選択肢は本当にいろいろです。2026 年時点で注目したい 10 の候補を、初心者が本当に気にするポイント——必要なコーディング量、使えるデータにたどり着くまでの速さ、JavaScript が多いサイトに対応できるか、無料でどこまで使えるか、そしてどんな用途に向いているか——で整理しました。コードを書いたことがない人でも、最初のクローラーフレームワークを探しているジュニア開発者でも、ここにはちょうどいい出発点があります。

初心者向け Web クローラーの選び方

「初心者」とは「技術に詳しくない人」という意味だけではありません。Web クロールのワークフローをまだ作ったことがない人全般を指します。基礎的な Python や JavaScript は書けても、URL キューを扱ったことがない、robots.txt を触ったことがない、という人も含まれます。

各ツールは、初心者がフォーラムなどで実際によく気にする 6 つの観点で評価しました。

1. 必要なコーディング — なし、基礎的な Python/JS、中級以上
2. セットアップの難易度 — インストールから最初の実用データまでの時間
3. JavaScript 描画対応 — SPA や動的読み込みページに対応できるか
4. 無料枠の充実度 — 料金を払う前に何が使えるか
5. 出力形式 — CSV、JSON、Excel、Google Sheets など
6. 最適な用途 — 初心者にとってそのツールが本当に活きる場面

この一覧は、ノーコード（プログラミング不要）、中級（基礎的な Python か JavaScript）、上級寄りの初心者（Go あるいはより深いフレームワーク理解が必要）の 3 段階にまたがっています。どのツールが得意で、どこが弱いのかも率直に書いています。自分のスキルに合わないクローラーを選ぶと、午後の時間をあっという間に無駄にしがちだからです。

最初の Web クローラーを選ぶための簡易フローチャート

10 個のツールレビューを読み進める前に、まずは 3 つの質問に答えてみてください。条件の組み合わせから、あなたに合う 1〜2 個が見えてきます。

質問 1: コーディングの慣れ具合は？

• まったくない → 質問 2a へ
• 基礎的な Python が分かる → 質問 2b へ
• JavaScript/TypeScript が分かる → 質問 2c へ
• Go が分かる → Colly

質問 2a（ノーコード）: 主な目的は？

• 一般的なデータ抽出（商品情報、リード一覧、調査） → Thunderbit または Octoparse
• 複雑な多段フロー（ログイン、ドロップダウン、無限スクロール） → ParseHub または Octoparse
• SEO 監査 → Screaming Frog

質問 2b（Python）: 主な目的は？

• AI/LLM パイプライン（RAG、チャットボット学習） → Crawl4AI または Firecrawl
• 主に静的サイトを大規模に構造化クロールしたい → Scrapy
• JavaScript が多いサイトをブラウザで自動操作したい → Playwright（ただしクロールロジックは自分で組む前提）

質問 2c（JavaScript/TypeScript）: 主な目的は？

• アンチブロック機能付きのモダン SPA クロール → Crawlee
• ログイン、クリック、スクリーンショットなど複雑なブラウザ操作 → Playwright
• AI 向けにきれいな Markdown を取りたい → Firecrawl（API/SDK 経由）

予算フィルター: ソフトウェア予算が 0 円で、自前運用できるなら、ここで挙げるオープンソース系（Scrapy、Crawlee、Crawl4AI、Playwright、Colly）にはベンダーによるページ上限はありません。ただし、計算資源、帯域、ストレージ、保守、対象サイト側の制約は別途かかります。自前運用できない場合でも、Octoparse、ParseHub、Thunderbit、Firecrawl、Screaming Frog には、それぞれ異なる上限つきの無料プランがあります。

このフローチャートだけでも、タブを行き来する時間をかなり節約できるはずです。ぜひ保存しておきましょう。

一目で分かる初心者向け Web クローラー比較

以下が全体比較表です。「必要なコーディング」では、どの言語が必要か（あるいは不要か）が分かります。「JS Rendering」は JavaScript で内容が生成されるページに対応できるかどうかを示します。「Free Tier」は無料でどこまで使えるかの要約です。詳細レビューはこのあとに続きます。

ツール	スキルレベル	必要なコーディング	JS 描画対応	無料枠	最適用途
Octoparse	初心者	なし	✅ 標準搭載	無料プラン: 10 タスク、ローカル実行のみ、1 回の出力で 1 万行	クリック操作で構造化サイトをスクレイピング
ParseHub	初心者	なし	✅ 標準搭載	5 件の公開プロジェクト、1 回の実行で 200 ページ、14 日保存	コードなしで複雑な多ページフローを扱う
Thunderbit	初心者	なし	✅ ブラウザ経由	無料枠（最新の上限を確認）	今見ているページから AI 支援で抽出
Crawl4AI	中級	Python	✅ Chromium	オープンソース（自前運用）	RAG パイプライン向けの LLM 対応クロール
Firecrawl	中級	API/SDK	✅ マネージド	月 1,000 クレジット（クラウド）	AI 取り込み向けのきれいな Markdown 出力
Scrapy	中級	Python	⚠️ プラグインが必要	オープンソース（BSD）	大規模で自由度の高い HTTP クロール
Crawlee	中級	JS/TS または Python	✅ Playwright 経由	オープンソース（Apache）	アンチブロック対応のモダンな JS クロール
Playwright	中級	Python/JS/Java/.NET	✅ ネイティブ	オープンソース（Apache）	ブラウザ自動化 + JS が重いサイトの操作
Screaming Frog	初心者	なし	✅（有料版のみ）	500 URL/クロール（永久無料）	SEO 監査と技術的サイト分析
Colly	上級寄りの初心者	Go	⚠️ 標準ではなし	オープンソース（Apache）	高速・軽量な並列 HTTP クロール

それでは、各ツールを詳しく見ていきましょう。

1. Octoparse

Octoparse は、ノーコードで使えるデスクトップ型のタスクビルダーで、必要に応じて有料クラウド実行も利用できます。URL を貼り付けると、Auto-detect が繰り返しデータやページ遷移パターンを見つけ、プレビューを確認してからローカルで実行します。ビジュアルなワークフローエディタは、ループ、分岐、ページネーション、無限スクロール、AJAX、フォーム、ドロップダウンに対応していますが、動的なフローでは手動でタイミング調整が必要になることがあります。

主な機能:

• データ項目とページ遷移を自動検出
• 内蔵ブラウザによる JavaScript 描画
• よくあるサイト向けの豊富なテンプレート
• ループ、分岐、セレクター制御を含む編集可能なワークフロー
• Excel、CSV、HTML、JSON、XML、Google Sheets、データベースへの出力（プラン依存）

料金: 制限付きの無料枠ではローカル実行が可能です。クラウド実行、スケジュール、IP ローテーション、API アクセスには有料プランが必要です。プランの制限は変わることがあるため、契約前に最新料金を確認してください。

向いている人: EC サイト、ディレクトリ、一覧ページから、コードなしで繰り返し構造化データを取得したい初心者。ブラウザ拡張の手軽さや、LLM 向けの出力形式を重視する場合は少し不向きです。

2. ParseHub

ParseHub は、Windows、macOS、Linux（AppImage 経由）で使えるダウンロード型のビジュアル抽出ツールです。コマンドツリー形式の UI で、選択、クリック、フォーム入力、スクロール、ページテンプレートを組み立てられます。AJAX/JavaScript、ドロップダウン、タブ、ポップアップ、ページネーション、ログインフォーム、無限スクロールに対応しています。

主な機能:

• 多段階の抽出フローを組めるビジュアルコマンドツリー
• AJAX、JavaScript、ドロップダウン、タブ、無限スクロールに対応
• クロスプラットフォームのデスクトップアプリ（Windows、macOS、Linux）
• プログラムから取得できる API アクセス
• CSV と JSON に出力可能

料金: 無料プランと有料プランがあります。課金対象の「ページ」は URL そのものだけでなく、クリックやスクロールで発生する動的読み込みを含む場合があるため、ページ数の上限がそのまま URL 数と一致するとは限りません。プランを選ぶ前に、プロジェクト数、実行回数、保存期間の最新制限を必ず確認しましょう。

プライバシー上の注意: 進行中の業務用アカウントの認証情報を第三者製クローラーに入れる前に、ログイン情報やプロジェクトデータがどのように保存されるかを確認してください。評価用には権限を絞ったテストアカウントを使うのが安全です。

向いている人: ログイン、ドロップダウン、スクロール読み込みなどがある動的で多段階のサイトを、コードなしで取得したい初心者。

ParseHub と Octoparse の違い

どちらも JavaScript に対応したノーコードのデスクトップツールですが、ParseHub のコマンドツリー型モデルは多段階フローをより明示的に組み立てられるため、複雑なナビゲーションに向いています。その一方で、単純な作業では少し入り口が重く感じることもあります。Octoparse の Auto-detect は、構造が分かりやすいサイトなら素早く使え、無料プランの出力上限もより寛大です。対象サイトが主に表やリストなら、まずは Octoparse から始めるとよいでしょう。クリック、フォーム入力、条件分岐を何段もつなぐ必要があるなら、ParseHub の方が分かりやすいかもしれません。

3. Thunderbit

Thunderbit は、Chrome と Edge 用の AI Web Scraping ブラウザ拡張で、すでに開いているページからデータを取り出したい非技術系のビジネスユーザー向けに作られています。（開示しておくと、私は Thunderbit で働いています。そのため、強みも制約も率直にお伝えします。）

主な機能:

• AI Suggest Fields がページ内容に基づいて列を自動推定
• 抽出時に分類、翻訳、整形、正規化を行うフィールド単位の AI プロンプト
• Excel/CSV、Google Sheets、Airtable、Notion への出力
• Browser Mode はユーザーのレンダリング済みセッションを使うため、対応ページでは JavaScript 読み込み済みコンテンツも扱える
• インストール不要で、ブラウザ拡張 を入れるだけ

料金: 現在の無料枠は月 6 ページ、1 ページあたり最大 30 クレジットです。Starter は月額 15 ドル（年払いなら月額 9 ドル）で、ページネーション、サブページ抽出、一括スクレイピング、データ拡張、事前構築済みスクレイパー、スケジュール機能が追加されます。最新料金はこちら をご確認ください。

知っておきたい制限: Thunderbit はページ／スキーマ中心の設計で、サイト全体を巡回するスパイダーではありません。ページネーションとサブページ抽出は Free ではなく Starter 機能です。AI が提案したフィールドは、実行前に必ず確認しましょう。提案は優秀ですが、完璧ではありません。

向いている人: ブラウザで今見ているページから構造化データを取り出したい営業、オペレーション、リサーチチーム。手作業で列を設定せずに済む AI の補助がほしい人に特に向いています。対応ページから表や一覧、レコード群を素早く取り出してスプレッドシートに出したいなら、私が知る中では最短ルートです。

AI 支援の抽出が実務でどう機能するかは、AI web scraping のガイドも参考にしてください。

4. Crawl4AI

Crawl4AI は、LLM ワークフロー向けにきれいな出力を作ることを目的とした、オープンソースのブラウザファーストな Python クローラーです。生 HTML と整形済み HTML、複数の Markdown 形式、構造化抽出コンテンツ、リンク、メディア、表、スクリーンショット、PDF、MHTML を出力できます。

主な機能:

• 内部で Chromium/Playwright を使う AsyncWebCrawler
• RAG パイプラインやエージェントワークフロー向けの複数出力形式
• 重要なリンクを優先し、十分な情報が集まったら止まる適応型クロール
• Ollama などのローカル提供元やクラウド API を使った任意の LLM 抽出
• 追加の帰属表示要件を含む Apache-2.0 ライセンス

料金: 完全なオープンソースで、ページ単位の料金はありません。インフラは自分で用意し、LLM 推論が必要ならその分だけ（ローカルまたはクラウドで）支払います。

制約: Python の async 知識とブラウザ依存関係が必要です。抽出品質は、（使う場合）LLM の性能に左右されます。適応型クローラーは情報充足のシグナルを使って関連リンクを優先しますが、CSS セレクターを恒久的に学習したり、自動修復したりはしません。

向いている人: 追加コストを気にせず、中級 Python スキルで AI データパイプラインを作りたい人。

5. Firecrawl

Firecrawl は、Python と Node.js 用 SDK を備えたマネージド Web データ API であり、同時に AGPL ライセンスのセルフホスト版コードベースも提供しています。クラウドサービスは JavaScript 描画を処理し、Markdown、要約、HTML、リンク、画像、スクリーンショット、JSON、変更追跡を返します。

主な機能:

• path フィルター、探索深度、sitemap、制限、遅延、同時実行制御 に対応した /crawl エンドポイント
• マネージドクラウドでの自動 JavaScript 描画
• きれいな Markdown を含む複数の出力形式
• サイト構造を素早く把握できる /map エンドポイント
• 基本クロールとは別に、多段階対話向けの Browser/Interact とベータ版エージェント経路

料金: Cloud Free は 月 1,000 クレジット で、同時リクエストは 2 件、レート制限も低めです。有料プランはクレジット数と同時実行数ベースなので、最新条件は料金ページで確認してください。セルフホストにすると、インフラと保守は自分で担うことになり、マネージドクラウドの機能がすべて使えるわけではありません。

制約: 基本の /crawl はリンクと sitemap から URL を再帰的に見つけますが、任意のクリック型ページネーションを必ず処理できるとは限りません。必要クレジットは操作の種類で変わります。セルフホスト版とクラウド版では機能差があります。

向いている人: Web サイトの内容を LLM、チャットボット、ナレッジベースに流し込みたい中級ユーザーで、ブラウザスタックを自前運用するよりマネージドサービスを使いたい人。

Firecrawl と Crawl4AI: AI パイプラインにはどちらが向いている？

Firecrawl は、URL を送れば構造化出力が返ってくる、マネージドな Markdown 変換に強みがあります。Crawl4AI は、ブラウザと任意の LLM を自分で制御したいローカル優先の運用に強みがあります。インフラ管理を最小限にしたいなら Firecrawl のクラウドが楽です。ベンダーのページ課金を避けつつ完全に自前運用したい、しかも Python の async に抵抗がないなら Crawl4AI の方が自由度は高いでしょう。

6. Scrapy

Scrapy は、Twisted の async エンジン上に構築された、長年使われてきた BSD ライセンスの Python クロール／スクレイピングフレームワークです。リクエストのスケジューリング、リンク追跡、重複排除、ミドルウェア、リトライ、スロットリング、パイプライン、そして JSON、JSON Lines、CSV、XML、pickle、marshal への feed 出力 を提供します。

主な機能:

• 大規模かつ制御されたクロールに向く非同期リクエスト処理
• プロキシ、リトライ、スロットリング、カスタムヘッダーなどの豊富なミドルウェア群
• データの整形と保存のための構造化パイプライン
• 圧倒的に大きいコミュニティ、ドキュメント、第三者製拡張
• 完全オープンソース（BSD ライセンス）

制約: ネイティブの JavaScript 描画はありません。公式の 動的コンテンツに関するガイド では、可能なら元データソースを直接見つけるか、あるいは scrapy-playwright のようなブラウザ／描画コンポーネントを意図的に組み込むことが推奨されています。spider、middleware、item pipeline、settings といった構成は、ちゃんと学習コストがあります。

料金: 無料。自分でホストします。

向いている人: 主に静的、またはサーバー側でレンダリングされる大規模サイトをクロールしたい中級 Python ユーザー。

Scrapy を始める: 注釈付きクイックスタート

インストールから最初のデータ取得までの最短手順は次のとおりです。

pip install scrapy
scrapy startproject beginner_crawl
cd beginner_crawl
scrapy genspider example example.com

beginner_crawl/spiders/example.py を開いて編集します。

import scrapy

class ExampleSpider(scrapy.Spider):
    name = "example"
    allowed_domains = ["example.com"]       # このドメイン内だけを対象にする
    start_urls = ["https://example.com"]    # 起点 URL

    custom_settings = {
        "ROBOTSTXT_OBEY": True,            # robots.txt を尊重
        "DOWNLOAD_DELAY": 2,               # リクエスト間を 2 秒空ける
        "CLOSESPIDER_PAGECOUNT": 10,       # 10 ページで停止（安全上の上限）
        "USER_AGENT": "Beginner-Crawl-Bot (+https://yoursite.com/bot-info)",
    }

    def parse(self, response):
        yield {
            "title": response.css("title::text").get(),
            "url": response.url,
        }
        # ページ内のリンクをたどる（allowed_domains 内のみ）
        for link in response.css("a::attr(href)").getall():
            yield response.follow(link, callback=self.parse)

実行:

scrapy crawl example -o output.json

大きく広げる前に、まずは scrapy shell "https://example.com" でセレクターを確認しておきましょう。仮想環境やターミナル操作に慣れていない場合、セットアップに 10 分以上かかっても不思議ではありません。

7. Crawlee

Crawlee は、Apify が保守する、JavaScript/TypeScript と Python 向けの Apache ライセンスのクローラーライブラリです。HTTP のみを扱うクラス（CheerioCrawler など）に加え、Playwright/Puppeteer ベースのブラウザクローラー、リクエストキュー、データセット、セッション管理、リトライ、境界制御を備えています。

主な機能:

• プロジェクトごとに HTTP 優先（CheerioCrawler）かフルブラウザ（PlaywrightCrawler）を選べる
• リクエストキュー、重複排除、データセット保存を内蔵
• セッション管理、ブラウザフィンガープリント、リトライ、リクエスト境界制御
• TypeScript ファーストで、Python も安定サポート
• 公式クイックスタート では、HTML 内にデータがあるなら HTTP 優先を推奨

料金: 無料。オープンソースの自前運用です。

制約: JavaScript/TypeScript か Python の知識が必要です。Scrapy よりコミュニティ文書は少なめです。アンチブロック機能は、許可を与えるものではなく、検知リスクを下げるだけであり、無断クロールを正当化するものではありません。

向いている人: 現代的な SPA や JavaScript 描画サイトを、キュー管理やアンチブロック機能込みでクロールしたい中級 JavaScript 開発者。

Crawlee クイックスタート: インストールから最初のデータまで

npx crawlee create my-crawler
cd my-crawler

セットアップ時にテンプレート選択が出たら、Playwright テンプレートを選んでください。

src/routes.ts のハンドラーを編集して必要な項目を抽出し、その後:

npm start

結果はローカルの dataset ディレクトリに JSON として保存されます。テスト実行を超えて拡張する前に、maxRequestsPerCrawl、深さ制限、同一ドメインルール、適切な同時実行数の上限を設定しておきましょう。

8. Playwright

Playwright は、Microsoft が提供する Apache ライセンスのブラウザ自動化フレームワークで、Python、Node.js、Java、.NET をサポートしています。実際の Chromium、Firefox、WebKit を操作するため、JavaScript で内容が読み込まれるページ、ログインフローが必要なページ、複雑な操作があるページに非常に強いです。

主な機能:

• 3 つのエンジンで実ブラウザをネイティブ描画
• SPA、ログイン、クリック、フォーム入力、ファイルダウンロード、スクリーンショット、PDF に対応
• 複数言語対応（Python、JS/TS、Java、.NET）
• 優れたドキュメントと活発な開発
• ネットワークのインターセプトとリクエストモック

Playwright でないもの: 完全なクローラーではありません。ネイティブの URL フロンティア、重複排除キュー、politeness policy、リトライモデル、データフィード出力は提供しません。これらは自分で実装するか、Crawlee のようなフレームワークと組み合わせて使います。

料金: 無料。オープンソースです。

向いている人: JavaScript が多いサイトやログイン保護されたサイトでブラウザ操作を自動化したい中級開発者で、自分でクロールロジックを組むことに抵抗がない人。

9. Screaming Frog

Screaming Frog SEO Spider は、Windows、macOS、Linux 向けのデスクトップ型技術 SEO クローラーです。一般的なデータ抽出ツールではなく、SEO 監査、壊れたリンク、リダイレクトチェーン、重複コンテンツ、欠落メタデータ、その他数百の技術的 SEO 問題を見つけるための定番ツールです。

主な機能:

• 500 URL まで無料でクロール可能（試用版ではなく恒久無料）
• 壊れたリンク、リダイレクトチェーン、重複コンテンツ、メタ情報不足を検出
• ページタイトル、メタディスクリプション、見出し、画像などの詳細タブ
• 有料版では JavaScript 描画、クロール保存、カスタム抽出、GA/GSC 連携、AI 連携（OpenAI、Gemini、Anthropic、Ollama）が追加

料金: 無料版は永久に 500 URL/クロールまで使えますが、JavaScript 描画、高度な設定、カスタム抽出、各種連携は含まれません。ライセンスは 1 ユーザー/年あたり £199 / $279 / €245 です。

制約: SEO 以外の人には学習コストが高めです。ローカル端末のリソースをかなり使います（大規模サイトではメモリがボトルネックになりやすいです）。月額プランはありません。一般的なデータ抽出向けではなく、監査ツールです。

向いている人: SEO 監査や技術的なサイト分析に集中したい初心者。商品データの抽出やリードリスト作成が目的なら、別のツールを選びましょう。

10. Colly

Colly は、コールバックベースの API、同時実行制御、セッション/クッキー、キュー、キャッシュ、差し替え可能なストレージバックエンドを備えた、Apache ライセンスの Go 用 HTTP クローラー／スクレイピングフレームワークです。

主な機能:

• リソース消費が少ない高速な並列 HTTP クロール
• すっきりしたコールバック駆動 API
• クッキー/セッション処理とキャッシュを内蔵
• LimitRule によるドメイン単位のレート制限
• 現在のインストール方法: go get github.com/gocolly/colly/v2

初心者向けの重要注意点: Colly の現在のソースでは、IgnoreRobotsTxt = true がデフォルトで初期化されます。必ず明示的に false に設定し、適切な delay と parallelism を持つ LimitRule を構成してください。これをしないと robots.txt を無視し、対象サーバーに負荷をかけやすくなります。

料金: 無料。オープンソースです。

制約: Go のプログラミング知識が必要です。JavaScript 描画機能や汎用的なフィード出力は内蔵していないため、出力は自分でシリアライズします。Python 系ツールよりコミュニティは小さめです。

向いている人: Go に慣れていて、静的サイトや API 向けに高速で軽量な HTTP クローラーが欲しい上級寄りの初心者。ただし、robots とレート制限は必ず明示的に設定することが前提です。

無料枠比較: 料金を払う前に何が使える？

コストを気にする初心者が一番知りたい表です。以下のツールは、2 つのカテゴリに分けています。ひとつはフリーミアム製品（上限はあるがインフラ不要）、もうひとつはオープンソース（ページ数は無制限だが自分でホストする必要あり）です。

フリーミアム / デスクトップ無料枠

ツール	無料の上限	プロジェクト/タスク上限	出力制限	期間限定？	主な制約
Octoparse	クロールページ数は無制限	10 タスク	1 回の出力で 1 万行、月 5 万行	いいえ（恒久）	クラウド、スケジュール、IP ローテーション、API
ParseHub	1 回の実行で 200 ページ	5 件の公開プロジェクト	CSV/JSON	いいえ（恒久）	プロジェクト/データが公開される場合あり、14 日保存
Thunderbit	月 6 ページ	なし	Excel/CSV、Sheets、Airtable、Notion	いいえ（恒久）	ページネーション、サブページ、一括処理、スケジュールは Starter
Firecrawl	月 1,000 クレジット	なし	すべての形式	いいえ（恒久）	同時リクエスト 2 件、低レート制限
Screaming Frog	500 URL/クロール	実行回数は無制限	制限あり	いいえ（恒久）	JS 描画、クロール保存、カスタム抽出、各種連携なし

オープンソースツール（自前運用）

ツール	ページ上限	ライセンス	負担するコスト
Scrapy	なし	BSD	計算資源、帯域、ストレージ、任意のブラウザ連携
Crawlee	なし	Apache	計算資源、帯域、ブラウザプロセス
Crawl4AI	なし	Apache-2.0 + 帰属表示	計算資源、ブラウザプロセス、任意の LLM 推論
Playwright	なし	Apache	計算資源、ブラウザプロセス（CPU/メモリ消費大）
Colly	なし	Apache	計算資源、帯域

ソフトウェア予算がゼロで、コードも書けるなら、オープンソース系はベンダーのページ上限を回避できます。ただし、インフラ、対象サイト側の制限、運用コストは残ります。コードが書けない場合でも、Octoparse、ParseHub、Thunderbit には無料の入り口があります。上限とプライバシー条件だけはしっかり確認しましょう。

最初の 10 分: 3 つのスキルレベル別クイックスタート

理屈も大事ですが、実際に触るほうがもっと大事です。ここでは、スキル帯ごとに代表的な 3 つのツールで、ゼロから最初の出力まで進む手順を紹介します。

ノーコード手順: Thunderbit を始める

1. Thunderbit ブラウザ拡張 をインストールする
2. 対象ページを開く（商品一覧、ディレクトリ、検索結果ページなど）
3. Thunderbit アイコンをクリックして AI Suggest Fields を選ぶ — ページ内容に基づいて列を自動推定します
4. 提案されたフィールドを確認・編集する（列名の変更、削除、追加、分類や整形用の Field AI Prompts の設定など）
5. Scrape をクリックする
6. 拡張機能内で結果を確認し、Excel、Google Sheets、Airtable、Notion にエクスポートする

対応ページなら、これは「プログラミングのプロジェクト」ではなく、短時間のセットアップで済むように設計されています。

より詳しい手順は、Thunderbit を使って Web ページからデータを抽出する方法 のガイドをご覧ください。

Python 初心者向け手順: Scrapy を始める

上の Scrapy セクションの注釈付きクイックスタートを参照してください。基本コマンドは pip install scrapy、scrapy startproject、ROBOTSTXT_OBEY = True と DOWNLOAD_DELAY を設定して spider を編集し、最後に scrapy crawl example -o output.json です。大きく広げる前に scrapy shell でセレクターをテストしましょう。所要時間は Python 環境の経験に左右されます。

JavaScript 手順: Crawlee を始める

上の Crawlee クイックスタートを参照してください。npx crawlee create my-crawler を実行し、Playwright テンプレートを選び、ハンドラーを編集してから npm start。結果はローカル dataset ディレクトリに JSON として保存されます。拡張する前に maxRequestsPerCrawl とドメイン制約を追加しておきましょう。

クローラープロジェクトの全体像を Python 起点でしっかり把握したいなら、この講座が良い補助になります。

初回クロールを台無しにする 5 つの初心者ミスとその回避法

これはフォーラムでも本当によく出る話ですが、上位記事でも独立した章として扱われることはあまりありません。

ミス 1: JavaScript 描画サイトに HTTP 専用クローラーを使う

問題: 最近のサイトの多くは、最初の HTML 応答のあとに JavaScript でデータを読み込みます。単純な HTTP リクエストでは、空の <div> だけが並ぶ見た目のシェルページが返るだけで、データはありません。

対処: ツールを選ぶ前に、対象ページを開いて右クリックし、「ページのソースを表示」を確認してください。必要なデータが生の HTML に入っていないなら、ブラウザ描画に対応したツールが必要です。たとえば Playwright、Crawlee の PlaywrightCrawler、あるいは Thunderbit や Octoparse のようなブラウザ描画型のノーコードツールです。ただし、HTTP で十分な場面までブラウザを使う必要はありません。コストと複雑さが増えるだけです。

ミス 2: robots.txt と Crawl-Delay を無視する

問題: robots.txt は、指定されたクローラートークンがどのパスにアクセスできるかを伝える標準です。サイトのクロール方針を無視すると、ブロック、運用上の負荷、コンプライアンス上のリスクにつながります。

対処: クロール前には必ず yoursite.com/robots.txt を確認し、選んだツールのデフォルト挙動も調べてください。デフォルトはツールごとに違います。たとえば Colly は IgnoreRobotsTxt = true で初期化されるため、明示的な設定が必要です。なお、robots.txt はクロール制御のシグナルであって、法的な許可ではありません。許可されたパスだからといって、どんな目的でも収集・再利用してよいわけではありません。

ミス 3: レート制限なしで大量リクエストを送る

問題: 毎秒何百ものリクエストを投げると、対象サーバーに負荷をかけ、IP がブロックされ、一般的にも望ましくない行為です。

対処: 必ず待機時間を設定してください。Scrapy なら DOWNLOAD_DELAY = 2 と低めの CONCURRENT_REQUESTS_PER_DOMAIN を使います。Colly なら LimitRule で delay と parallelism を設定します。クラウド型やノーコードツールは通常このあたりを自動で吸収してくれますが、設定は確認しましょう。最初は 1 ドメインにつき同時実行 1 から始め、サイトの挙動と利用規約が許す範囲で少しずつ増やしてください。

ミス 4: 小さな案件にエンタープライズ級ツールを選ぶ

問題: 500 ページの案件のために、プロキシローテーションとメッセージキュー付きの分散 Scrapy クラスタを立てるのは、買い物に大型トラックを借りるようなものです。

対処: もう一度フローチャートに戻りましょう。ツールの複雑さを案件規模に合わせてください。小規模の単発抽出なら、ブラウザ拡張かシンプルなスクリプトでほぼ十分です。

ミス 5: 出力データを検証しない

問題: 初心者は、データを書き出しただけで安心してしまい、後で半分の行が空欄、重複、文字化けしていたと気づくことがよくあります。

対処: 本格実行の前に、最初の 10〜20 行は必ず目視確認してください。空欄、エンコーディング問題（文字化け）、重複行、想定外の値をチェックしましょう。開始前に期待するスキーマを決めておくのも大切です。どの列が必要か、どんな型であるべきか、必須項目はどれかを整理しておきましょう。クロールに成功したことと、正しいデータが取れたことは別問題です。

「LLM 対応出力」とは何か、そして AI を作らなくても重要な理由

2026 年のクローラー関連の宣伝では、「LLM-ready」という言葉をよく見かけます。説明の多くは、ベクトルデータベースのことを既に知っている前提で書かれています。ここでは、できるだけ平易に説明します。

LLM 対応出力とは、GPT や Claude のような AI モデルが、そのまま取り込めるきれいで構造化されたテキストのことです。たとえるなら、広告やナビゲーション、Cookie バナーが付いた印刷物の山を渡されるのではなく、きちんと整理されたスプレッドシートを渡されるようなものです。

「チャットボットを作らないなら関係ないのでは？」と思うかもしれません。でも、LLM 対応出力を意識して作られたツールは、結局のところ誰にとっても使いやすいデータを出しやすいからです。後処理が少なく、不要な列も少なく、文字化けトラブルも減ります。人が読むか機械が読むかに関係なく、きれいなデータはきれいなデータです。

この一覧の中で、LLM 対応出力をネイティブに出せるツールは？

• Firecrawl → きれいな Markdown、要約、構造化 JSON
• Crawl4AI → 複数の Markdown 形式、構造化チャンク、表
• Thunderbit → プロンプトによる正規化付きの AI 推奨構造化フィールド

簡単なビフォーアフターで見てみましょう。商品ページの生 HTML は、たとえばこんな感じです。

<div class="product-card">
  <span class="price">$29.99</span>
  <h2 class="title">Wireless Mouse</h2>
  <p class="desc">Ergonomic design, 2.4GHz...</p>
  <a href="/buy" class="btn">Add to Cart</a>
</div>

Firecrawl の LLM 対応 Markdown 出力:

## Wireless Mouse
- **Price:** $29.99
- **Description:** Ergonomic design, 2.4GHz

Thunderbit の構造化出力:

商品名	価格	説明
Wireless Mouse	$29.99	Ergonomic design, 2.4GHz

どちらもそのまま使えます。HTML の解析も、広告の除去も、列の手動マッピングも不要です。AI を使った抽出が従来のスクレイピングとどう違うかは、best AI web scrapers の概要もご覧ください。

責任ある Web クロール: 倫理とコンプライアンスのポイント

Web クロールの倫理とコンプライアンスは、飛ばしていい話ではありません。

• クロール前に robots.txt を確認 しましょう。これは標準的なクロール制御シグナルです (RFC 9309) が、法的な許可やセキュリティ境界ではありません。
• レート制限と Retry-After ヘッダーを尊重 しましょう。429 や 503 が返ったら速度を落とすか停止します。
• 公開されている、または許可されたデータだけを使う ようにしましょう。要件を満たせるなら、公式 API やエクスポート機能を優先してください。
• Web サイトの利用規約を確認 しましょう。公開されていることは重要ですが、収集や再利用の万能な許可証ではありません。
• 個人データに注意 しましょう。収集は最小限にし、保持・削除ルールを定め、センシティブ用途では専門家の確認を受けてください。GDPR などの規制は、使うツールに関係なく適用されます。

多くのツールには責任あるクロールを支える設定がありますが、最終責任は運用者にあります。仕組みの背景をもっと知りたい方は、web scraping とは何か の解説もどうぞ。

どの Web クローラーから始めるべき？

スキル別の要約です。

• ノーコード: Thunderbit は AI 支援のページ抽出、Octoparse はビジュアルなワークフロー構築、ParseHub は複雑な多段フロー、Screaming Frog は SEO 監査
• 中級 Python: Scrapy は大規模 HTTP クロール、Crawl4AI は LLM パイプライン向け
• 中級 JavaScript: Crawlee はモダン SPA クロール、Playwright は複雑なブラウザ自動化
• Go: Colly は高速な HTTP クロール（robots とレート制限を明示設定する前提）
• マネージド API: Firecrawl は自前運用なしできれいな Markdown を出力

最高のクローラーとは、データ、権限、スキル、運用制約に合うものです。まずはシンプルに始め、小さく試し、必要になったら複雑さを足していきましょう。AI 支援抽出を試したいなら、Thunderbit ブラウザ拡張 で、対応ページからスプレッドシートまでノーコードで進められます。

さらに学ぶ

• AI Web Scraping
• ノーコードで Web スクレイピングする方法
• Web Scraping とは
• Instant Data Scraper の代替ツール
• LinkedIn のスクレイピング

FAQ

1. Web クローラーとは何ですか？ Web スクレイパーとはどう違いますか？

クローラーはページを見つけて取得する役割です。リンクをたどり、URL キューを管理し、重複排除や深さ制限を扱います。スクレイパーは、それらのページから特定の構造化データを抽出する役割で、HTML を解析し、項目を選び、レコードとして出力します。最近のツールは多くの場合その両方をある程度こなしますし、用語も混同されがちですが、ツール選びではこの違いが重要です。たとえば Playwright はページ描画に強い一方でクロール基盤は持ちませんし、Scrapy はフルのクロールパイプラインを備える一方で JavaScript 描画にはプラグインが必要です。

2. コーディングができない人に最適な Web クローラーはどれですか？

一般的なデータ抽出なら、Thunderbit、Octoparse、ParseHub が主要なノーコード候補です。Thunderbit は AI でフィールド提案を行うブラウザ拡張、Octoparse は Auto-detect 付きのビジュアルワークフロービルダー、ParseHub は複雑な多段フローが得意です。SEO 専用なら、Screaming Frog の無料版でコードなしに 500 URL までクロールできます。

3. Web クローラーは無料で使えますか？

2 つのカテゴリがあります。完全オープンソースのツール（Scrapy、Crawlee、Crawl4AI、Playwright、Colly）はページ単位の課金はありませんが、インフラを自分で用意し、計算資源、帯域、ストレージのコストを負担します。フリーミアム系（Octoparse、ParseHub、Thunderbit、Firecrawl、Screaming Frog）は、ページ数、プロジェクト数、出力、機能にさまざまな無料上限があります。詳細は上の無料枠比較表をご覧ください。

4. JavaScript が重い Web サイトにも対応できますか？

はい、ただし全てではありません。Playwright、Crawlee（PlaywrightCrawler）、Octoparse、ParseHub、Crawl4AI、Thunderbit（Browser Mode 経由）のようにブラウザ描画を内蔵したツールなら、JavaScript 読み込みのコンテンツを扱えます。Scrapy と Colly は HTTP 優先で、JavaScript 描画には別のブラウザ連携が必要です。Screaming Frog の JavaScript 描画は有料版のみです。対象ページが本当にブラウザを必要とするかは、まずソース HTML を見て判断しましょう。

5. Web クロールは合法ですか？

一概に「はい」か「いいえ」で答えられるものではありません。法的な判断は、データの種類、アクセス方法、利用目的、サイト規約、契約、知的財産権、GDPR のようなプライバシー義務、そして適用される法域によって変わります。robots.txt はクロール制御の信号であり、法的許可ではありませんし、公開されていることも包括的な許可にはなりません。特に個人データ、著作物、認証が必要な情報、商用再利用が関わるケースでは、資格のある法律専門家に相談してください。