Indeed には膨大な求人データが集まっています。ある時点で、6億4,500万件以上の求職者プロフィール、330万社以上の企業、そして2,400万件以上の公開求人が存在します。
採用市場の調査、給与比較、競合企業の採用動向分析などで、このデータをスプレッドシート、CRM、分析ダッシュボードに取り込みたい場合は、Indeedの技術的な制約に対応できるスクレイパーが必要です。Indeedは、一般公開されている求人サイトの中でも対ボット対策が強いサイトのひとつです。
私は Thunderbit と、その前は Automation Anywhere で長年オートメーションツールを作ってきました。その経験から、2026年の Indeed スクレイピングは、基本的な商品カタログの取得とは運用条件が大きく異なると考えています。Cloudflare のチャレンジ、CAPTCHA、IP フィンガープリンティング、変動するレート制限があるため、私の見立てでは、昨年書かれたスクリプトの半分がすでに動かなくなっていても不思議ではありません。各種フォーラムでも、何か月も動いていたコードが、ある日突然 403 エラーしか返さなくなったという報告が見られます。
本記事では、ノーコード拡張機能、開発者向け API、オープンソースライブラリを含む10個の Indeed スクレイパーを比較します。給与データを Google スプレッドシートに取り込みたい採用担当者から、求人集約パイプラインを構築するデータエンジニアまで、技術レベル、処理量、予算に応じて候補を絞れるように整理します。
Indeed のスクレイピングが難しい求人サイトのひとつである理由
ツールを比較する前に、Indeedで安定したデータ取得が難しくなる要因を整理します。Indeedでは複数の対ボット対策が使われており、運用条件も継続的に変化します。
主な対策は次の4層です。
- Cloudflare WAF: Indeed の公式サポート文書でも、ユーザーが Cloudflare エラーや 403 Forbidden 応答に遭遇する可能性があると説明されています。多くのスクレイパーが最初に直面する制約です。
- CAPTCHA とチャレンジゲート: 「あなたが人間であることを確認してください」という画面が繰り返し表示されることがあります。ツール側で対応できない場合、自動取得のワークフローが停止します。
- IP とリクエストレート制限: Indeed の開発者向けドキュメントでは、トラフィックが60秒のローリングウィンドウで管理され、超過すると HTTP 429 が返されると説明されています。ページネーションを伴う取得では、特に影響を受けやすくなります。
- JavaScript と Cookie 依存: Indeed は、ブロックされたユーザーに対してJavaScript と Cookie を有効にするよう明示しています。実際のブラウザをレンダリングしないHTTPリクエスト型スクレイパーでは、安定運用が難しい場合があります。
コミュニティでも同様の報告があります。ある Reddit ユーザーはこう書いています。「403 forbidden エラーがいつも出る。」別のユーザーはこう報告しました。「何か月も動かしていた webscraping コードが止まった。」さらに後日のスレッドでは、1ページ目は問題なく読み込めても、その後のページが失敗すると説明されています。
他の求人サイトと比べると、Indeed の取得難易度は中〜高程度です。Scraperly のサイトガイドでは、おおむね中程度の難易度で、1 IP あたり1日 200〜500件が安全な目安とされています。一方、Glassdoor や LinkedIn は、ログイン制限のためさらに難しい傾向があります。ここでいう「中程度」は、簡易的なリクエスト専用スクレイパーや保守されていないスクリプトでも安定するという意味ではありません。対象件数と運用期間を踏まえてツールを選ぶ必要があります。
2026年版 Indeed スクレイパーの選定基準
私はこのリストの各ツールを、Reddit、GitHub の issue、開発者フォーラムで見つけた実際の悩みに対応する8つの基準で評価しました。
| 評価基準 | Indeed で重要な理由 |
|---|---|
| Cloudflare / 対ボット回避 | 403 ブロックでスクレイパーが停止するという報告が、少なくとも5つのフォーラムスレッドで見られます |
| コーディングの必要性 | 採用担当、HR、アナリストなど非エンジニアの利用では、設定や保守に必要な技術レベルが導入可否を左右します |
| 無料枠 / 無料オプション | 無料または低コストの選択肢を求める言及が4件あり、有料ツールが「高すぎる」という意見もありました |
| 出力形式 | Sheets、Excel、Airtableなど、利用先へ移しやすい形式かどうかが後工程の負担に影響します |
| プロキシ / IP ローテーション | 3件の言及があり、あるユーザーはプロキシなしでIndeedをスクレイピングするのは「悪い考え」だと述べています |
| セットアップのしやすさ | Pythonスクレイパーは「頭が混乱する」という声もあり、利用者のスキルとの適合が重要です |
| 保守性 / 信頼性 | Indeedの変更に追随できないツールは、継続運用が難しくなります |
| 1,000件あたりのコスト | 価格の単位と前提をそろえ、比較用の概算値を算出しました |
ノーコード、ローコード、API、オープンソースでは、必要なスキル、保守負担、料金単位が異なります。そのため、全製品を一つの総合点だけで判断するのではなく、まず利用者の技術レベルと処理量でタイプを絞り、その後に同じ用途の候補を比較します。
本記事では、APIベースの製品だけでなく、ターミナルを使わずに求人データをスプレッドシートへ取り込みたい人向けの選択肢も含めています。
スキルレベル別の Indeed スクレイパー選択肢
10個のツールを個別に見る前に、必要な技術レベルと利用規模から、適したアプローチを絞ります。
| あなたのスキルレベル | 向いているアプローチ | 検討候補 |
|---|---|---|
| コーディング経験なし | Chrome 拡張機能または設定 UI | Thunderbit、Apify（設定 UI） |
| 基本的な Python / スクリプト | ライブラリ + プロキシ、またはシンプルな API | JobSpy、ScraperAPI、Decodo |
| 開発者 / データエンジニア | フル API 連携 | Bright Data、Oxylabs、ZenRows、ScrapingBee、Scrapingdog |
50件の求人情報から給与データを取得したい採用担当者には、月額500ドルのエンタープライズ向けプロキシネットワークは過剰な場合があります。一方、商用の求人集約サービスを構築する場合、無料のChrome拡張機能だけでは処理量や保守要件を満たせない可能性があります。スキル、用途、必要件数を先に整理すると、比較対象を絞りやすくなります。
1. Thunderbit — 非技術者が検討しやすい Indeed スクレイパー
Thunderbit は私とチームが作ったツールなので、その点は最初に明記しておきます。本記事で1番目に置いた理由は、対ボット対策、サブページの詳細取得、スプレッドシートへの直接エクスポートを、コードを書かずに進められる点です。私が確認した範囲では、これらを一つの操作フローで扱えるノーコードのIndeedスクレイパーは限られています。
使い方は、Chrome 拡張機能をインストールし、Indeed の検索結果ページを開いて、AI で項目を提案 をクリックします。AIがページを読み取り、求人タイトル、会社名、給与、所在地、URLなどの列を提案します。提案された項目を見直して スクレイプ を押し、必要な形式へエクスポートします。インストールからスプレッドシートへの出力までは、全体で約2分です。
Indeedで利用できる主な機能は次のとおりです。
- サブページのスクレイピング: 検索結果ページを起点にして、各求人詳細ページを巡回し、全文の説明、応募条件、福利厚生、掲載メタデータを追加できます。競合採用を分析する際に、一覧情報だけでなく詳細条件も収集したい場合に役立ちます。
- ブラウザモード + クラウドモード: ブラウザモードは、自分のログイン済み Chrome セッションからスクレイピングします（地域別の検索結果に便利です）。クラウドモードは Thunderbit のホスト基盤で、ローテーション IP とブロック回避ロジックを使います。公開対象なら一度に 50 ページ まで取得できます。
- 内蔵の対ボット処理: クラウドモードは、Cloudflare のチャレンジや CAPTCHA を自動処理する設計です。利用者がプロキシやCAPTCHA解決サービスを個別に設定する作業を減らせます。
- 無料のメール / 電話番号抽出機能: 企業ページから雇用主の連絡先データを直接取得できます。採用リード獲得に役立ちます。
- 直接エクスポート: Google スプレッドシート、Excel/CSV、Airtable、Notionへの出力に対応しています。エクスポート料金は無料と案内されており、JSONをCSVへ変換するスクリプトを用意せずに利用できます。
Indeed スクレイパーテンプレート はあらかじめ用意されているため、用途に合えば項目設定を一から行わずに始められます。
まずは検索結果1ページで、抽出項目、取得精度、出力形式が目的に合うかを試すと判断しやすくなります。
Indeed スクレイピングで Thunderbit を試す
料金: Thunderbit の無料プランには 月 6 ページ が含まれ、無料トライアルでは 10 ページ 使えます。有料プランはクレジット制で、1 クレジット = 1 出力行です。Starter 料金ではおおむね 1,000 行あたり 30 ドル、上位プランほど単価は下がります。エクスポート自体はどのプランでも無料です。料金の詳細はこちら。
長所: コーディング不要、スプレッドシートへ直接出力、サブページの詳細取得、ブラウザ + クラウドモード、短時間で設定しやすい
短所: クレジット制の課金は、非常に大量のクロール（1日 10,000 件以上）ではやや不利。Indeed 専用の独立ベンチマークはまだ少ない
おすすめ: スプレッドシートで Indeed データを扱いたい採用担当者、HR チーム、ビジネスアナリスト。コードを書かずに小規模な取得から始めたい場合の候補です。
2. Bright Data — エンタープライズ規模のプロジェクト向け候補
Bright Data はこの分野の大手です。巨大なプロキシネットワーク（195 か国にまたがる 4億以上の月間 IP）、専用 CAPTCHA 解決、ブラウザフィンガープリンティング、JavaScript レンダリング、そして Indeed 専用の 求人掲載データセット と Jobs Data API を組み合わせています。
- 主な機能: Cloudflare 回避のための Web Unlocker、地域指定スクレイピング、構造化データ配信（JSON、CSV、NDJSON）、クラウドストレージ連携、Indeed 専用データ商品
- 対ボット対応: ScrapingTest ベンチマークでは、平均応答時間 7.45 秒、全体成功率 95.99% という結果が示されています
- 料金: 従量課金は web scraping で 1,000 レコードあたり 2.50 ドル から。Indeed データセットは 1レコードあたり 0.0025 ドル（最低注文 50 ドル）から。試用クレジットはありますが、公開の無料枠はありません。
おすすめ: 給与ベンチマーク、労働市場調査、商用の求人集約のために、毎日何千件もの Indeed ページをスクレイピングするデータチーム。特に、コストよりも稼働率と地理的カバレッジを重視する場合に向いています。
3. Apify Indeed Scraper — ローコード運用向けの候補
Apify は、Chrome拡張機能と生のAPIの中間に位置する選択肢です。Thunderbit ほど初心者向けではありませんが、設定 UI から事前構築済みの「Actor」を実行できます。最も人気のある Indeed Actor（misceres/indeed-scraper）は、5点満点中 3.71、総ユーザー数 2.7万人 ほどで、価格はおおむね 求人 1,000 件あたり 3 ドル からです。
- 主な機能: 設定ベースの UI（検索キーワード、場所、ページ数を指定）、スケジューリング 内蔵、データセット保存、柔軟な出力（JSON、CSV、Excel、XML、HTML、RSS、JSONL）
- 対ボット対応: 使う Actor とプロキシ設定次第です。公開 issue では、Indeed 実行時にブロックされたり、結果が不完全になったりする例が見られます。
- 料金: 無料枠 には 5 ドル分のプラットフォームクレジットが含まれますが、Indeed ではすぐに消費されやすいです。
おすすめ: ダッシュボードからスケジューリングと構造化出力を使いたい、ある程度技術のわかるユーザー。スクレイピングコードをゼロから書かずに運用したい場合の候補です。
4. ScraperAPI — 予算を抑えたい開発者向けの Indeed スクレイパー API
ScraperAPI は、開発者向け API の中でも比較的導入しやすい選択肢です。URL を送るだけで、プロキシローテーション、CAPTCHA 解決、JS レンダリング をサービス側に任せ、HTML もしくは構造化出力を受け取れます。Indeed 専用ページ では 99.99% の成功率 と 平均 1〜3 秒 の応答時間をうたっていますが、これはベンダー公表値です。
- 主な機能: シンプルな REST API、内蔵プロキシローテーション、自動再試行、複数の出力形式（HTML、JSON、テキスト、Markdown、CSV ワークフロー）
- 料金: Hobby プランは 100K クレジットで 49 ドル ですが、保護対象リクエストは 1 件あたり 10〜25 クレジット を消費することがあります。Indeed のような保護サイトでの実効コストは、初期料金ベースでおおよそ 1,000 保護リクエストあたり 4.90 ドル です。無料枠は 5,000 試用クレジット。
- 注意点: リクエストの半分が失敗すると（Indeed では起こり得ます）、実効コストは倍になります。
おすすめ: エンタープライズ価格ではなく、APIドキュメントの分かりやすさと実装のしやすさを重視する開発者。
5. Scrapingdog — 低コストを重視する開発者向け API
Scrapingdog は、料金体系の分かりやすさを特徴とするサービスです。プランは 20万クレジットで 40 ドル から始まり（約 1,000 クレジットあたり 0.20 ドル）、開始時に 1,000 無料クレジット が付与されます。
- 主な機能: 対ボットサイト向けの Stealth mode、Indeed 向けの解析済み JSON 出力、再試行ロジック（1リクエスト最大 60 秒）、成功リクエストのみ課金
- 料金上の注意: Stealth mode は 1 リクエストあたり 10 クレジット かかるため、Lite 料金での保護サイト実質コストは 1,000 保護リクエストあたり約 2.00 ドル に近くなります。記載料金を同じ条件で比べると、低コストの候補です。
- 性能メモ: ScrapingTest ベンチマーク では Bright Data や ScraperAPI よりばらつきが大きいため、本格展開前に十分な検証が必要です。
Indeed 専用ガイド では、Python でのセットアップ手順が説明されています。
おすすめ: 1リクエストあたりのコストを抑えたい開発者。安定性を自社のIndeedクエリで検証できる場合に向いています。
6. ZenRows — 対ボット対応を重視する開発者向け API
ZenRows は、対ボット対策を主な特徴として打ち出しているサービスです。具体的には、WAF 回避、CAPTCHA 回避、フィンガープリンティング回避、プレミアムローテーションプロキシを明示しています。Indeed スクレイパーページ では、CSV、単一 JSON ファイル、または URL ごとに 1 つの JSON ファイルとして出力でき、構造化した結果を業務で扱いたい場合にも利用できます。
- 主な機能: JS レンダリング付きの保護サイトスクレイピング、各リクエストに組み込まれた対ボット回避、構造化出力オプション
- 料金: Developer プランでは、通常結果は 1,000件あたり約 0.276 ドル ですが、保護対象結果は 1,000件あたり約 6.90 ドル まで上がります。無料トライアルは、通常 1,000件 + 保護 40件で 14日間有効です。
- ベンダー公表値: 保護サイトでの平均成功率は 99.93% です。
1リクエストあたりのコストだけでなく、Cloudflare対応に必要な開発・保守工数も含めて比較する必要があります。
おすすめ: 大規模なエンタープライズ基盤へ移行せずに、対ボット対応を優先したい開発者。
7. ScrapingBee — ステルスプロキシと抽出ルールを重視する開発者向け API
ScrapingBee は、ブロック解除だけでなく、APIの使いやすさや抽出後の処理も重視する場合の候補です。ヘッドレスブラウザ、ローテーションプロキシ、専用の Cloudflare 対策、抽出ルール（CSS/XPath セレクタや AI 補助抽出）、複数のレスポンス形式：JSON、HTML、Markdown、CSV、NDJSON をサポートしています。
- 主な機能: ステルスプロキシモード、JS レンダリング、構造化された データ抽出ルール、AI 補助パース
- 料金: Freelance プランは 25万クレジットで 49 ドル（1,000 クレジットあたり 0.196 ドル）ですが、JS + プレミアムプロキシのリクエストは 1 件 25 クレジット かかり、初期料金ではおおよそ 1,000 件あたり 4.90 ドル になります。無料枠は 1,000 コール。
- ベンチマーク傾向: ScrapingTest の傾向値では、全体成功率 77.98%、平均 10.32 秒 です。
おすすめ: APIの使いやすさを重視し、組み込み抽出ルールで後処理を減らしたい開発者。
8. Oxylabs — 大規模なプロキシ基盤を必要とするチーム向け
Oxylabs は、本格的なプロキシとブロック解除の基盤を必要とするチーム向けの候補です。Web Scraper API と Web Unblocker は、CAPTCHA 回避、JS レンダリング、フィンガープリンティング軽減、再試行、そして 195 か国にまたがる 1億7,700万以上のプロキシプール を使った広範な地域指定に対応しています。
- 主な機能: AI ベースのデータ解析、複数形式出力（JSON、HTML、PNG、Markdown）、クラウド配信オプション
- 料金: 一般対象は、Web Scraper API の初期料金で JS なしなら 1,000 件あたり約 2.15 ドル、JS ありで 1,000 件あたり約 2.35 ドル から。Web Unblocker はトラフィック課金です。無料枠は最大 2,000件。
- 補足: Oxylabs は、他社のように「Indeed スクレイパー」として一つの製品にまとめられてはいません。製品の違い を理解し、Web Scraper API（解析済みデータ）と Web Unblocker（生アクセス）を使い分ける必要があります。
- ベンチマーク傾向: ScrapingTest の傾向値では、全体成功率 83.89%、平均 12.75 秒 です。
おすすめ: すでにプロキシ基盤へ投資しているエンタープライズチーム、または大規模な地域ターゲティングが必要な場合。
9. JobSpy (python-jobspy) — 無料で利用できるオープンソース候補
JobSpy は、現在も開発活動が見られるオープンソースの候補です。GitHub リポジトリには 3.9K stars、58 releases があり、Indeed、LinkedIn、Glassdoor、ZipRecruiter、Google Jobs、Bayt、Bdjobs に対応しています。出力先は pandas DataFrame と CSV です。
- 主な機能: 1 つのスクリプトで複数求人サイトをスクレイピング、DataFrame / CSV 出力、オープンソース本体は無料、活発なコミュニティ
- 対ボット対応: 最小限です。内蔵のプロキシローテーションも CAPTCHA 解決もありません。必要な対策は利用者側で用意します。公開 issue には、Indeed のブロックや動作不良の報告が頻繁にあります。
- 料金: オープンソース本体は無料です。ただし、プロキシ費用とデバッグ時間は別途必要です。
オープンソース利用時に見込む保守コスト
JobSpyはソフトウェア本体を無料で利用できますが、運用時間までゼロになるわけではありません。Cloudflareブロックの調査、プロキシローテーションの設定、Indeedのレイアウト変更後の修正などを、自社で担当する必要があります。こうした保守を行えるPython開発者には選択肢になりますが、200件の求人をスプレッドシートへ取り込みたい採用担当者には、作業負担が大きくなる可能性があります。
おすすめ: 複数求人サイトを対象にし、定期的なメンテナンスも自分で行えるPython開発者。
10. Decodo（旧 Smartproxy） — プロキシ運用に慣れたチーム向け候補
Decodo（旧 Smartproxy）は、単なるプロキシ販売ではなく、より広いスクレイピングプラットフォームとして自らを位置付けています。公開ページでは 1億2,500万以上の IP、99.99% の成功率、そして Web Scraping API で 毎秒 200 リクエスト までのスループットをうたっています。
- 主な機能: ローテーション式の住宅用プロキシ、JS レンダリングと CAPTCHA 処理に対応した web scraping API、複数の連携方法
- 出力形式: HTML、JSON、CSV、PNG、XHR、Markdown
- 料金: 無料のスタータープランには約 2K リクエスト が含まれており、比較的大きなテスト枠です。有料プランはエントリー API 料金でおおよそ 1,000 件あたり 0.50 ドル から始まります。
おすすめ: スループットとリクエスト種別を基準に選ぶチーム。Thunderbit より技術的な設定が必要で、ZenRowsほどIndeed向けにまとめられてはいませんが、プロキシ運用に慣れたユーザーには比較候補になります。
条件別 Indeed スクレイパー比較表
料金欄には、ページ、出力行、レコード、通常リクエスト、保護対象リクエストなど異なる単位が含まれます。同じ「1,000件」でも取得条件が異なるため、金額だけで直接比較せず、タイプ、必要な技術、対ボット対応、出力先を先に絞ってください。
| ツール | タイプ | コーディング必要 | 対ボット対応 | 無料枠 | 出力オプション | 1,000件/リクエストあたりのコスト | おすすめ対象 |
|---|---|---|---|---|---|---|---|
| Thunderbit | Chrome 拡張機能 | なし（2クリック） | 内蔵（クラウド + ブラウザ） | 月 6 ページ無料 | CSV、Excel、Sheets、Airtable、Notion、JSON | 約 30 ドル/1,000 行（Starter） | 採用担当、HR、非技術者 |
| Bright Data | エンタープライズ API + データセット | 低〜高 | CAPTCHA 解決、4億以上の IP | 試用クレジット | JSON、CSV、NDJSON、API、クラウド | 約 2.50 ドル/1,000 レコード（従量課金） | エンタープライズチーム |
| Apify | Actor マーケットプレイス | 低（設定 UI） | Actor 次第 | 5ドル分のプラットフォームクレジット | JSON、CSV、Excel、XML、RSS、JSONL | 約 3ドル/1,000 件 | ローコードユーザー |
| ScraperAPI | API | 必要 | プロキシローテーション、JS レンダリング | 5K 試用クレジット | HTML、JSON、テキスト、Markdown | 約 4.90 ドル/1,000 保護件 | 予算重視の開発者 |
| Scrapingdog | API | 必要 | Stealth mode、CAPTCHA | 1K クレジット | JSON、HTML、Markdown、CSV | 約 2.00 ドル/1,000 保護件 | 低コスト API 利用 |
| ZenRows | API + ノーコードスクレイパー | 低〜高 | WAF 回避、CAPTCHA 回避 | 1,000 通常 + 40 保護 | CSV、JSON、HTML、Markdown | 約 6.90 ドル/1,000 保護件 | 対ボット信頼性 |
| ScrapingBee | API | 必要 | ステルスプロキシ、JS レンダリング | 1,000 コール | JSON、HTML、Markdown、CSV、NDJSON | 約 4.90 ドル/1,000 保護件 | 開発者の利便性 |
| Oxylabs | エンタープライズ API + unblocker | 必要 | CAPTCHA 回避、1億7,700万以上の IP | 2,000件 | JSON、HTML、PNG、Markdown | 約 2.15〜2.35 ドル/1,000 件 | 大規模プロキシ基盤 |
| JobSpy | Python ライブラリ | 必要（Python） | 自前対応（最小限） | OSS本体は無料 | DataFrame、CSV、Excel | 0 ドル（+ プロキシ費用） | Python 開発者 |
| Decodo | API + プロキシ | 低〜高 | JS レンダリング、CAPTCHA 処理 | 2K リクエスト | HTML、JSON、CSV、PNG、Markdown | 約 0.50 ドル/1,000 件（初期） | プロキシ優先チーム |
まずノーコード、ローコード、API、オープンソースのどれが運用体制に合うかを判断し、そのタイプ内で実際のIndeedクエリを使って費用と取得結果を比較すると選びやすくなります。
対ボット機能と編集部評価の比較
| ツール | Cloudflare 回避 | CAPTCHA 対応 | IP ローテーション | 編集部評価（参考） |
|---|---|---|---|---|
| Thunderbit（クラウドモード） | ✅ 内蔵 | ✅ 自動処理 | ✅ クラウド IP | ⭐⭐⭐⭐ |
| Bright Data | ✅ 高度 | ✅ CAPTCHA ソルバー | ✅ 4億以上の IP | ⭐⭐⭐⭐⭐ |
| Apify | ⚠️ Actor 次第 | ⚠️ Actor 次第 | ⚠️ アドオン | ⭐⭐⭐ |
| ScraperAPI | ✅ プロキシローテーション | ✅ 自動再試行 | ✅ 内蔵 | ⭐⭐⭐⭐ |
| Scrapingdog | ✅ Stealth mode | ✅ CAPTCHA 解決 | ✅ 内蔵 | ⭐⭐⭐ |
| ZenRows | ✅ WAF 回避 | ✅ CAPTCHA 回避 | ✅ プレミアムプロキシ | ⭐⭐⭐⭐½ |
| ScrapingBee | ✅ ステルスプロキシ | ✅ Cloudflare 対策機能 | ✅ 内蔵 | ⭐⭐⭐⭐ |
| Oxylabs | ✅ 高度 | ✅ CAPTCHA 回避 | ✅ 1億7,700万以上の IP | ⭐⭐⭐⭐½ |
| JobSpy | ⚠️ 頻繁に壊れる | ❌ 手動 | ❌ 自前対応 | ⭐⭐ |
| Decodo | ✅ JS レンダリング | ✅ CAPTCHA 処理 | ✅ 1億2,500万以上の IP | ⭐⭐⭐⭐ |
星評価は、ベンダー文書、コミュニティの報告、公開ベンチマークの傾向を組み合わせた編集部の参考判断です。同一条件で実施したラボ試験ではないため、絶対的な性能順位ではありません。対象地域、取得件数、ページ種類をそろえた試用結果と併せて判断してください。
無料版 vs 有料版の Indeed スクレイパー: 実際に何が得られるのか
「無料」には、オープンソース本体が無料、期間限定トライアル、月次の無料枠、プラットフォームクレジットなど複数の形があります。導入時は、無料という表示だけでなく、保護リクエストの消費量、プロキシ費用、保守作業、失効条件まで比較する必要があります。
| ツール | 無料枠 | 無料で得られるもの | 注意点 / 制限 |
|---|---|---|---|
| Thunderbit | ✅ あり | 月 6 ページ、無料トライアル 10 ページ、エクスポート無料 | 有料プランはクレジット制 |
| JobSpy | ✅ OSS本体は無料 | 無制限（オープンソース Python） | 対ボット機能なし、壊れやすい、Python 必須 |
| ScraperAPI | ✅ 5K クレジット | 約 5,000 API コール | 保護リクエストは 1 件あたり 10〜25 クレジット消費 |
| Scrapingdog | ✅ 1K クレジット | 約 1,000 リクエスト | Stealth mode は 1 リクエスト 10 クレジット |
| ZenRows | ✅ トライアル | 1,000 通常 + 40 保護結果 | 14 日で失効、保護枠は少ない |
| ScrapingBee | ✅ 1K コール | 1,000 API コール | 本格的な保護スクレイピングはすぐ高額になる |
| Apify | ✅ 5ドル分クレジット | プラットフォーム利用 | Actor の使用であっという間に消費されることがある |
| Decodo | ✅ 2K リクエスト | 約 2,000 リクエスト | それでも技術的なセットアップが必要 |
| Oxylabs | ✅ 2K 結果 | 最大 2,000 結果 | 製品の違いが初心者には分かりにくい |
| Bright Data | トライアルのみ | 1 週間で 1,000 リクエスト | トライアル後はエンタープライズ向け導入が必要 |
JobSpyのようなPythonライブラリでは、ソフトウェア本体が無料でも、Cloudflareブロックへの対応、プロキシ設定、レイアウト変更後の修正に作業時間や外部費用がかかります。一方、Thunderbitの無料枠は、ノーコードで小規模な取得と出力を試したい場合の候補です。どちらが有利かは、取得件数だけでなく、自社で保守できるか、目的の出力先までの工程を含めて判断する必要があります。
求人検索以外でチームが Indeed スクレイパーを使う5つの方法
Indeedの求人データは、個人の転職活動だけでなく、給与比較、労働市場調査、競合企業の採用分析、採用リードの整理、求人集約にも利用できます。Indeed Hiring Lab の経済学者 Chris Glynn は、「Indeed の掲載データは、実質的に労働市場そのものです」 と述べています。
NBER の論文では、給与の透明性ルールによって求人票内の給与開示が約 30ポイント 増えたことが示されており、求人サイトから給与を抽出する価値は数年前よりも大きくなっています。一方で、採用チームのわずか 31% しか労働市場データを使ってタレント戦略を設計しておらず、Payscale のレポート では、平均的な組織が現在 3 種類 の給与データソースを使っているとされています。
| 用途 | 何をスクレイピングするか | 検討候補 | 理由 |
|---|---|---|---|
| 💼 個人の転職活動 | 求人タイトル、リンク、給与 | JobSpy（無料）、Thunderbit（ノーコード） | 少量で、予算にやさしい |
| 📊 給与ベンチマーク / 労働市場調査 | 数千件の求人にまたがる給与、所在地、職位レベル | Bright Data、Oxylabs、Apify | 大量処理と構造化出力に強い |
| 🏢 競合採用分析 | 企業の求人掲載、採用人数の傾向、求人詳細全文 | Thunderbit（サブページ取得）、ZenRows | 一覧データを詳細ページで強化できる |
| 📧 採用リード獲得 | 企業ページから会社名、所在地、連絡先 | Thunderbit（メール/電話抽出機能）、Scrapingdog | 雇用主の連絡先データを抽出できる |
| 🌐 求人掲示板 / 集約サイト | 完全な掲載データ、自動更新 | ScraperAPI + Decodo、Bright Data、Apify | スケジュール実行、大量処理、複数形式エクスポートに強い |
Thunderbitのサブページ取得は、競合採用分析で求人一覧と詳細ページの情報を一つの表にまとめたい場合に役立ちます。求人一覧ページをスクレイプしたあと、各求人詳細ページを訪問し、全文説明、応募条件、福利厚生を表に追加できます。抽出項目はAIの提案から始め、実際の結果を見ながら必要な列へ調整します。
スクレイピングからスプレッドシートへ: Indeed データのエクスポートと活用
スクレイパーを選ぶ際は、データの取得だけでなく、CSVへの書き出し、WordPressや業務ツールへの取り込み、利用可能な形式への変換まで含めて検討する必要があります。
各ツールの主なエクスポートフローは次のとおりです。
- CSV / Excel エクスポート: Thunderbit は無料で直接ダウンロードできます。JobSpy は Python で DataFrame → CSV に出力します。API ツールは JSON を返すため、手動またはスクリプトで変換する必要があります。
- Google スプレッドシート連携: Thunderbit はワンクリックで直接 Google スプレッドシートに出力できます。多くの API ツールでは、Sheets に入れるために Zapier か独自スクリプトが必要です。
- Airtable / Notion: Thunderbit は両方にネイティブ対応しています。競合ツールでは、中間ツールか手動インポートが必要です。
- CRM 取り込み: 営業や採用チームが見込み雇用主情報をパイプラインに入れる場合、Thunderbit の構造化出力（会社名、所在地、連絡先情報）は CRM へ取り込むためのデータとして使えます。API ツールでは、出力形式に応じた変換が必要です。
非技術者の場合は、スクレイピングエンジンの性能だけでなく、抽出、表形式への整形、目的のツールへの出力までを一つの工程として比較すると判断しやすくなります。APIを選ぶ場合は、JSON取得後の変換や連携を誰が保守するかも導入条件に含めます。
Indeed スクレイピングの法的・倫理的な注意点
以下は運用上の一般的な注意事項であり、法的助言ではありません。具体的な利用方法については、必要に応じて専門家へ相談してください。
Indeed の利用規約には、書面による許可なしにボット、スクレイパー、スパイダー、AI システム、あるいはエージェント型 AI を使うことを禁止する条項があります。robots 指示でも、一般的なクローラーに対して多くの重要パスが制限されています。求人一覧がログインなしで公開表示されていることと、規約上スクレイピングが許可されていることは分けて判断する必要があります。
運用時は次の点を検討してください。
- レート制限を守り、短時間に大量取得しないこと。前述の開発者向け文書では、60秒のローリングウィンドウが説明されています。
- ログイン必須や非公開データはスクレイプしないこと。明確な許可がない場合は対象外とします。
- 公開され、かつ用途に関係のある範囲を超える個人データは集めないこと。
- サーバー負荷を抑えること。リクエスト頻度と取得量を用途に応じて制限します。
Webスクレイピングに関する規約、法令、サイトの技術仕様は変わる可能性があります。利用目的、対象データ、取得方法を整理したうえで判断してください。
目的別に選ぶ Indeed スクレイパー候補
この10個を比較すると、候補を絞る主な条件は、スキルレベル、必要な処理量、予算、最終的なデータの保存先です。
- 非技術者（採用担当、HR、オペレーション） → Thunderbit。Indeedのページからスプレッドシートへ、コードを書かずに出力したい場合の候補です。無料エクスポートとサブページ取得に対応しています。
- 予算重視の開発者 → Scrapingdog または ScraperAPI。対ボット機能と1リクエストあたりのコストを比較したい場合の候補です。
- エンタープライズ / 大規模運用 → Bright Data または Oxylabs。大規模なプロキシ基盤、稼働率、地域ターゲティングを重視する場合に向いています。
- 無料でオープンソース → JobSpy。Pythonを利用でき、保守とプロキシ設定を自社で担当できる場合の候補です。
- ローコードの中間地点 → Apify Indeed Scraper。設定UIからスケジューリングとデータセット保存を利用したい場合に向いています。
- 対ボット最優先 → ZenRows。エンタープライズ向けの大規模基盤を導入せず、対ボット対応を優先したい場合の候補です。
万能の製品はありません。まず技術レベルと処理量でタイプを絞り、次に料金単位、出力先、保守体制を比較すると、自社に合う候補を選びやすくなります。
無料枠やトライアルを利用できる場合は、実際のIndeed検索結果を1ページ選び、取得できる項目、欠損、処理時間、出力形式を比較してから本契約を検討してください。
ノーコードの操作を試す場合は、Thunderbit の無料トライアルで、まず小規模な検索結果をスプレッドシートへ出力できます。結果が用途に合うかを見直したうえで、サブページ取得や定期運用へ広げると判断しやすくなります。コードなしでの Web スクレイピング や、そもそもWeb スクレイピングとは何か についても、ブログで解説しています。視覚的に学びたい方には、YouTube チャンネル のチュートリアルもあります。
FAQ
1. コーディングなしで Indeed をスクレイピングできますか？
はい。Thunderbit と Apify はどちらもノーコードまたはローコードの経路を提供しています。Thunderbit は、Chrome 拡張機能としてIndeedのページ上で動作し、コードを書かずにスクレイピングからエクスポートまで進めたい場合の候補です。標準的な設定例では、全体で約2分と案内されています。
2. Indeed をスクレイピングするのは合法ですか？
Indeed の求人一覧は公開表示されていますが、利用規約には、書面による許可なしのスクレイピングを禁止する条項があります。robots.txt、レート制限、適用されるデータプライバシー法も含め、利用目的と取得方法を個別に判断する必要があります。これは法的助言ではありません。具体的な用途については専門家に相談してください。
3. 最も良い無料の Indeed スクレイパーはどれですか？
オープンソースの Python ユーザーなら、JobSpyはソフトウェア本体を無料で利用できますが、Pythonスキル、プロキシ費用、定期的な保守が必要です。ノーコードユーザーなら、Thunderbit の無料枠（月6ページ、無料エクスポート付き）が候補になります。必要件数と保守に使える時間を含めて比較してください。
4. Indeed をスクレイピングするとき、Cloudflare はどう対処すればよいですか？
対ボット処理を提供するツールを比較します。Thunderbit のクラウドモード、Bright Data の Web Unlocker、ZenRows の対ボット API、ScraperAPI のプロキシローテーション、Scrapingdog の Stealth modeには、Cloudflareのチャレンジに対応するための機能があります。ただし、すべてのページや条件で成功する保証ではないため、実際の対象ページで検証が必要です。Indeed のサポート文書でも、Cloudflare ベースのブロックが現在の体験の一部であることが説明されています。
5. Indeed のスクレイピング結果を Google スプレッドシートや Excel に出力できますか？
Thunderbit は、Google スプレッドシート、Excel/CSV、Airtable、Notionへの直接エクスポートを無料でサポートしています。Apify は、データセット保存を通じてCSV、Excel、JSONへの出力をサポートします。多くのAPIツール（ScraperAPI、ZenRows、ScrapingBee）はJSONまたはHTMLを返すため、スプレッドシートで使う前に追加変換が必要です。
まず1件の求人で、抽出項目と出力形式が目的に合うかを試してから対象を広げると、ツールを比較しやすくなります。
Indeed スクレイピングで Thunderbit を試す Get Started Free
さらに詳しく知る
