「このページから価格とレビューだけを表にまとめたい」——営業やEC、リサーチの現場でこういう相談を受けるたびに、最初につまずくのはツールの操作ではなく、何を目印に取ればいいのかが決まっていないことだと感じます。ページごとに表記も構造もばらばらなので、目印なしに手作業で拾おうとすると時間もかかるし漏れも出ます。HTMLやCSSを普段触らない担当者なら、なおさらです。
長年この手の自動化を作ってきて分かったのは、結局のところ「ウェブスクレイピングキーワード」をどう設計するかがすべての土台になるということです。価格、レビュー、競合情報といった業務上のゴールを、ツールが理解できる具体的な単語やセレクタに翻訳できて初めて、集めたデータが使える表になります。
この記事で扱うのは、ウェブスクレイピングキーワードの正体、業務要件からキーワードを逆算する手順、ページ構造の読み方、そしてテストと調整のサイクルです。あわせて、Thunderbitに欲しい項目を普通の日本語で伝えてデータを引き出す方法も紹介します。HTMLやCSSの知識がなくても迷わないよう、順を追って書いています。
ウェブスクレイピングキーワードの正体
一言で言えば、スクレイピングツールに向けて「ページのどこから何を持ってくるか」を指定する単語・フレーズ・セレクタです。価格、顧客レビュー、電話番号など、欲しい項目に狙いを定めるための旗印だと考えてください。
検索キーワードが「自分のコンテンツを見つけてもらう」ためのものなら、こちらは真逆の方向を向いています。ページの内部構造から必要な部分だけを抜き出すための指定だからです。ECサイトの価格を取りたいなら、「価格」「割引」という表示上の言葉や、.product-priceのようなCSSセレクタが手がかりになります。
例えるなら、検索キーワードは図書館利用者が本を探すときの検索語、スクレイピングキーワードはその本がどの棚のどこにあるかを示す分類コードです。ただし現実のページでは、目に見える文字だけでなく、HTML属性や読み込みの仕組みまで見て初めて正確な指定ができます。
キーワード設計が業務に効いてくる理由
2026年版 データスクレイピングとは？やり方も解説 Get Started Free
競合価格の把握、営業リストの構築、市場調査——Webデータはこうした判断の材料になります。一方でサイト側にはCAPTCHAやフィンガープリンティング、アクセス制限といった防御策があることも珍しくなく、たとえページにたどり着けても、条件があいまいなままだとノイズと欠損だらけのデータが返ってきて、後処理に余計な時間を取られます。
キーワードを丁寧に設計する意味は、3つの角度から説明できます。
- 正確さ: 欲しいものと不要なものの境界線をはっきりさせる
- 時間の節約: 手作業での選別や整形にかける時間を減らす
- 業務成果への直結: 競合価格の追跡やリード獲得、評判モニタリングなど、目的に沿った項目を継続的に拾える状態を作る
実際の場面に当てはめてみます。
| ユースケース | ウェブスクレイピングキーワード例 | ビジネス上のメリット |
|---|---|---|
| 営業リード獲得 | 「email」「phone」「contact」 | 的を絞ったアプローチリストを作成できる |
| ECの価格モニタリング | 「price」「discount」「SKU」 | 価格戦略で先手を打てる |
| 市場調査 | 「brand name」「review」「sentiment」 | トレンドや顧客の声を追跡できる |
| 不動産物件情報 | 「address」「price」「bedrooms」 | 分析用に物件データを集約できる |
条件設計が業務にぴったり合えば、コストが下がるケースもあります。ある価格モニタリングの取り組みでは、人手でのチェックを的を絞ったスクレイパーに切り替えたことで収集予算がおよそ40%減ったという報告があります。もっとも、これは一つの事例の数字にすぎず、実際の効果は対象サイトや頻度、確認プロセス次第で変わってきます。
キーワードを組み立てる4ステップ
やることは大きく4段階です。目的を定義し、ページ構造を見て、要件をキーワードに変換し、小さくテストして調整する。この順で見ていきます。
1. 何を判断したいのかを決める
出発点は、集めたデータで何を判断したいかです。例えば——
- 「競合は似た商品をいくらで売っているのか」
- 「新機能を好意的に評価しているのは誰か」
- 「狙っているエリアに、物件はいくつ出ているか」
問いが定まったら、その答えに必要な項目まで書き出します。競合価格が知りたいなら、商品名、通常価格、割引価格、取得日時あたりが候補です。先に出力項目を決めておくほど、ページ上で探すべきものが絞れます。
2. 対象ページの中身を見る
ブラウザで右クリックして「検証」を選べば、誰でもHTMLをのぞけます。確認したいのは3点です。
- 要素タグ:
<div>、<span>、<a>など - classやid属性:
class="product-price"、id="review-text" - 表示されているラベル: 「Price」「Review」「Contact」など
ここで見つかるものが、そのままキーワード候補になります。
3. 要件をキーワードに置き換える
- 価格が欲しいなら:「price」「cost」や
.product-price - レビューが欲しいなら:「review」「comment」や
.review-text - 連絡先が欲しいなら:「email」「phone」や
mailto:
4. 少量で試し、ずれを直す
いきなり全部ではなく、1ページや少量データから始めます。欲しい項目が取れているか、ノイズは混ざっていないか、空欄や重複はないかを見て、目的とずれていればキーワードを調整します。「price」だけでは通常価格と割引価格の区別がつかないこともあり、「discounted-price」のように絞り込みが必要になる場合もあります。
ページのHTMLは時間とともに変わるものなので、一度決めたら終わりにせず、定期実行のたびにサンプルで様子を見てください。
補足:自分で追えないなら、人かAIに頼る
HTMLを追うのが難しければ、開発者に頼むか、ThunderbitのようにAIが視覚的に候補を出してくれるツールを使う道もあります。AIの提案も鵜呑みにせず、実ページの値と突き合わせてから運用に乗せてください。
ページを見ながらキーワードを拾う手順
- 欲しいデータ(例:価格)の上で右クリックして「検証」を選ぶ
- 該当するHTML要素がハイライトされる。ここで見るのは次の2つ
- タグ(例:
<span>) - classやid(例:
class="price-value")
- タグ(例:
- 見つかった属性をキーワード・セレクタ候補にし、少量データで結果を確かめる
目印になりやすいHTML属性はこのあたりです。
classiddata-*属性(例:data-price)- テキスト内容(例:「Price」という単語)
同じclassが使い回されている場合や、JavaScriptで後から描画される場合は、1件だけでなく複数の商品・ページで確認してください。
より細かいコツはブラウザの検証ツールの使い方ガイドに載っています。
ビジネス上の問いとキーワードの対応
| ビジネス目標 | スクレイピングキーワードの例 |
|---|---|
| 競合商品の価格をすべて見つける | 「price」「product-price」「.price-tag」 |
| 顧客レビューを集めて感情分析する | 「review」「comment」「.review-text」 |
| ある都市の新規物件情報を追跡する | 「address」「listing」「.property-card」 |
広すぎる「div」のようなキーワードを使ってしまうこと、後から読み込まれる動的コンテンツを取りこぼすこと。この2つは特によく起きるので注意してください。
実際の使われ方を2つの場面で見る
EC:価格とレビューをまとめて取る
競合価格と顧客の声を追うなら、こんな組み合わせになります。
- 価格:
.product-price、「price」「discount」 - レビュー:
.review-content、「review」「rating」
価格とレビューを別列にした表として整理できますが、分析や価格設定ツールに渡す前に、通貨、税込・税抜、通常価格と割引価格の区別、レビュー本文と評価値の対応関係はサンプルで確かめておきましょう。
マーケティングリサーチ:ブランドの言及と反応を追う
自社ブランドがどこでどう語られているかを見るなら、次のようなキーワードが軸になります。
- ブランド名: 「Thunderbit」「YourBrand」
- 感情語: 「love」「hate」「recommend」「disappointed」
- ユーザーコメント:
.comment-body、「feedback」
これらは言及や感情を含む投稿を絞り込む手がかりにはなりますが、単語が入っているだけでは皮肉や引用、否定の文脈までは読み取れません。感情分析に使うなら、一定件数を人が目視で確認し、分類が目的に合っているか検証してください。詳しくはブランドモニタリングに関するRayobyteのガイドも参考になります。
Thunderbitに任せてキーワードを決める
手作業でHTMLやCSSセレクタを組みたくない場合、ThunderbitのAIがページを読み取って取得候補のフィールドを提案してくれます。あとは、その提案が目的に合っているかを人が確認し、必要なら手直しして実行するだけです。
AIにフィールドを出させる
対象ページでThunderbit Chrome拡張機能を開き、「AIでフィールドを提案」を押します。ページ構造が読み取られ、「商品名」「価格」「評価」「レビュー本文」のような候補と、裏側で使われるキーワードやセレクタが提示されます。
提案が出たら、各列のサンプル値をページの表示と照合します。通常価格と割引価格が同じページに混在していたり、評価とレビュー件数が別々の要素にあったりする場合は、本実行の前にフィールド名や条件を調整してください。
フィールドAIプロンプトで指示を足す
フィールドごとに「フィールドAIプロンプト」という形で、欲しい値や条件を普通の言葉で指示できます。例えば、
- 「元の価格ではなく、割引後の価格を取る」
- 「『delivery』に触れている5つ星レビューだけを取る」
こうした指示はそのまま抽出条件として処理されます。設定後は、条件に合う値だけが取れているか、対象外のものが混ざっていないかを少量データで見てください。
HTMLやCSS、XPathを自分で書かなくても済む場面は多いですが、結果はページ構造や指示の書き方次第で変わります。まず言葉で指定し、サンプルを見ながらプロンプトを詰めていくのが基本の進め方です。
Thunderbitで最初の抽出をやってみる
AIであらゆるWebサイトからデータを抽出 Get Started Free
まず1ページで試し、提案された項目と実際の表示が合っているかを見るところから始めます。
- 対象ページを開く(例:商品一覧ページ)
- Thunderbit拡張機能を起動して「AIでフィールドを提案」を選ぶ
- 提案されたフィールドを見る(「商品名」「価格」「レビュー数」など)。必要なら追加・編集する
- フィールドAIプロンプトを足す(「50ドル未満の価格だけ取る」など)、必要なら
- 「スクレイプ」を押す。取得後は必要な値、空欄、重複、単位・表記をサンプルで確認する
- 書き出す。Excel、Google Sheets、Airtable、Notionへエクスポートでき、出力先で列やデータ型が崩れていないかも見ておく
HTMLやCSSを手作業で組まず、まずWebデータを表にして確かめたいビジネス担当者にはこの流れが向いています。複雑なログイン処理や大規模収集、特殊な整形が必要な場合は、対象ページとの相性や別のやり方も検討したほうがよいでしょう。
ThunderbitのAIスクレイピングの仕組みはScreen Scraping Explained: What It Is and How to Use AI to Do Itにも詳しくまとまっています。
1ページで精度と出力形式を確かめ、業務で使えると判断してから範囲や頻度を広げるのが安全な進め方です。
押さえておきたい運用のコツ
キーワードを決めるだけで終わらせず、結果の確認方法、見直しのタイミング、対象サイトの利用条件までセットで決めておく必要があります。
- 目標を先に言語化する: どのデータがどの判断に必要なのかをはっきりさせる
- AIの提案を出発点にする: 「AIでフィールドを提案」を初期案として使い、実際の値と照合する
- 見て、直す: 取れたデータを見てフィールドやプロンプトを調整する
- 複数ページで検証する: 正確性、網羅性、空欄、重複を複数の商品・ページで確認する
- 定番の落とし穴を避ける: 広すぎるキーワードや、後から読み込まれる動的コンテンツに注意する
- 利用条件を確認する: 公開データでも、利用規約、著作権、個人情報、アクセス頻度とサーバー負荷は事前にチェックする
ビジネスユーザー向けの簡単なチェックリストを載せておきます。
| ステップ | 実施内容 |
|---|---|
| 目的を定義する | 「商品価格とレビューをすべて取りたい」 |
| AIでフィールド提案を使う | Thunderbitで「AIでフィールドを提案」をクリック |
| プロンプトを追加・調整する | 「5つ星レビューのみ」や「割引後価格」 |
| テストして結果を確認する | 正確性と網羅性をチェックする |
| データを書き出して使う | Sheets、Notion、Airtable、Excelに送る |
「全部取りたい」といった大雑把な要件を、そのまま抽出条件にしないことが大切です。対象期間、商品範囲、必要な列、欠損時の扱いまで決めてからテストに入ってください。運用が始まってからも、ページ構造の変化や結果のずれを定期的にチェックしましょう。
さらに詳しいベストプラクティスはThunderbitのブログにまとまっています。
まとめ
- ウェブスクレイピングキーワードは、業務上の問いをページ上の具体的な項目に翻訳するための単語・フレーズ・セレクタです
- キーワードの精度は、取得結果の正確さ、確認にかかる手間、後工程での使いやすさを左右します。用途ごとに必要な項目を先に決めておくことが出発点になります
- 効果的なキーワードは、業務目標とページ構造を確認したうえで、少量データのテストを重ねて磨き込みます
- Thunderbitの「AIでフィールドを提案」「フィールドAIプロンプト」は、HTMLやCSSを自分で組みたくない場合の選択肢です。提案は必ず実ページと照合してから使ってください
- 一度きりで終わらせず、ページ構造の変化や結果のずれを定期的に見直すことで、業務で使い続けられる状態を保てます
いきなり範囲を広げず、まず対象ページを1つ選び、必要な列が取れるか、値は正しいか、望む形式で出せるかを確認してください。Thunderbitをダウンロードして小さく試し、業務に合うと分かってから対象を広げるのが現実的です。詳しくはThunderbit Blogにガイドや実例がそろっています。
よくある質問
1. ウェブスクレイピングキーワードとSEOキーワードは何が違いますか? 前者は、自動スクレイピングでページから狙ったデータを取り出すために使う単語・フレーズ・セレクタです。SEOキーワードがコンテンツを見つけてもらうための言葉であるのに対し、スクレイピングキーワードはツールに「どこの何を取るか」を伝える役割を持ちます。
2. 自分のプロジェクトに合うキーワードはどう見つければいいですか? 業務目的と必要な出力項目を先に決め、ブラウザの検証ツールでページ構造を見て、関連するタグ・クラス・表示ラベルを探します。Thunderbitを使うなら、AIの提案候補を確認し、実際のページの値と照らして調整します。
3. 技術に詳しくなくてもキーワードを設計できますか? Thunderbitのようなツールなら、自然な言葉で条件を伝え、フィールドやキーワードの候補を確認するだけで進められます。ただし結果はページ構造や条件次第で変わるので、まず少量データで精度を確かめることが欠かせません。
4. よくある失敗パターンは何ですか? キーワードが広すぎて不要なデータまで拾ってしまう、動的コンテンツを取りこぼす、業務目標とキーワードがずれている——このあたりが典型です。複数サンプルで空欄・重複・表記ゆれを確認し、必要に応じて調整してください。対象サイトの利用規約、著作権、個人情報、アクセス頻度への配慮も忘れずに。
5. Thunderbitはキーワード選びをどう楽にしてくれますか? 「AIでフィールドを提案」がページを読み取り、候補フィールドと裏で使うキーワードを出してくれます。「フィールドAIプロンプト」でさらに条件を絞り込めるので、最初の設定負担を減らしたい人に向いています。ただし提案は必ず実データと照合してから運用してください。
まずは対象ページを1つ選び、必要な列、精度、出力形式を確認してください。Thunderbitを無料で試すで小さく始め、用途に合うと分かってから範囲を広げると安心です。
AIウェブスクレイパーを試す Get Started Free
さらに詳しく
