AI搭載Webスクレイピング

ニューススクレイパー:見出しから記事の詳細までつなげて抽出

トピックページ、セクションページ、検索結果ページから見出しを集め、その後記事リンクを開いて、表示されている著者名、公開日、要約、セクション、ソースURLを取得します。実行前に、どの記事情報が必要かを自然な日本語でThunderbitに伝えるだけです。

大規模収集の手段をもっと探している?

かんたんお試し:自分で試してみよう。

ニュースの見出しを記事本文の情報につなげる

見出しのウォッチリストを、出典情報つきの記事レコードに変換します。

記事を開いて詳細を取得

トピックページ、セクションページ、結果ページから始められます。Thunderbit は各リンク先の記事を開き、表示されている著者名、公開時刻、セクション、要約、記事URLを追加できます。

news-subpage.png

記事URLの一覧を一括処理

編集者やリサーチャーが選んだリンクを貼り付けてください。アクセス可能な記事が1行ずつレコードになり、出典と公開情報が正しい見出しに紐づきます。

news-bulk.png

ニュースウォッチリストを更新

同じソースページを後日再実行するように予約できます。その時点で表示されている記事と見出し情報を反映した新しい表が作成されます。

news-scheduled.png

スクレイパーを作らずにニュースウォッチリストを作成

見出しから著者名、日付、セクション、出典情報までを1つの表にまとめられます。

手作業のリストやセレクターツール

ソースごとに毎回セットアップが必要
一覧ページと記事ページを行き来しながら手作業でコピペする必要がある。
ページ構造が変わるたびにルールの修正が必要。
ページ送りや「さらに読み込む」の対応に追加作業が発生する。
著者名や日付はセクションごとに表記が異なる。
ワンクリック抽出

Thunderbit AIエージェント

ニュースページを開いてすぐ開始
役立つ記事情報を自動で提案。
任意のサブページ訪問で著者名、日付、セクションを追加。
貼り付けた記事URL一覧にも対応。
Sheets、Notion、Excelにエクスポート可能。

対象となる記事・一覧項目

セッション上で表示されているものだけを取得します。

  • headline
  • article_url
  • outlet_name
  • author_name
  • author_profile_url
  • byline
  • publication_date
  • publication_time
  • updated_date
  • updated_time
  • section
  • subsection
  • tags
  • summary
  • lead_paragraph
  • body_text_snippet
  • dateline_location
  • estimated_read_time
  • image_url
  • image_caption
  • image_credit
  • video_url
  • video_title
  • video_duration
  • gallery_image_count
  • comment_count
  • share_count
  • related_titles
  • related_urls
  • publisher_logo_url

Watch news researchers build a usable watchlist

In user videos, news teams show how they match headlines with article details and check each row.

見出しから文脈情報へ移す際によくある質問

ニュース一覧と記事に関する簡単な回答。

Continue from headlines to source research

Collect author pages, press releases, publication archives, or topic feeds that support the same news question.

4PDAスクレイパー

4PDAスクレイパー

Thunderbitの4PDAスクレイパーは、AIを活用して4PDAのニュース記事やフォーラム投稿からデータを抽出できます。記事タイトル、公開日、著者、投稿内容を素早く収集できるため、リサーチや分析、テック系ディスカッションのモニタリングに最適です。テクノロジー愛好家、研究者、マーケターなど、4PDAの構造化データを求める方におすすめです。

詳しく見る ->
Ptt スクレイパー

Ptt スクレイパー

ThunderbitのPttスクレイパーは、AIによるフィールド提案機能でPttの掲示板や投稿データを効率的に抽出できます。掲示板名、URL、人気度、投稿タイトル、投稿者、コメントなどを収集でき、リサーチやマーケティング、コンテンツ分析に最適です。マーケター、研究者、コンテンツ制作者がPttの構造化データを手軽に取得したいときにおすすめのツールです。

詳しく見る ->
ピザマーケットプレイススクレイパー

ピザマーケットプレイススクレイパー

Thunderbit の Pizza Marketplace スクレイパーを使えば、Pizza Marketplace のニュース一覧やベンダーディレクトリからデータを抽出できます。AIによるフィールド提案機能で、ニュースタイトル、公開日、著者、ベンダー名、所在地、連絡先などを素早く収集でき、リサーチやマーケティング、分析に活用可能です。

詳しく見る ->
Failory スクレイパー

Failory スクレイパー

Thunderbit の Failory スクレイパーは、Failory のスタートアップ墓場やニュース記事から構造化データを抽出できるツールです。AIによるフィールド提案機能で、スタートアップ名、設立年、失敗理由、記事タイトル、著者などを効率的に収集可能。Failory からのインサイトを求める起業家、投資家、研究者に最適です。

詳しく見る ->
Investing.comスクレイパー

Investing.comスクレイパー

Investing.comから、株価データ(銘柄コード、価格、出来高、時価総額など)をわずか2クリックで抽出し、そのままGoogle Sheets、Notion、Excelにエクスポートできます。Investing.comの任意のページを開くだけで、AIが取得項目を自動で見つけます。

詳しく見る ->
Substackスクレイパー

Substackスクレイパー

Substackの購読者数、記事タイトル、配信説明文を2クリックで抽出。Excel、Google Sheets、Notionへそのまま出力できます。コードは不要で、ThunderbitのAIがデータの整理まで自動で行います。

詳しく見る ->
すべてのユースケースを見る

データ抽出を一気に加速する準備はできた?

すでに20万人以上のプロがThunderbitでWebスクレイピング業務を自動化しています。

無料トライアルでは8ページ分の無制限クレジットを利用できます。