AIでWebサイトのデータをExcelに取り込む方法

それでは、Webスクレイピングの世界へ飛び込んでみましょう。少し技術っぽく聞こえるかもしれませんが、実はかなり実用的です。簡単にいうと、Webスクレイピングとは、物件情報、商品価格、SNSのコメントなど、必要な情報をWebサイトから抜き出して、Excelで見やすく整理し、分析しやすくすることです。

もちろん、手作業でコピー＆ペーストすることもできますが、何百件、何千件ものデータを相手にする場面を想像してみてください。効率は一気に落ちてしまいます。そこで頼りになるのが、面倒な作業をAIツールに任せる方法です。今回は、この作業をびっくりするほど簡単にしてくれるAIツールをご紹介します。

Webスクレイピングとは？

Webスクレイピングとは、Webサイトからデータを抽出する技術です。ECサイトの商品情報を集めたいときでも、不動産サイトから賃貸情報を集めたいときでも、スクレイピングを使えば作業を自動化でき、Excelに取り込める形式のスプレッドシートとして整理できます。

従来のWebスクレイピングには、大きく分けて2つの方法があります。1つ目はコードで実装する方法で、プログラミング経験がない人には少しハードルが高めです。2つ目はのようなノーコード型のWebスクレイパーを使う方法ですが、セットアップが意外と大変なことがあります。こうしたツールはのような有名サイト向けテンプレートを備えていることが多いものの、実際の現場では、ディレクトリサイトやShopifyストアなど、いろいろな独自サイトからデータを取る必要が出てきます。こうした複雑で種類の多いWebサイトには、AIを使ったWebスクレイピングのほうが賢い選択です。

なぜAIでWebサイトデータをスクレイピングするのか？

AIを使ったWebサイトのスクレイピングは、よりスマートで効率的な方法です。AIツールは、Webページ上のデータ構造やパターンを自動で見つけ出せます。サイトを読み取って、そのまま構造化データとして出力するため、動的なコンテンツにも対応しやすく、ページレイアウトの変化にも柔軟に追従できます。しかも、専門知識は不要。数回クリックするだけで、抽出したデータをExcel、Notion、Airtableに直接取り込んで、すぐに分析や活用ができます。はその代表例で、ここから機能と使い方を見ていきましょう。

AIでWebスクレイピングを試してみる

ぜひ試してみてください。クリックしながら、ワークフローを見て、そのまま実行できます。

Thunderbitの紹介 - AI Web Scraper

今日の主役、の登場です。人気サイト向けの既製スクレイパーにも、カスタム指示が必要な複雑なサイトにも対応できる、賢いAIウェブスクレイパーです。

既製のWebスクレイパー には、、、のような人気サイトからデータを抽出するためのテンプレートが用意されています。テンプレートを選んで数回クリックするだけで、WebサイトのデータをExcelに取り込めます。

カスタム指示

より複雑なWebサイトでは、Thunderbitの列ごとの詳細指示機能を使って、抽出したい内容を細かく指定できます。たとえば住所から市区町村と州だけが必要なら、「City と State だけほしい。たとえば San Francisco, CA のように」と入力すれば、書き出し結果を要件に合わせられます。

WebサイトのデータをExcelに取り込むステップガイド

あらゆるWebサイトをスクレイピングする場合

テンプレート一覧に目的のサイトがない場合はどうするのか？心配いりません。Thunderbitのカスタム指示機能を使えば、柔軟に対応できます。

AIスクレイパーテンプレートを設定する

「AI Suggest Columns」をクリックすると、AIがサイト全体を読み取り、商品価格、説明、レビューなどの列を自動で抽出します。

AIが作成した列名に満足できない場合は、数値、日付、テキスト、単一選択、複数選択など、各列のデータ形式を自由に調整できます。

さらに、「Add column detailed instruction」をクリックして補足説明を追加すれば、AIに意図をもっと正確に伝えられます。たとえば「City と State だけほしい。たとえば San Francisco, CA のように」と入力すれば、出力データを希望の形に整えられます。

テーブルに接続する

データの抽出が終わったら、「Download CSV」をクリックして、Excelに直接取り込みます。あるいは「Save to…」を選べば、Notion、Airtable、Google Sheetsなどと同期して、すぐ使える状態にできます。

Thunderbitの活用例

リード獲得

たとえば、教育系ソフトウェア企業で働いていて、大学教授の連絡先を集めて製品を案内したいとします。学部サイトにはテンプレートがないことが多いため、Thunderbitの自動抽出機能がぴったりです。たった2ステップでWebサイトからExcelにデータを取り込み、リード獲得に役立てられます。教授情報を抽出する例を見てみましょう。

ThunderbitでUC Berkeleyの教員一覧を抽出する： 抽出したいページを開いてThunderbitを起動します。「AI Suggest Column」をクリックすると、AIがページ全体を読み取り、教授名、メールアドレス、研究分野など必要な列を自動で特定します。
データを出力する： 「Scrape」をクリックすると、設定した列名に基づいてThunderbitがデータを抽出します。「Download CSV」をクリックしてExcelに直接取り込むことも、Google Sheetにコピー＆ペーストすることもできます。

eコマース

EC事業者は、競合の価格や商品情報をリアルタイムで押さえておく必要があります。やストアから、価格、在庫、評価などの商品情報を抽出して、市場の動きを素早く分析しましょう。eコマースでは、Amazonのような大手モールなら既製テンプレートでワンクリック抽出、さまざまなShopifyストアにはカスタム指示を使う、という2通りの使い方があります。

Amazon

を開き、抽出したい商品ページをクリックすると、Amazon SKU詳細スクレイパーやAmazon SKUレビュースクレイパーなどの既製テンプレートが自動で表示されます。抽出したい種類を選び、「Scrape」をクリックします。

Shopifyストア

画面構成が店舗ごとに異なるShopifyストアでは、AIベースのカスタム指示機能を使います。気になるShopifyストアのページを開き、右上のThunderbitプラグインアイコンをクリックしてThunderbitを起動し、「AI Suggest Column」を選びます。AIが商品名、価格、レビューなど必要なデータを自動で見つけてくれます。

その後、「Scrape」をクリックしてデータをExcelに取り込みます。「Copy with headers」または「Copy without headers」を選べば、Excelにそのまま貼り付けることもできます。

不動産

不動産エージェントや投資家なら、エリアごとの物件情報を整理する必要があります。Zillowのような人気の不動産サイトなら、既製テンプレートでワンクリック抽出が可能です。のような不動産会社サイトでは、カスタム指示機能が役立ちます。

Zillow

Thunderbitは主要な人気サイト向けに既製テンプレートを用意しており、City、State、Pricing、Address など充実した列名でデータを整理できます。データ表も詳細で分かりやすく、Zillowの物件データを抽出してExcelシートにまとめるのに最適です。画像のとおり、を開いて抽出したい情報を検索するだけで、Thunderbitが自動で「Use Pre-built template」という案内を表示します。確認をクリックすれば、豊富なデータを生成できます。

Equity Apartments

不動産会社のサイトは最新の物件情報を頻繁に更新しますが、会社ごとにサイト構成が異なり、掲載件数も数十件程度しかないことがあります。この場合、従来型のWebスクレイパーで抽出しようとすると、設定にかかる時間のほうが、Excelへ手でコピー＆ペーストするより長くなることもあります。そんなときこそAI Web Scraperの出番です。わずか2クリックで、サイトから物件情報を抽出できます。

AIが抽出するデータ名を選ぶ： 抽出したいWebサイトを開き、AI Web Scraperをクリックしてから「AI Suggest Columns」を選びます。AIがページ全体を読み取り、Apartment Name、Address、Phone Number などの列名を提案します。
Scrapeをクリック： 列を設定したら、「Scrape」をクリックします。データが生成されたら、「Download CSV」をクリックしてExcelで開きます。「Copy with headers」または「Copy without headers」を選べば、Excelに直接貼り付けることもできます。

Thunderbitを使いこなすコツ

をより効率的に使うためのポイントを紹介します。

AI Suggest Columns

テンプレートなしでWebページをスクレイピングしたいけれど、どう分類すればいいか分からない——そんなときはAI Suggest Columnsに任せましょう。抽出したいWebページを開いてAI Web Scraperをクリックし、「AI Suggest Columns」を選びます。Thunderbitがページ全体を読み取り、価格、日付、住所などの候補列を自動提案してくれるので、手動設定の手間を減らせます。

AI Suggest Columns の結果に満足できない場合は、列名の変更や読み取り形式の調整など、データ列を手動で修正できます。データ形式は、数値、テキスト、単一選択、複数選択、画像などに対応しています。また、列の詳細指示を追加して命令を入力し、AIに具体的な要望を伝えることもできます。要件に合わせて、欲しいデータを抽出してくれます。

Notion、Airtable、Google Sheetsと連携する

抽出したデータは、ヘッダー付き・ヘッダーなしのどちらでもコピーできるため、Excelに貼り付けやすくなっています。さらに、Thunderbitは他のツールとも連携でき、抽出データをNotionやAirtableなどの業務ツールとスムーズに同期できます。長期プロジェクトやチーム作業にも最適です。

抽出したデータは、個人利用ならGoogle Sheetsで直接開くこともできます。

PDFをスクレイピングする

通常のWebデータだけでなく、はWeb上のPDFファイルも認識できます。PDFは見た目が整っていても、実際にはテキスト、表、画像などさまざまな情報を含んでいます。従来のPDFスクレイパーは設定が複雑になりがちですが、ThunderbitならPDFからのデータ抽出も簡単です。私の記事でも紹介しているように、Thunderbitを使ってWeb上のPDFからExcelへデータを取り込むことができます。

面倒な手作業のデータ整理に、もう悩まされる必要はありません。AmazonやZillowのような人気サイトでも、ニッチなサイトでも、に任せてください。このAIツールがあれば、「WebサイトのデータをExcelに取り込む」という作業を驚くほど簡単に、しかも効率よくこなせます。ぜひ試してみてください。データ抽出がこれまでになくシンプルでスピーディーだと実感できるはずです。

よくある質問

Thunderbitを使えば、どんなWebサイトからでもデータを抽出できますか？

はい。Thunderbitでは、カスタム指示機能を使うことで、あらゆるWebサイトからデータを抽出できます。抽出したい情報を具体的に指定すれば、AIがそれに合わせて必要な出力を生成します。

Thunderbitでは、どんな種類のデータを抽出できますか？

商品名、価格、説明、連絡先情報など、さまざまなデータを抽出できます。ThunderbitのAIは、スクレイピング対象のWebサイトの内容に応じて、関連性の高い列を提案してくれます。

抽出したデータはどうやって出力できますか？

スクレイピング後は、CSVなどの形式で簡単に出力でき、Excelへ直接取り込むこともできます。Thunderbitは、NotionやAirtableなどのツールと同期して、さらに分析しやすくすることも可能です。

Webスクレイピングツールを使うのにプログラミングスキルは必要ですか？

ここで紹介しているツールの多くは、プログラミングスキルがなくても使えます。ただし、OctoparseやWeb Scraperのようなツールは、Web構造の基本やある程度のプログラミング的な考え方があると、よりうまく活用できます。

Thunderbitを使ったWebスクレイピングには、どんな活用例がありますか？

代表的な用途としては、リード獲得（例：大学サイトから教員情報を抽出）、eコマースの価格監視（例：Amazonで競合を追跡）、不動産データ収集（例：Zillowから物件情報を集める）などがあります。

さらに詳しく知る

AI Web Scraperを試す

AIを使ってWebサイトのデータをExcelに取り込む方法