JA

AIを活用してウェブサイトのデータをExcelに取り込む方法

Last Updated on January 20, 2025

ウェブスクレイピングの世界に足を踏み入れてみましょう。少し技術的に聞こえるかもしれませんが、実際には非常に実用的です。簡単に言えば、ウェブスクレイピングとは、不動産リストや商品価格、さらにはソーシャルメディアのコメントなど、必要な情報をウェブサイトから引き出し、Excelに整理して簡単に閲覧・分析できるようにすることです。

もちろん、手動でデータをコピー&ペーストすることもできますが、何百、何千ものエントリーを手作業で行うことを想像してみてください。それでは効率が大幅に低下します。そこで、AIツールに任せてみてはいかがでしょうか?今日は、この作業を簡単にしてくれるAIツール、をご紹介します。

ウェブスクレイピングとは?

ウェブスクレイピングは、ウェブサイトからデータを引き出す技術です。例えば、eコマースサイトから商品情報を集めたり、不動産プラットフォームから賃貸データを集めたりする場合、ウェブスクレイピングはこれらの作業を自動化し、Excelに簡単にインポートできるスプレッドシートにデータを整理します。

従来、ウェブスクレイピングには2つの主要なアプローチがあります。1つ目はコーディングベースで、プログラマーでないと難しいかもしれません。2つ目は、のようなノーコードのウェブスクレイパーを使用する方法で、設定が難しいことがあります。これらのツールは、のような人気サイトのテンプレートを持っていることが多いですが、実際のシナリオでは、ディレクトリやShopifyストアのようなさまざまなユニークなサイトからデータをスクレイピングする必要があるかもしれません。これらの複雑で多様なウェブサイトに対しては、AIを使ったウェブスクレイピングが賢明な選択です。

なぜAIを使ってウェブサイトのデータをスクレイピングするのか?

AIを使ってウェブサイトのデータをスクレイピングすることは、より賢く、効率的な方法です。AIツールは、ウェブページ上のデータ構造やパターンを自動的に認識できます。これらのツールは、サイトを読み取り、構造化されたデータを直接出力することで、動的なコンテンツを処理し、ウェブレイアウトの変更に適応し、迅速に正確な結果を提供します。さらに、これらのツールは技術的な背景を必要とせず、数回のクリックでスクレイピングしたデータをExcel、Notion、Airtableに直接インポートして、さらなる分析や利用が可能です。はそのようなAIウェブスクレイパーの一つであり、その機能と使い方を探っていきます。

Thunderbit - AIウェブスクレイパーの紹介

今日の主役をご紹介します:。これは、人気サイト用の事前構築されたスクレイパーと、より複雑なサイトに対応するカスタム指示を備えたスマートなAIウェブスクレイパーです。

  • 事前構築されたウェブスクレイパー は、のような人気サイトからデータを抽出するために特別に設計された事前構築されたウェブスクレイパーを提供しています。テンプレートを選択し、数回のクリックでウェブサイトのデータをExcelにスクレイピングできます。

scrape_amazon_template.gif

  • カスタム指示

より複雑なウェブサイトの場合、Thunderbitのカラム詳細指示機能を使用して、スクレイピングしたい内容を正確に指定できます。例えば、住所から都市と州だけが必要な場合、「都市と州だけが必要です。例:サンフランシスコ、CA」といった詳細な指示を追加すると、エクスポートされたデータが要件に合致します。 custom_instruction.gif

ウェブサイトからExcelにデータをスクレイピングするステップバイステップガイド

人気サイトのスクレイピング(Amazon、Zillow、Twitter、Instagramなど)

を使用してウェブサイトからデータをスクレイピングし、Excelにエクスポートする方法をご紹介します。

  1. Thunderbitのセットアップ方法

のウェブサイトにアクセスし、Chrome拡張機能として追加します。

set_up_thunderbit.png

  1. スクレイピング

スクレイピングしたいウェブサイトを開きます。例えば、です。事前構築されたテンプレートが自動的に表示され、「スクレイピング」をクリックするだけです。AIがページ上の有用な情報、例えば商品価格や名前を識別します。

one_click_scrape.gif

  1. 出力形式を選択

スクレイピング後、Excelのようなエクスポート形式を選択してデータを簡単に整理します。Google Sheetsにコピー&ペーストすることもできます。 export_format.gif

任意のウェブサイトのスクレイピング

テンプレートリストにないサイトをスクレイピングしたい場合はどうすればいいでしょうか?心配ありません、カスタム指示機能を使って柔軟に調整できます:

  1. AIスクレイパーテンプレートのセットアップ

「AIカラムを提案」をクリックすると、AIがサイト全体を読み取り、商品価格、説明、レビューなどのカラムを自動的に抽出します。 set_up_AI_scraper.png

AI生成のカラム名に満足できない場合は、各カラムのデータ形式をカスタマイズできます。例えば、数字、日付、テキスト、単一または複数選択などです。 customize_each_column.png

さらに、「カラム詳細指示を追加」をクリックして、より多くの説明を提供し、AIがあなたのニーズを正確にキャプチャするようにします。例えば、「都市と州だけが必要です。例:サンフランシスコ、CA」と入力すると、エクスポートされたデータが希望の形式になります。 add_column_detailed_instrcution.png

  1. テーブルに接続

データがスクレイピングされたら、「CSVをダウンロード」をクリックしてExcelに直接インポートします。または、「保存先…」を選択して、結果をNotion、Airtable、Google Sheetsなどのツールと同期し、簡単にアクセスできます。 connect_to_your_table.png connect_to_your_accounts.png

Thunderbitのユースケース

リードジェン

教育ソフトウェア会社で働いていて、製品を宣伝するために大学教授の連絡先情報を見つける必要があるとします。教員のウェブサイトにはテンプレートがないことが多く、Thunderbitの自動スクレイピング機能が理想的です。わずか2ステップでウェブサイトからExcelにデータをスクレイピングし、リードジェネレーションを支援します。教授情報を抽出する例を示します:

  1. ThunderbitでUCバークレーの教員リストをスクレイピング: スクレイピングしたいページを開き、Thunderbitを起動します。「AIカラムを提案」をクリックすると、AIがウェブページを読み取り、教授名、メール、研究分野などの必要なカラムを自動的に識別します。
  2. データのエクスポート: 「スクレイピング」をクリックすると、設定されたカラム名に基づいてデータが抽出されます。「CSVをダウンロード」をクリックしてデータをExcelに直接インポートするか、Google Sheetにコピー&ペーストします。

scrape_leads_gen.gif

eコマース

eコマースの販売者は、競合他社の価格や商品詳細をリアルタイムで監視する必要があります。ストアから商品情報をスクレイピングし、価格、在庫、評価を含めて市場動向を迅速に分析します。eコマースには2つのユースケースがあります:Amazonのような大規模なショッピングプラットフォームでは、ワンクリックで抽出できる事前構築されたテンプレートを使用し、多様なShopifyストアではカスタム指示を使用します。

  • Amazon

のウェブサイトを開き、スクレイピングしたい商品ページをクリックすると、事前構築されたテンプレートアイコンが自動的に表示され、Amazon SKU詳細スクレイパーやAmazon SKUレビュースクレイパーが含まれます。スクレイピングしたいタイプを選択し、「スクレイピング」をクリックします。 scrape_amazon_template.gif

  • Shopifyストア

多様なウェブインターフェースを持つShopifyストアの場合、AI駆動のカスタム指示機能を使用します。興味のあるShopifyストアページを開き、右上のThunderbitプラグインアイコンをクリックしてThunderbitを起動し、「AIカラムを提案」をクリックします。AIが自動的に必要なデータを識別します:商品名、価格、レビューなど。

その後、「スクレイピング」をクリックしてデータをExcelにインポートします。「ヘッダー付きでコピー」または「ヘッダーなしでコピー」を選択して、データをExcelに直接貼り付けることもできます。

scrape_shopify.gif

不動産

不動産エージェントや投資家であれば、さまざまな地域の物件リストを整理する必要があります。Zillowのような人気の不動産サイトでは、ワンクリックでデータを抽出できる事前構築されたテンプレートを使用できます。Equity Apartmentsのような不動産会社のウェブサイトでは、カスタム指示機能を選択できます。

  • Zillow

Thunderbitは主要な人気サイト用に事前構築されたテンプレートを作成しており、都市、州、価格、住所などの豊富なカラム名を持っています。データテーブルは詳細です。Thunderbitの事前構築されたテンプレートを使用してZillowの物件データをスクレイピングし、Excelスプレッドシートに整理します。明確で効率的です。画像に示されているように、を開き、スクレイピングしたい情報を検索すると、Thunderbitが自動的に「事前構築されたテンプレートを使用」知識ボックスを表示します。確認をクリックすると、豊富なデータが生成されます。 scrape_zillow_template.gif

  • Equity Apartments

不動産会社のウェブサイトは最新のリストを更新することが多いですが、各会社のウェブサイトは異なり、リストが数十件しかない場合があります。この場合、従来のウェブスクレイパーを使用してこのデータをスクレイピングすることはできません。なぜなら、ウェブスクレイパーを設定するのにかかる時間が、Excelにコピー&ペーストするよりも長いからです。したがって、AIウェブスクレイパーが最適なツールであり、ウェブサイトからリストを2回クリックするだけでスクレイピングできます。

  1. AIがデータ名を選択してスクレイピング: スクレイピングが必要なウェブサイトを開き、AIウェブスクレイパーをクリックし、「AIカラムを提案」をクリックします。AIがページ全体を読み取り、アパート名、住所、電話番号などの推奨カラム名を生成します。 scrape_equity_apartments.gif

  2. スクレイピングをクリック: カラムが設定されたら、「スクレイピング」をクリックします。データが生成されたら、「CSVをダウンロード」をクリックしてExcelでデータを開きます。「ヘッダー付きでコピー」または「ヘッダーなしでコピー」を選択して、データをExcelに直接貼り付けることもできます。

Thunderbitを使用するためのヒント

をより効率的に使用するためのヒントをいくつかご紹介します:

  • AIカラムを提案

テンプレートなしでウェブページをスクレイピングしたいが、データをどのように分類するかわからない場合はどうすればいいでしょうか?問題ありません、AIカラムを提案に任せましょう。スクレイピングしたいウェブページを開き、AIウェブスクレイパーをクリックし、「AIカラムを提案」をクリックします。Thunderbitがページ全体を読み取り、価格、日付、住所などの可能性のあるデータカラムを自動的に推奨し、手動設定の手間を減らします。

AIカラムを提案の出力に満足できない場合は、データカラムを手動で変更できます。例えば、カラム名を変更したり、読み取り形式を調整したりします。データ形式は数字、テキスト、単一または複数選択、画像などです。カラム詳細指示を追加し、コマンドを入力してAIに具体的なニーズを伝えることもできます。AIはあなたの要件に基づいてデータを抽出します。

  • Notion、Airtable、Google Sheetとの統合

エクスポートされたデータは、ヘッダー付きまたはヘッダーなしでコピーでき、Excelにデータを貼り付けることができます。さらに、Thunderbitは他のツールと連携し、スクレイピングしたデータをNotionやAirtableのような生産性ツールとシームレスに同期し、長期プロジェクトやチームコラボレーションに最適です。

エクスポートされたデータは、個人用にGoogle Sheetsで直接開くこともできます。

  • PDFのスクレイピング

通常のウェブデータに加えて、はウェブ上のPDFファイルも認識できます。PDFファイルは整然として見えますが、実際にはテキスト、表、画像などのさまざまな形式のデータを含んでいます。従来のPDFスクレイパーを使用することは複雑です。しかし、Thunderbitを使用すると、PDFからのデータ抽出が簡単になります。私の記事で述べたように、Thunderbitを使用してウェブ上のPDFからExcelにデータをスクレイピングすることもできます。

面倒な手動データ整理に悩む必要はもうありません。AmazonやZillowのような人気サイトでも、スクレイピングしたいニッチなサイトでも、にお任せください。このAIツールは、すべての「ウェブサイトデータをExcelにスクレイピングする」ニーズを簡単に満たすことができます。試してみてください。データスクレイピングがこれほど簡単で効率的になったことはありません。

よくある質問

  1. Thunderbitを使ってどんなウェブサイトからでもデータをスクレイピングできますか?

はい、Thunderbitはカスタム指示機能を使用して、どんなウェブサイトからでもデータをスクレイピングすることができます。ユーザーは抽出したいデータを正確に指定でき、AIが必要な出力を生成します。

  1. Thunderbitを使ってどのようなデータをスクレイピングできますか?

商品名、価格、説明、連絡先情報など、さまざまな種類のデータをスクレイピングできます。ThunderbitのAIは、スクレイピングされるウェブサイトのコンテンツに基づいて関連するカラムを提案します。

  1. スクレイピングしたデータをどのようにエクスポートできますか?

スクレイピング後、CSV形式やExcelに直接データを簡単にエクスポートできます。Thunderbitは、NotionやAirtableなどのツールとスクレイピングしたデータを同期し、さらなる分析を行うことも可能です。

  1. ウェブスクレイピングツールを使用するのにプログラミングスキルは必要ですか?

ここで紹介するほとんどのツールはプログラミングスキルを必要としませんが、OctoparseやWeb Scraperのようなツールは、ウェブ構造の基本的な知識やプログラミングの考え方を持っていると最適に使用できます。

  1. Thunderbitを使ったウェブスクレイピングのユースケースは何ですか?

一般的なユースケースには、リードジェネレーション(例:大学のウェブサイトから教員情報を抽出)、eコマースの価格監視(例:Amazonでの競合他社の追跡)、不動産データ収集(例:Zillowからの物件リストの収集)があります。

詳細を学ぶ

AIウェブスクレイパーを試す
Shuai Guan
Shuai Guan
Co-founder/CEO @ Thunderbit. Passionate about cross section of AI and Automation. He's a big advocate of automation and loves making it more accessible to everyone. Beyond tech, he channels his creativity through a passion for photography, capturing stories one picture at a time.
Topics
AIウェブスクレイパーExcel
Extract your data without code
Easily transfer data to Google Sheets, Airtable, or Notion
Chrome Store Rating
PRODUCT HUNT#1 Product of the Week