複数のウェブサイトから製品情報や価格データを集めて、それをExcelシートに整理しなければならない状況に陥ったことはありませんか？手動で情報を整理するのは、時間がかかるだけでなく、エラーが発生しやすい作業です。この問題を解決するために、初心者から上級者まで対応可能な、ウェブサイトのデータを直接Excelに取り込む最も簡単で効果的な方法を探ってみましょう。
コード不要のウェブスクレイピングツールを使用する
コードを書くことを避けたい方には、のようなコード不要のウェブスクレイピングツールが、ウェブサイトからExcelへのデータ抽出を可能にします。これらのツールは、プログラミングスキルを必要とせずに、視覚的にデータ抽出ルールを定義できるように設計されています。
Thunderbit は、固定セレクターに依存せずにウェブサイトのレイアウトとコンテンツを理解するために高度な自然言語モデルを使用します。しかし、ほとんどのツールはドラッグアンドドロップ機能とカスタマイズ可能なテンプレートを使用し、ユーザーがウェブスクレイピングタスクを設定し自動化するまでに数時間の学習を必要とします。
さらに、Excelだけでなく、Google Sheets、Airtable、Notionにもワンクリックでデータをエクスポートできます。
Thunderbitで製品データを収集する3ステップ
ステップ1: ウェブサイトを開き、サイドバーの「AIウェブスクレイパー」をクリックします。
Thunderbitをブラウザに簡単にインストールした後、スクレイピングしたいウェブサイトを開き、Thunderbitサイドバーの「AIウェブスクレイパー」オプションを見つけます。
ステップ2: AIの支援を受けて抽出したいデータフィールドをカスタマイズします。
「AIカラムを提案」機能を使用すると、スクレイパーテンプレートが自動的に生成されます。その後、AIのサポートを受けてこのテンプレートを編集し、ニーズに合わせることができます。データを保存する場所を選択するオプションがあり、テーブルとして出力してコピーするか、他のプラットフォームに保存することができます。
ステップ3: 抽出したデータをExcelにエクスポートします。
すべてのデータフィールドを確認したら、スクレイパーを実行します。抽出したデータをコピーまたはダウンロードし、Excelにインポートできます。
Excel Webクエリを使用する
Excelには、Webページから直接データを抽出できるWebクエリという機能があります。この方法は、ウェブサイトから構造化された表形式のデータを直接インポートするのに特に役立ち、定期的な更新でデータの関連性を維持することができます。ただし、この機能はWindows版のExcelでのみ利用可能です。
Excel Webクエリで製品データを収集する手順:
- Excelを開く: 新しいワークブックを開始し、データタブに移動します。
- 「Webから」を選択: 「外部データの取得」をクリックし、「Webから」を選択します。
- URLを入力: スクレイピングしたいウェブサイトのアドレスを入力し、OKをクリックします。
- データを選択: Excelはページ上のテーブルを表示します。希望のテーブルを選択し、ロードをクリックします。
- 出力を確認: ワークブック内のデータをロードする場所を指定し、ニーズに合っているか確認します。
Thunderbitがデータをスクレイピングするだけでなく、AIを使用してウェブページを要約し、自動入力する方法を探ってみてください。。
Excel VBAを使用したカスタムスクレイピング
プログラミングの知識がある方には、VBA（Visual Basic for Applications）を使用してより複雑なスクレイピングタスクを実行することができます。VBAは、Excelを含むMicrosoft Officeアプリケーションに統合されたプログラミング言語です。この機能はWindows版のExcelでのみ利用可能です。
Excel VBAで製品データを収集する手順:
- 開発者タブを有効にする:
- Excelを開き、「Excel」>「環境設定」>「表示」をクリックします。
- 下部のペインで「開発者」オプションをチェックします。
- 参照を追加する:
- 開発者タブで「Visual Basic」をクリックしてVBAエディタを開きます。
- 「ツール」>「参照」に移動し、次の項目をチェックします:
- Microsoft Internet Controls
- Microsoft HTML Object Library
- データ抽出用のVBAコードを書く
- 「挿入」>「モジュール」をクリックします。
- エディタにVBAコードを書きます。
Amazonの製品ページから製品タイトル、価格、在庫状況を抽出する基本的な例を以下に示します:
Sub ScrapeAmazonPage()
Dim IE As Object
Dim html As Object
Dim productTitle As String
Dim productPrice As String
Dim productRating As String
' Internet Explorerオブジェクトを作成
Set IE = CreateObject("InternetExplorer.Application")
' Amazonの製品ページに移動
IE.Visible = True
IE.navigate "Put Your URL Here"
' ページが読み込まれるのを待つ
Do While IE.Busy Or IE.readyState <> 4
DoEvents
Loop
' HTMLドキュメントを取得
Set html = IE.document
' 製品タイトルを抽出
On Error Resume Next
productTitle = html.getElementById("productTitle").innerText
On Error GoTo 0
' 製品価格を抽出
On Error Resume Next
productPrice = html.getElementsByClassName("a-price-whole")(0).innerText
On Error GoTo 0
' 製品評価を抽出
On Error Resume Next
productRating = html.getElementsByClassName("a-icon-alt")(0).innerText
On Error GoTo 0
' 抽出したデータをExcelに出力
With ThisWorkbook.Sheets(1)
.Cells(1, 1).Value = "Product Title"
.Cells(1, 2).Value = "Price"
.Cells(1, 3).Value = "Rating"
.Cells(2, 1).Value = productTitle
.Cells(2, 2).Value = productPrice
.Cells(2, 3).Value = productRating
End With
' クリーンアップ
IE.Quit
Set IE = Nothing
Set html = Nothing
End Sub
- VBAスクリプトを実行してテストする
- Visual Basicエディタでスクリプトを実行するか、Excelシートのボタンにスクリプトを割り当てます。
- Excelシートでデータ出力を確認し、期待通りにフォーマットされているか確認します。
AIにデータスクレイピングを任せて、コーディングの手間を省きましょう。重要なことに集中するための時間を確保してください。私たちのの力を発見してください！
よくある質問
-
ウェブスクレイピングとは何ですか、それはなぜ有用ですか？
ウェブスクレイピングは、ウェブサイトからデータを収集し、表形式などのフォーマットで整理することです。製品価格などの情報を複数のソースから収集し、簡単に比較・分析するのに役立ちます。
-
Thunderbitはどのように機能しますか？
Thunderbitは、コーディングなしでデータを抽出できます。視覚的なインターフェースを使用して、ユーザーはスクレイピングするデータフィールドを選択でき、ツールがそれを自動化し、データ収集を簡素化します。
-
ThunderbitでExcel以外のプラットフォームにデータをエクスポートできますか？
はい、ThunderbitはGoogle Sheets、Airtable、Notionなどのプラットフォームへのデータエクスポートをサポートしており、Excelを超えたデータ管理の柔軟性を提供します。
-
Webクエリデータが自動的に更新されないのはなぜですか？
Excelのデータタブで「すべて更新」オプションが有効になっていることを確認してください。クエリと接続の下で「接続プロパティ」を選択して、自動更新間隔を設定できます。
-
VBAコードが正しく実行されないのはなぜですか？
開発者タブを有効にし、必要な参照（Microsoft Internet ControlsとHTML Object Library）を選択していることを確認してください。
詳細を学ぶ: