複数のウェブサイトから製品情報や価格データを収集し、それをExcelシートに整理する必要がある状況に直面したことはありませんか？手動で情報を整理するのは時間がかかり、労力が必要で、エラーも発生しやすいです。この問題を解決するために、ウェブサイトのデータを直接Excelに取り込む最も簡単で効果的な方法を、初心者と上級者の両方に向けて紹介します。
コード不要のウェブスクレイピングツールを使用する
コードを書くのが苦手な方には、のようなコード不要のウェブスクレイピングツールが、ウェブサイトからExcelへのデータ抽出を簡単に行う手助けをします。これらのツールは、プログラミングスキルがなくても視覚的にデータ抽出ルールを定義できるように設計されています。
Thunderbit は、固定セレクターに頼らずにウェブサイトのレイアウトやコンテンツを理解するために高度な自然言語モデルを使用します。しかし、ほとんどのツールはドラッグアンドドロップ機能やカスタマイズ可能なテンプレートを使用しており、ウェブスクレイピングタスクを設定して自動化するまでに数時間の学習が必要です。
さらに、データをExcelだけでなく、Google Sheets、Airtable、Notionにもワンクリックでエクスポートできます。
Thunderbitで製品データを収集する3ステップ
ステップ1: ウェブサイトを開き、サイドバーの「AIウェブスクレイパー」をクリックします。
Thunderbitをブラウザに簡単にインストールした後、スクレイピングしたいウェブサイトを開き、Thunderbitのサイドバーで「AIウェブスクレイパー」オプションを見つけます。
ステップ2: AIの支援を受けて抽出したいデータフィールドをカスタマイズします。
「AIカラム提案」機能を使用すると、スクレイパーテンプレートが自動的に生成されます。その後、AIのサポートを受けてこのテンプレートを編集し、ニーズに合わせることができます。データを保存する場所を選択するオプションがあり、テーブルとしてコピーするか、他のプラットフォームに保存することができます。
ステップ3: 抽出したデータをExcelにエクスポートします。
すべてのデータフィールドを確認したら、スクレイパーを実行します。抽出したデータをコピーまたはダウンロードし、Excelにインポートできます。
Excel Web Queriesを使用する
Excelには、Webページから直接データを抽出できるWeb Queryという機能があります。この方法は、構造化された表形式のデータをウェブサイトから直接インポートするのに特に役立ち、定期的な更新でデータの関連性を維持することができます。ただし、この機能はWindows版のExcelでのみ利用可能です。
Excel Web Queriesで製品データを収集する手順:
- Excelを開く: 新しいワークブックを開始し、データタブに移動します。
- 「Webから」を選択: 「外部データの取得」をクリックし、「Webから」を選択します。
- URLを入力: スクレイピングしたいウェブサイトのアドレスを入力し、OKをクリックします。
- データを選択: Excelはページ上のテーブルを表示します。希望のテーブルを選択し、ロードをクリックします。
- 出力を確認: ワークブック内のデータをロードする場所を指定し、ニーズに合っているか確認します。
Thunderbitがデータのスクレイピング以上のことをどのように行うかを探ってみてください。AIを使ってウェブページをスクレイピング、要約、自動入力します。。
Excel VBAを使用したカスタムスクレイピング
プログラミングの知識がある方には、VBA（Visual Basic for Applications）を使用してより複雑なスクレイピングタスクを実行することができます。VBAはMicrosoft Officeアプリケーションに統合されたプログラミング言語で、Excelを含みます。この機能はWindows版のExcelでのみ利用可能です。
Excel VBAで製品データを収集する手順:
- 開発者タブを有効にする:
- Excelを開き、「Excel」>「環境設定」>「表示」をクリックします。
- 下部のペインで「開発者」オプションをチェックします。
- 参照を追加する:
- 開発者タブで「Visual Basic」をクリックしてVBAエディタを開きます。
- 「ツール」>「参照」に移動し、次の項目をチェックします:
- Microsoft Internet Controls
- Microsoft HTML Object Library
- データ抽出用のVBAコードを書く
- 「挿入」>「モジュール」をクリックします。
- エディタにVBAコードを書きます。
Amazonの製品ページから製品タイトル、価格、在庫状況を抽出する基本的な例を以下に示します:
Sub ScrapeAmazonPage()
Dim IE As Object
Dim html As Object
Dim productTitle As String
Dim productPrice As String
Dim productRating As String
' Internet Explorerオブジェクトを作成
Set IE = CreateObject("InternetExplorer.Application")
' Amazonの製品ページに移動
IE.Visible = True
IE.navigate "ここにURLを入力"
' ページが読み込まれるのを待つ
Do While IE.Busy Or IE.readyState <> 4
DoEvents
Loop
' HTMLドキュメントを取得
Set html = IE.document
' 製品タイトルを抽出
On Error Resume Next
productTitle = html.getElementById("productTitle").innerText
On Error GoTo 0
' 製品価格を抽出
On Error Resume Next
productPrice = html.getElementsByClassName("a-price-whole")(0).innerText
On Error GoTo 0
' 製品評価を抽出
On Error Resume Next
productRating = html.getElementsByClassName("a-icon-alt")(0).innerText
On Error GoTo 0
' 抽出したデータをExcelに出力
With ThisWorkbook.Sheets(1)
.Cells(1, 1).Value = "製品タイトル"
.Cells(1, 2).Value = "価格"
.Cells(1, 3).Value = "評価"
.Cells(2, 1).Value = productTitle
.Cells(2, 2).Value = productPrice
.Cells(2, 3).Value = productRating
End With
' クリーンアップ
IE.Quit
Set IE = Nothing
Set html = Nothing
End Sub
- VBAスクリプトを実行してテストする
- Visual Basic Editorでスクリプトを実行するか、Excelシートのボタンにスクリプトを割り当てます。
- Excelシートでデータ出力を確認し、期待通りにフォーマットされているか確認します。
AIにデータスクレイピングを任せて、コーディングの手間を省きましょう。重要なことに集中するための時間を確保してください。私たちのの力を発見してください！
よくある質問
-
ウェブスクレイピングとは何ですか、そしてなぜそれが役立つのですか？
ウェブスクレイピングは、ウェブサイトからデータを収集し、それを表形式などのフォーマットで整理することです。複数の情報源から情報を集めるのに役立ち、製品価格の比較や分析を容易にします。
-
Thunderbitはどのように機能しますか？
Thunderbitは、コーディングなしでデータを抽出することができます。視覚的なインターフェースを使用して、ユーザーはスクレイピングするデータフィールドを選択でき、ツールがそれを自動化し、データ収集を簡素化します。
-
ThunderbitでExcel以外のプラットフォームにデータをエクスポートできますか？
はい、ThunderbitはGoogle Sheets、Airtable、Notionなどのプラットフォームへのデータエクスポートをサポートしており、Excel以外のデータ管理にも柔軟性を提供します。
-
Web Queryデータが自動的に更新されないのはなぜですか？
Excelのデータタブで「すべて更新」オプションが有効になっていることを確認してください。クエリと接続の下で「接続プロパティ」を選択して、自動更新間隔を設定できます。
-
VBAコードが正しく実行されないのはなぜですか？
開発者タブを有効にし、必要な参照（Microsoft Internet ControlsとHTML Object Library）を選択していることを確認してください。
詳細を学ぶ: