複数のウェブサイトから製品情報や価格データを収集し、それをExcelシートに整理する必要がある状況に直面したことはありませんか？手作業でこれを行うのは時間がかかるだけでなく、労力も必要で、エラーが発生しやすいです。この問題を解決するために、初心者から上級者まで対応可能な、ウェブサイトのデータを直接Excelに取り込む最も簡単で効果的な方法をいくつかご紹介します。
コード不要のウェブスクレイピングツールを使用する
プログラミングを避けたい方には、のようなコード不要のウェブスクレイピングツールを使えば、ウェブサイトからExcelにデータを抽出することができます。これらのツールは、プログラミングスキルがなくても視覚的にデータ抽出ルールを定義できるように設計されています。
Thunderbitのは、高度な自然言語モデルを使用して、固定セレクターに依存せずにウェブサイトのレイアウトやコンテンツを理解します。一方で、多くのツールはドラッグ＆ドロップ機能やカスタマイズ可能なテンプレートを使用しており、ウェブスクレイピングタスクを設定して自動化するまでに数時間の学習が必要です。
さらに、Excelだけでなく、Google Sheets、Airtable、Notionにもワンクリックでデータをエクスポートできます。
Thunderbitで製品データを収集する3つのステップ
ステップ1: ウェブサイトを開き、サイドバーの「AI Web Scraper」をクリック
Thunderbitをブラウザに簡単にインストールした後、スクレイピングしたいウェブサイトを開き、Thunderbitのサイドバーにある「AI Web Scraper」オプションを見つけます。
ステップ2: AIのサポートを使って抽出したいデータフィールドをカスタマイズ
「AI Suggest Columns」機能を使用すると、スクレイパーテンプレートが自動的に生成されます。その後、AIのサポートを受けながらこのテンプレートを編集してニーズに合わせることができます。データの保存先として、コピー用のテーブルとして出力するか、他のプラットフォームに保存するかを選択できます。
ステップ3: 抽出したデータをExcelにエクスポート
すべてのデータフィールドを確認したら、スクレイパーを実行します。抽出したデータをコピーまたはダウンロードして、Excelにインポートできます。
Excel Web Queriesを使用する
Excelには、Web Queryという機能が組み込まれており、ウェブページから直接データを抽出できます。この方法は、構造化された表形式のデータをウェブサイトから直接インポートするのに特に便利で、定期的な更新でデータの関連性を維持することができます。ただし、この機能はWindows版のExcelでのみ利用可能です。
Excel Web Queriesで製品データを収集する手順:
- Excelを開く: 新しいワークブックを開始し、データタブに移動します。
- 「Webから」を選択: 「外部データの取得」をクリックし、「Webから」を選択します。
- URLを入力: スクレイピングしたいウェブサイトのアドレスを入力し、OKをクリックします。
- データを選択: Excelはページ上のテーブルを表示します。目的のテーブルを選択し、「読み込み」をクリックします。
- 出力を確認: データをワークブックのどこに読み込むかを指定し、ニーズに合っているか確認します。
Thunderbitを使えば、データのスクレイピングだけでなく、AIを活用して要約や自動入力も可能です。。
Excel VBAを使用したカスタムスクレイピング
プログラミングの知識がある方には、VBA（Visual Basic for Applications）を使用することで、より複雑なスクレイピングタスクを実行できます。VBAはMicrosoft Officeアプリケーション（Excelを含む）に統合されたプログラミング言語です。この機能もWindows版のExcelでのみ利用可能です。
Excel VBAで製品データを収集する手順:
- 開発者タブを有効化:
- Excelを開き、「Excel」>「環境設定」>「表示」をクリックします。
- 下部のペインで「開発者」オプションをチェックします。
- 参照を追加:
- 開発者タブで「Visual Basic」をクリックしてVBAエディタを開きます。
- 「ツール」>「参照」に移動し、以下をチェックします：
- Microsoft Internet Controls
- Microsoft HTML Object Library
- データ抽出用のVBAコードを記述
- 「挿入」>「モジュール」をクリックします。
- エディタにVBAコードを記述します。
以下は、Amazonの製品ページから製品タイトル、価格、在庫状況を抽出する基本的な例です：
Sub ScrapeAmazonPage()
Dim IE As Object
Dim html As Object
Dim productTitle As String
Dim productPrice As String
Dim productRating As String
' Internet Explorerオブジェクトを作成
Set IE = CreateObject("InternetExplorer.Application")
' Amazon製品ページに移動
IE.Visible = True
IE.navigate "ここにURLを入力"
' ページの読み込みを待機
Do While IE.Busy Or IE.readyState <> 4
DoEvents
Loop
' HTMLドキュメントを取得
Set html = IE.document
' 製品タイトルを抽出
On Error Resume Next
productTitle = html.getElementById("productTitle").innerText
On Error GoTo 0
' 製品価格を抽出
On Error Resume Next
productPrice = html.getElementsByClassName("a-price-whole")(0).innerText
On Error GoTo 0
' 製品評価を抽出
On Error Resume Next
productRating = html.getElementsByClassName("a-icon-alt")(0).innerText
On Error GoTo 0
' 抽出したデータをExcelに出力
With ThisWorkbook.Sheets(1)
.Cells(1, 1).Value = "製品タイトル"
.Cells(1, 2).Value = "価格"
.Cells(1, 3).Value = "評価"
.Cells(2, 1).Value = productTitle
.Cells(2, 2).Value = productPrice
.Cells(2, 3).Value = productRating
End With
' クリーンアップ
IE.Quit
Set IE = Nothing
Set html = Nothing
End Sub
- VBAスクリプトを実行してテスト
- Visual Basicエディタでスクリプトを実行するか、Excelシート内のボタンにスクリプトを割り当てます。
- データ出力が期待通りにフォーマットされているか確認します。
AIを活用して、コーディングの手間を省きながらデータスクレイピングを行いましょう。時間を節約して重要なことに集中できます。！
FAQs
-
ウェブスクレイピングとは何ですか？また、なぜ役立つのですか？
ウェブスクレイピングは、ウェブサイトからデータを収集し、それを表形式などのフォーマットに整理することです。複数の情報源からデータを収集し、価格比較などの分析を容易にするために役立ちます。
-
Thunderbitはどのように機能しますか？
Thunderbitは、コーディングなしでデータ抽出を可能にします。視覚的なインターフェースを使用して、スクレイピングするデータフィールドを選択し、ツールがそれを自動化してデータ収集を簡素化します。
-
ThunderbitでExcel以外のプラットフォームにデータをエクスポートできますか？
はい、ThunderbitはGoogle Sheets、Airtable、Notionなどのプラットフォームへのデータエクスポートをサポートしており、Excel以外でも柔軟にデータ管理が可能です。
-
Web Queryのデータが自動更新されないのはなぜですか？
Excelのデータタブで「すべて更新」オプションが有効になっていることを確認してください。「クエリと接続」の「接続プロパティ」を選択して、自動更新間隔を設定することもできます。
-
VBAコードが正しく動作しないのはなぜですか？
開発者タブが有効になっていること、必要な参照（Microsoft Internet ControlsとHTML Object Library）が選択されていることを確認してください。
さらに学ぶ: