複数のウェブサイトから製品情報や価格データを収集し、それをExcelシートに整理する必要がある状況に陥ったことはありませんか？手動で情報を整理するのは時間がかかり、労力が必要で、エラーが発生しやすいです。この問題を解決するために、初心者から上級者までに適した、ウェブサイトのデータを直接Excelに取り込む最も簡単で効果的な方法を探ります。
コード不要のウェブスクレイピングツールを使用する
コードを書くことを避けたいユーザーには、のようなコード不要のウェブスクレイピングツールが、ウェブサイトからExcelへのデータ抽出を可能にします。これらのツールは、プログラミングスキルを必要とせずに、視覚的にデータ抽出ルールを定義できるように設計されています。
Thunderbit は、固定セレクターに依存せずにウェブサイトのレイアウトとコンテンツを理解するために高度な自然言語モデルを使用します。しかし、ほとんどのツールはドラッグアンドドロップ機能とカスタマイズ可能なテンプレートを使用し、ウェブスクレイピングタスクを設定して自動化する前に数時間の学習が必要です。
さらに、データをExcelだけでなく、Google Sheets、Airtable、Notionにもワンクリックでエクスポートできます。
Thunderbitで製品データを収集する3ステップ
ステップ1: ウェブサイトを開き、サイドバーの「AIウェブスクレイパー」をクリックします。
Thunderbitをブラウザに簡単にインストールした後、スクレイピングしたいウェブサイトを開き、Thunderbitサイドバーの「AIウェブスクレイパー」オプションを見つけます。
ステップ2: AIの支援を受けて抽出したいデータフィールドをカスタマイズします。
「AI Suggest Columns」機能を使用すると、スクレイパーテンプレートが自動的に生成されます。その後、AIのサポートを受けてこのテンプレートを編集し、ニーズに合わせることができます。データを保存する場所を選択するオプションがあり、テーブルとしてコピーするか、他のプラットフォームに保存することができます。
ステップ3: 抽出したデータをExcelにエクスポートします。
すべてのデータフィールドを確認したら、スクレイパーを実行します。抽出したデータをコピーまたはダウンロードし、Excelにインポートできます。
Excel Web Queriesを使用する
Excelには、ウェブページから直接データを抽出できるWeb Queryという機能があります。この方法は、ウェブサイトから構造化された表形式のデータを直接インポートするのに特に役立ち、定期的な更新でデータの関連性を維持できます。ただし、この機能はWindows版のExcelでのみ利用可能です。
Excel Web Queriesで製品データを収集する手順:
- Excelを開く: 新しいワークブックを開始し、データタブに移動します。
- 「Webから」を選択: 「外部データの取得」をクリックし、「Webから」を選択します。
- URLを入力: スクレイピングしたいウェブサイトのアドレスを入力し、OKをクリックします。
- データを選択: Excelはページ上のテーブルを表示します。希望のテーブルを選択し、ロードをクリックします。
- 出力を確認: ワークブック内のデータをロードする場所を指定し、ニーズに合っているか確認します。
Thunderbitがデータをスクレイピングするだけでなく、AIを使ってウェブページを要約し、自動入力する方法を探ってみてください。。
Excel VBAを使用したカスタムスクレイピング
プログラミングの知識がある方には、VBA（Visual Basic for Applications）を使用してより複雑なスクレイピングタスクを実行できます。VBAはMicrosoft Officeアプリケーションに統合されたプログラミング言語で、Excelを含みます。この機能はWindows版のExcelでのみ利用可能です。
Excel VBAで製品データを収集する手順:
- 開発者タブを有効にする:
- Excelを開き、「Excel」>「環境設定」>「表示」をクリックします。
- 下部のペインで「開発者」オプションをチェックします。
- 参照を追加する:
- 開発者タブで「Visual Basic」をクリックしてVBAエディタを開きます。
- 「ツール」>「参照」に移動し、次の項目をチェックします:
- Microsoft Internet Controls
- Microsoft HTML Object Library
- データ抽出用のVBAコードを書く
- 「挿入」>「モジュール」をクリックします。
- エディタにVBAコードを書きます。
Amazonの製品ページから製品タイトル、価格、在庫状況を抽出する基本的な例を示します:
Sub ScrapeAmazonPage()
Dim IE As Object
Dim html As Object
Dim productTitle As String
Dim productPrice As String
Dim productRating As String
' Internet Explorerオブジェクトを作成
Set IE = CreateObject("InternetExplorer.Application")
' Amazonの製品ページに移動
IE.Visible = True
IE.navigate "Put Your URL Here"
' ページが読み込まれるのを待つ
Do While IE.Busy Or IE.readyState <> 4
DoEvents
Loop
' HTMLドキュメントを取得
Set html = IE.document
' 製品タイトルを抽出
On Error Resume Next
productTitle = html.getElementById("productTitle").innerText
On Error GoTo 0
' 製品価格を抽出
On Error Resume Next
productPrice = html.getElementsByClassName("a-price-whole")(0).innerText
On Error GoTo 0
' 製品評価を抽出
On Error Resume Next
productRating = html.getElementsByClassName("a-icon-alt")(0).innerText
On Error GoTo 0
' 抽出したデータをExcelに出力
With ThisWorkbook.Sheets(1)
.Cells(1, 1).Value = "Product Title"
.Cells(1, 2).Value = "Price"
.Cells(1, 3).Value = "Rating"
.Cells(2, 1).Value = productTitle
.Cells(2, 2).Value = productPrice
.Cells(2, 3).Value = productRating
End With
' クリーンアップ
IE.Quit
Set IE = Nothing
Set html = Nothing
End Sub
- VBAスクリプトを実行してテストする
- Visual Basic Editorでスクリプトを実行するか、Excelシートのボタンにスクリプトを割り当てます。
- Excelシートでデータ出力を確認し、期待通りにフォーマットされているか確認します。
AIにデータスクレイピングを任せて、コーディングの手間を省きましょう。重要なことに集中する時間を確保してください。私たちのの力を発見してください！
よくある質問
-
ウェブスクレイピングとは何ですか、そしてなぜそれが役立つのですか？
ウェブスクレイピングは、ウェブサイトからデータを収集し、表形式などのフォーマットで整理することです。複数の情報源から情報を集めるのに役立ち、製品価格の比較や分析を容易にします。
-
Thunderbitはどのように機能しますか？
Thunderbitは、コーディングなしでデータ抽出を可能にします。視覚的なインターフェースを使用して、ユーザーはスクレイピングするデータフィールドを選択でき、ツールがそれを自動化し、データ収集を簡素化します。
-
ThunderbitでExcel以外のプラットフォームにデータをエクスポートできますか？
はい、ThunderbitはGoogle Sheets、Airtable、Notionなどのプラットフォームへのデータエクスポートをサポートしており、Excelを超えたデータ管理の柔軟性を提供します。
-
Web Queryデータが自動的に更新されないのはなぜですか？
Excelのデータタブで「すべて更新」オプションが有効になっていることを確認してください。クエリと接続の「接続プロパティ」を選択して、自動更新間隔を設定できます。
-
VBAコードが正しく実行されないのはなぜですか？
開発者タブを有効にし、必要な参照（Microsoft Internet ControlsとHTML Object Library）を選択したことを確認してください。
詳細を学ぶ: