複数のウェブサイトから製品情報や価格データを収集し、それをExcelシートに整理する必要がある状況に陥ったことはありませんか？手動で情報をナビゲートし整理するのは、時間がかかるだけでなく、エラーが発生しやすい作業です。この問題を解決するために、初心者から上級者までに対応した、ウェブサイトのデータを直接Excelに取り込む最も簡単で効果的な方法を探ります。
コード不要のウェブスクレイピングツールの使用
コードを書くことを避けたいユーザーには、のようなコード不要のウェブスクレイピングツールが、ウェブサイトからExcelへのデータ抽出を可能にします。これらのツールは、プログラミングスキルを必要とせずに、視覚的にデータ抽出ルールを定義できるように設計されています。
Thunderbit は、固定セレクターに依存せずにウェブサイトのレイアウトとコンテンツを理解するために高度な自然言語モデルを使用します。しかし、ほとんどのツールはドラッグアンドドロップ機能とカスタマイズ可能なテンプレートを使用し、ウェブスクレイピングタスクを設定し自動化する前に数時間の学習が必要です。
さらに、Excelだけでなく、Google Sheets、Airtable、Notionにもワンクリックでデータをエクスポートできます。
Thunderbitで製品データを収集する3つのステップ
ステップ1: ウェブサイトを開き、サイドバーの「AIウェブスクレイパー」をクリックします。
Thunderbitをブラウザに簡単にインストールした後、スクレイプしたいウェブサイトを開き、Thunderbitサイドバーの「AIウェブスクレイパー」オプションを見つけます。
ステップ2: AIの支援を受けて抽出したいデータフィールドをカスタマイズします。
「AIカラムを提案」機能を使用すると、スクレイパーテンプレートが自動的に生成されます。その後、AIのサポートを受けてこのテンプレートを編集し、ニーズに合わせることができます。データを保存する場所を選択するオプションがあり、テーブルとしてコピーするか、他のプラットフォームに保存することができます。
ステップ3: スクレイプしたデータをExcelにエクスポートします。
すべてのデータフィールドを確認したら、スクレイパーを実行します。スクレイプしたデータをコピーまたはダウンロードし、Excelにインポートできます。
AIを使用したウェブスクレイピングを試してみてください
試してみてください！クリックして、ワークフローを探索し、実行しながら視聴できます。
Excel Webクエリの使用
Excelには、Webページから直接データを抽出できるWebクエリという機能があります。この方法は、ウェブサイトから構造化された表形式のデータを直接インポートするのに特に役立ち、定期的な更新でデータの関連性を維持することができます。ただし、この機能はWindows版のExcelでのみ利用可能です。
Excel Webクエリを使用して製品データを収集する手順:
- Excelを開く: 新しいワークブックを開始し、データタブに移動します。
- 「Webから」を選択: 「外部データの取得」をクリックし、「Webから」を選択します。
- URLを入力: スクレイプしたいウェブサイトのアドレスを入力し、OKをクリックします。
- データを選択: Excelはページ上のテーブルを表示します。希望のテーブルを選択し、ロードをクリックします。
- 出力を確認: ワークブック内のデータをロードする場所を指定し、ニーズに合っているか確認します。
Thunderbitがデータをスクレイプするだけでなく、AIを使用してウェブページをスクレイプ、要約、自動入力する方法を探ってください。。
Excel VBAを使用したカスタムスクレイピング
プログラミングの知識がある方には、VBA（Visual Basic for Applications）を使用してより複雑なスクレイピングタスクを実行することができます。VBAは、Excelを含むMicrosoft Officeアプリケーションに統合されたプログラミング言語です。この機能はWindows版のExcelでのみ利用可能です。
Excel VBAを使用して製品データを収集する手順:
- 開発者タブを有効にする:
- Excelを開き、「Excel」>「環境設定」>「表示」をクリックします。
- 下部のペインで「開発者」オプションをチェックします。
- 参照を追加する:
- 開発者タブで「Visual Basic」をクリックしてVBAエディタを開きます。
- 「ツール」>「参照」に移動し、次の項目をチェックします:
- Microsoft Internet Controls
- Microsoft HTML Object Library
- データ抽出用のVBAコードを書く
- 「挿入」>「モジュール」をクリックします。
- エディタにVBAコードを書きます。
Amazonの製品ページから製品タイトル、価格、在庫状況を抽出する基本的な例を示します:
Sub ScrapeAmazonPage()
Dim IE As Object
Dim html As Object
Dim productTitle As String
Dim productPrice As String
Dim productRating As String
' Internet Explorerオブジェクトを作成
Set IE = CreateObject("InternetExplorer.Application")
' Amazonの製品ページに移動
IE.Visible = True
IE.navigate "ここにURLを入力"
' ページの読み込みを待つ
Do While IE.Busy Or IE.readyState <> 4
DoEvents
Loop
' HTMLドキュメントを取得
Set html = IE.document
' 製品タイトルを抽出
On Error Resume Next
productTitle = html.getElementById("productTitle").innerText
On Error GoTo 0
' 製品価格を抽出
On Error Resume Next
productPrice = html.getElementsByClassName("a-price-whole")(0).innerText
On Error GoTo 0
' 製品評価を抽出
On Error Resume Next
productRating = html.getElementsByClassName("a-icon-alt")(0).innerText
On Error GoTo 0
' 抽出したデータをExcelに出力
With ThisWorkbook.Sheets(1)
.Cells(1, 1).Value = "製品タイトル"
.Cells(1, 2).Value = "価格"
.Cells(1, 3).Value = "評価"
.Cells(2, 1).Value = productTitle
.Cells(2, 2).Value = productPrice
.Cells(2, 3).Value = productRating
End With
' クリーンアップ
IE.Quit
Set IE = Nothing
Set html = Nothing
End Sub
- VBAスクリプトを実行してテストする
- Visual Basicエディタでスクリプトを実行するか、Excelシートのボタンにスクリプトを割り当てます。
- Excelシートでデータ出力を確認し、期待通りにフォーマットされているか確認します。
AIにデータスクレイピングを任せて、コーディングの手間を省きましょう。重要なことに集中する時間を確保してください。私たちのの力を発見してください！
よくある質問
-
ウェブスクレイピングとは何ですか、そしてなぜそれが役立つのですか？
ウェブスクレイピングは、ウェブサイトからデータを収集し、テーブルのような形式で整理することです。製品価格などの情報を複数のソースから収集し、簡単に比較や分析ができるようにするのに役立ちます。
-
Thunderbitはどのように機能しますか？
Thunderbitは、コーディングなしでデータを抽出できます。視覚的なインターフェースを使用して、ユーザーはスクレイピングするデータフィールドを選択でき、ツールがそれを自動化し、データ収集を簡素化します。
-
ThunderbitでExcel以外のプラットフォームにデータをエクスポートできますか？
はい、ThunderbitはGoogle Sheets、Airtable、Notionなどのプラットフォームへのデータエクスポートをサポートしており、Excelを超えたデータ管理の柔軟性を提供します。
-
Webクエリデータが自動的に更新されないのはなぜですか？
Excelのデータタブで「すべて更新」オプションが有効になっていることを確認してください。クエリと接続の下で「接続プロパティ」を選択して、自動更新間隔を設定できます。
-
VBAコードが正しく実行されないのはなぜですか？
開発者タブを有効にし、必要な参照（Microsoft Internet ControlsとHTML Object Library）を選択していることを確認してください。
詳細を学ぶ: