Как собрать данные из Google Shopping — без кода и с кодом

Google Shopping обрабатывает более . Это огромный массив данных о ценах, товарных трендах и продавцах — и всё это уже у вас под рукой в браузере, собранное из тысяч магазинов.

Вытащить эти данные из Google Shopping в таблицу? Вот тут и начинается самое интересное. Я успел перепробовать немало подходов — от no-code расширений для браузера до полноценных Python-скриптов — и опыт колебался от «вау, как это легко» до «я уже три дня дебажу CAPTCHA и хочу всё закрыть». Большинство гайдов по этой теме ориентированы на Python-разработчиков, но на практике Google Shopping data нужна в первую очередь ecommerce-менеджерам, аналитикам цен и маркетологам, которым важны цифры, а не написание кода. Поэтому в этом руководстве мы разберём три способа — от самого простого до самого технического — чтобы ты мог выбрать вариант под свой уровень и запас времени.

Что такое данные Google Shopping?

Google Shopping — это поисковик по товарам. Введи, например, «беспроводные шумоподавляющие наушники», и Google подтянет карточки из десятков интернет-магазинов: названия товаров, цены, продавцов, рейтинги, изображения, ссылки. По сути, это живой каталог всех товаров, которые продаются в интернете, и он постоянно обновляется.

Зачем собирать данные из Google Shopping?

Одна карточка товара почти ничего не говорит. Но когда у тебя сотни карточек в структурированной таблице — сразу начинают виднеться закономерности.

Вот самые частые сценарии, с которыми я сталкивался:

уже используют инструменты динамического ценообразования на базе ИИ. Компании, которые вкладываются в аналитику конкурентных цен, сообщают о возврате инвестиций до 29x. Amazon обновляет цены примерно каждые 10 минут. Если ты до сих пор вручную проверяешь цены конкурентов, математика явно не на твоей стороне.

Thunderbit — это расширение Chrome AI Web Scraper, которое помогает бизнес-пользователям собирать данные с сайтов с помощью ИИ. Особенно полезно для ecommerce-операторов, аналитиков цен и маркетологов, которым нужны структурированные данные из Google Shopping без написания кода.

Какие данные реально можно собрать из Google Shopping?

Прежде чем выбирать инструмент или писать первую строчку кода, полезно понять, какие поля вообще доступны — и какие из них потребуют чуть больше усилий.

Поля из результатов поиска Google Shopping

Когда ты выполняешь поиск в Google Shopping, каждая карточка товара на странице результатов содержит:

Поля со страницы товара (данные из подстраницы)

Если перейти на страницу конкретного товара в Google Shopping, можно получить более богатые данные:

Чтобы получить эти поля, нужно после сбора результатов поиска переходить на подстраницу каждого товара. Инструменты с поддержкой делают это автоматически — ниже я покажу весь процесс.

Три способа собрать данные Google Shopping: выберите свой путь

Три метода, от самого простого до самого технического. Выбери подходящую строку и читай дальше:

Способ 1: собрать данные Google Shopping без кода (с Thunderbit)

• Сложность: Начальный уровень
• Время: ~2–5 минут
• Что понадобится: браузер Chrome, (подойдёт бесплатный тариф), поисковый запрос в Google Shopping

Это самый быстрый путь от «мне нужны данные Google Shopping» до «вот ваша таблица». Без кода, без API-ключей, без настройки прокси. Я десятки раз проводил через этот процесс коллег без технического бэкграунда — и никто не застревал.

Шаг 1: установите Thunderbit и откройте Google Shopping

Установите из Chrome Web Store и зарегистрируйте бесплатный аккаунт.

Затем открой Google Shopping. Можно перейти напрямую на shopping.google.com или использовать вкладку Shopping в обычном поиске Google. Введи интересующий товар или категорию — например, «wireless noise-cancelling headphones».

На странице должна появиться сетка товаров с ценами, продавцами и рейтингами.

Шаг 2: нажмите «AI Suggest Fields», чтобы автоматически определить колонки

Нажми иконку расширения Thunderbit, чтобы открыть боковую панель, затем выбери "AI Suggest Fields." ИИ просканирует страницу Google Shopping и предложит столбцы: название товара, цена, продавец, рейтинг, количество отзывов, URL изображения, ссылка на товар.

Проверь предложенные поля. Ты можешь переименовать столбцы, удалить лишние или добавить свои. Если нужен более точный результат — например, «вытащить только числовую часть цены без символа валюты» — можно добавить AI Prompt для этого поля.

В панели Thunderbit ты увидишь предварительный просмотр структуры таблицы.

Шаг 3: нажмите «Scrape» и проверьте результат

Нажми синюю кнопку "Scrape". Thunderbit соберёт все видимые товарные карточки в структурированную таблицу.

Несколько страниц? Thunderbit автоматически обрабатывает пагинацию — переходит по страницам или прокручивает, чтобы загрузить больше результатов, в зависимости от интерфейса. Если результатов много, можно выбрать Cloud Scraping (быстрее, до 50 страниц за раз, работает на распределённой инфраструктуре Thunderbit) или Browser Scraping (использует вашу активную сессию Chrome — удобно, если Google показывает региональные результаты или требует входа).

По моим тестам, сбор 50 карточек товаров занял около 30 секунд. Та же работа вручную — открыть каждую карточку, скопировать название, цену, продавца, рейтинг — отняла бы у меня больше 20 минут.

Шаг 4: обогатите данные через сбор с подстраниц

После первого сбора нажми "Scrape Subpages" в панели Thunderbit. ИИ откроет страницу каждого товара и добавит в исходную таблицу дополнительные поля — полное описание, все цены продавцов, характеристики и отзывы.

Никакой дополнительной настройки не нужно — ИИ сам понимает структуру каждой страницы товара и вытягивает нужные данные. Так я собрал полноценную матрицу конкурентных цен (товар + все цены продавцов + характеристики) по 40 товарам меньше чем за 5 минут.

Шаг 5: экспортируйте в Google Sheets, Excel, Airtable или Notion

Нажми "Export" и выбери место назначения — , Excel, Airtable или Notion. Всё бесплатно. Также доступны выгрузки в CSV и JSON.

Два клика, чтобы собрать данные, один клик, чтобы экспортировать. Аналогичный Python-скрипт? Примерно 60 строк кода, настройка прокси, обработка CAPTCHA и постоянное сопровождение.

Способ 2: собрать данные Google Shopping с помощью Python + SERP API

• Сложность: Средний уровень
• Время: ~30 минут
• Что понадобится: Python 3.10+, библиотеки requests и pandas, ключ от SERP API (ScraperAPI, SerpApi или аналог)

Если тебе нужен программный, повторяемый доступ к данным Google Shopping, SERP API — самый надёжный Python-подход. Антибот-защита, рендеринг JavaScript, ротация прокси — всё уже спрятано внутри. Ты отправляешь HTTP-запрос и получаешь структурированный JSON.

Шаг 1: настройте Python-окружение

Установи Python 3.12 (безопасный production-вариант по умолчанию в 2025–2026) и нужные пакеты:

1pip install requests pandas

Зарегистрируйся у провайдера SERP API. даёт 100 бесплатных запросов в месяц; предоставляет 5 000 бесплатных кредитов. Возьми API-ключ в панели управления.

Шаг 2: настройте запрос к API

Вот минимальный пример с endpoint Google Shopping от ScraperAPI:

1import requests
2import pandas as pd
3API_KEY = "YOUR_API_KEY"
4query = "wireless noise cancelling headphones"
5resp = requests.get(
6    "https://api.scraperapi.com/structured/google/shopping",
7    params={"api_key": API_KEY, "query": query, "country_code": "us"}
8)
9data = resp.json()

API возвращает структурированный JSON с полями вроде title, price, link, thumbnail, source (продавец) и rating.

Шаг 3: распарсьте JSON-ответ и извлеките поля

1products = data.get("shopping_results", [])
2rows = []
3for p in products:
4    rows.append({
5        "title": p.get("title"),
6        "price": p.get("price"),
7        "seller": p.get("source"),
8        "rating": p.get("rating"),
9        "reviews": p.get("reviews"),
10        "link": p.get("link"),
11        "thumbnail": p.get("thumbnail"),
12    })
13df = pd.DataFrame(rows)

Шаг 4: экспортируйте в CSV или JSON

1df.to_csv("google_shopping_results.csv", index=False)

Подходит для пакетной обработки: можно в цикле прогонять 50 ключевых слов и собирать полноценный датасет за один запуск. Минус — стоимость: SERP API берут оплату за запрос, и при тысячах запросов в день счёт быстро растёт. О ценах подробнее ниже.

Способ 3: собрать данные Google Shopping с помощью Python + Playwright (автоматизация браузера)

• Сложность: Продвинутый уровень
• Время: ~1 час и более (плюс постоянное сопровождение)
• Что понадобится: Python 3.10+, Playwright, residential proxies, терпение

Это подход «полный контроль». Ты запускаешь реальный браузер, переходишь в Google Shopping и извлекаешь данные с уже отрендеренной страницы. Он самый гибкий, но и самый хрупкий — антибот-системы Google агрессивны, а структура страницы меняется несколько раз в год.

Сразу предупрежу: я общался с пользователями, которые неделями боролись с CAPTCHA и блокировками IP на этом пути. Работает, но будь готов к постоянной поддержке.

Шаг 1: установите Playwright и прокси

1pip install playwright
2playwright install chromium

Тебе понадобятся residential proxies. Datacenter IP блокируются практически сразу — как сказал один участник форума: «Все AWS IP будут заблокированы или попадут на CAPTCHA после 1/2 результатов». Сервисы вроде Bright Data, Oxylabs или Decodo предлагают residential proxy-пулы примерно от $1–5/GB.

Настрой Playwright с реалистичным user-agent и прокси:

1from playwright.sync_api import sync_playwright
2with sync_playwright() as p:
3    browser = p.chromium.launch(
4        headless=True,
5        proxy={"server": "http://your-proxy:port", "username": "user", "password": "pass"}
6    )
7    context = browser.new_context(
8        user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ..."
9    )
10    page = context.new_page()

Шаг 2: перейдите в Google Shopping и обойдите антибот-проверки

Сформируй URL Google Shopping и открой его:

1query = "wireless noise cancelling headphones"
2url = f"https://www.google.com/search?udm=28&q={query}&gl=us&hl=en"
3page.goto(url, wait_until="networkidle")

Если появится cookie-баннер для ЕС, прими его:

1try:
2    page.click("button#L2AGLb", timeout=3000)
3except:
4    pass

Делай паузы, похожие на действия человека — случайные задержки по 2–5 секунд между загрузками страниц. Системы Google отслеживают слишком быстрые и одинаковые паттерны запросов.

Шаг 3: прокрутите страницу, перелистайте результаты и извлеките данные

Google Shopping подгружает результаты динамически. Прокрути страницу, чтобы вызвать lazy loading, затем извлеки карточки товаров:

1import time, random
2# Прокрутка для загрузки всех результатов
3for _ in range(3):
4    page.evaluate("window.scrollBy(0, 1000)")
5    time.sleep(random.uniform(1.5, 3.0))
6# Извлечение карточек товаров
7cards = page.query_selector_all("[jsname='ZvZkAe']")
8results = []
9for card in cards:
10    title = card.query_selector("h3")
11    price = card.query_selector("span.a8Pemb")
12    # ... извлекаем остальные поля
13    results.append({
14        "title": title.inner_text() if title else None,
15        "price": price.inner_text() if price else None,
16    })

Важное замечание: CSS-селекторы выше примерные и будут меняться. Google часто ротирует названия классов. Только за 2024–2026 годы было задокументировано три разных набора селекторов. Лучше опираться на более стабильные атрибуты вроде jsname, data-cid, теги <h3> и img[alt], а не на классы.

Шаг 4: сохраните данные в CSV или JSON

1import json
2from datetime import datetime
3filename = f"shopping_{datetime.now().strftime('%Y%m%d_%H%M')}.json"
4with open(filename, "w") as f:
5    json.dump(results, f, indent=2)

Будь готов регулярно поддерживать этот скрипт. Когда Google меняет структуру страницы — а это происходит несколько раз в год — селекторы ломаются, и всё приходится дебажить заново.

Самая большая проблема: CAPTCHA и антибот-блокировки

На форумах эта история повторяется снова и снова: «Потратил несколько недель, но сдался перед антибот-защитой Google». CAPTCHA и IP-блокировки — главная причина, по которой люди бросают самодельные Google Shopping-скрейперы.

Как Google блокирует скрейперы и что с этим делать

В январе 2025 Google сделал выполнение JavaScript обязательным для SERP и результатов Shopping, — включая пайплайны, которые использовали SemRush и SimilarWeb. Затем в сентябре 2025 Google отказался от старых URL страниц товаров, переведя их на новую поверхность «Immersive Product», которая загружается через асинхронный AJAX. Любой туториал, написанный до конца 2025 года, сегодня уже во многом устарел.

Как каждый метод справляется с этими проблемами

SERP API берут всё на себя — прокси, рендеринг, решение CAPTCHA. Тебе об этом не нужно думать.

Thunderbit Cloud Scraping использует распределённую облачную инфраструктуру в США, ЕС и Азии, чтобы автоматически обрабатывать JS-рендеринг и антибот-механизмы. Режим Browser Scraping использует вашу собственную авторизованную сессию Chrome, поэтому выглядит как обычный пользовательский браузинг и почти не вызывает подозрений.

Самодельный Playwright перекладывает всю нагрузку на тебя — управление прокси, настройку задержек, решение CAPTCHA, поддержку селекторов и постоянный мониторинг поломок.

Реальная стоимость сбора данных Google Shopping: честное сравнение

«$50 за примерно 20k запросов… для моего хобби-проекта это дороговато». Такая жалоба регулярно всплывает на форумах. Но в этой дискуссии обычно забывают про самую большую статью расходов.

Таблица сравнения затрат

Скрытая стоимость, которую все игнорируют: ваше время

Бесплатное DIY-решение, которое съедает 40 часов на отладку, совсем не бесплатное. Если твоё время стоит $50 в час, это уже $2 000 трудозатрат — ради скрейпера, который может сломаться снова через месяц, когда Google поменяет DOM.

Исследование McKinsey Technology Outlook показывает, что . Ниже этого уровня собственная разработка «съедает бюджет, не давая ROI». Для большинства ecommerce-команд, которым нужно от нескольких сотен до нескольких тысяч проверок в неделю, no-code инструмент или SERP API заметно выгоднее, чем делать всё самим.

Как настроить автоматический мониторинг цен в Google Shopping

Большинство гайдов рассматривают сбор данных как разовую задачу. Но в реальности для ecommerce-команд это постоянный автоматический мониторинг. Тебе нужны не только сегодняшние цены, но и вчерашние, прошлой недели и будущие изменения.

Настройка планового сбора в Thunderbit

Scheduled Scraper в Thunderbit позволяет описать интервал обычным языком — «каждый день в 9 утра» или «каждый понедельник и четверг в полдень» — а ИИ превращает это в повторяющееся расписание. Добавь свои URL Google Shopping, нажми "Schedule," и готово.

Каждый запуск автоматически экспортируется в Google Sheets, Airtable или Notion. Итог: таблица, которая сама обновляется каждый день ценами конкурентов и готова для сводных таблиц или уведомлений.

Никаких cron-задач. Никакого управления сервером. Никаких проблем с Lambda. (Я видел посты разработчиков, которые днями пытались запустить Selenium на AWS Lambda — у планировщика Thunderbit этого просто нет.)

Подробнее о построении — в отдельном подробном материале.

Планирование через Python (для разработчиков)

Если ты используешь SERP API, запуск можно ставить через cron (Linux/Mac), Windows Task Scheduler или облачные планировщики вроде AWS Lambda и Google Cloud Functions. Подойдут и библиотеки Python, например APScheduler.

Но есть компромисс: теперь ты отвечаешь за контроль работоспособности скрипта, обработку сбоев, ротацию прокси по расписанию и обновление селекторов, когда Google меняет страницу. Для большинства команд время инженеров на поддержку такого расписания обходится дороже, чем специализированный инструмент.

Советы и лучшие практики для сбора данных Google Shopping

Независимо от выбранного метода, несколько правил помогут избежать лишней головной боли.

Соблюдайте rate limits

Не закидывай Google сотнями быстрых запросов подряд — тебя заблокируют, и IP может надолго остаться в списке подозрительных. В DIY-подходах делай паузы 10–20 секунд со случайным разбросом. Инструменты и API берут это на себя.

Подбирайте метод под объём

Короткая шпаргалка для выбора:

• < 10 запросов в неделю → бесплатный тариф Thunderbit или SerpApi
• 10–1 000 запросов в неделю → платный тариф SERP API или
• 1 000+ запросов в неделю → enterprise-тариф SERP API или Thunderbit Open API

Чистите и проверяйте данные

Цены приходят с символами валют, локализованным форматированием (1.299,00 € vs $1,299.00) и иногда с мусорными символами. Используй Field AI Prompts в Thunderbit, чтобы нормализовать данные прямо при извлечении, или очисти их потом в pandas:

1df["price_num"] = df["price"].str.replace(r"[^\d.]", "", regex=True).astype(float)

Проверь дубли между органическими и спонсируемыми карточками — они часто пересекаются. Удаляй дубли по кортежу (title, price, seller).

Учитывайте правовые ограничения

Сбор публично доступных данных о товарах обычно считается законным, но правовая ситуация быстро меняется. Самое важное новое событие: по DMCA § 1201, утверждая обход антискрейпинг-системы Google «SearchGuard». Это новый вектор претензий, который обходит защитные аргументы из дел вроде hiQ v. LinkedIn и Van Buren v. United States.

Практические рекомендации:

• Собирай только общедоступные данные — не входи в аккаунт ради доступа к закрытому контенту
• Не извлекай персональные данные (имена авторов отзывов, данные аккаунтов)
• Помни, что в Terms of Service Google автоматический доступ запрещён — использование SERP API или браузерного расширения снижает, но не устраняет полностью правовые риски
• Для операций в ЕС учитывай GDPR, хотя карточки товаров в основном содержат неперсональные коммерческие данные
• Если ты строишь коммерческий продукт на собранных данных, стоит проконсультироваться с юристом

Подробнее о мы разобрали в отдельной статье.

Какой метод выбрать для сбора данных Google Shopping?

После тестирования всех трёх подходов на одних и тех же товарных категориях я пришёл к такому выводу:

Если ты нетехнический пользователь и тебе нужны данные быстро — выбирай Thunderbit. Открыл Google Shopping, нажал два раза, экспортировал. Чистая таблица будет готова меньше чем за 5 минут. позволяет попробовать без обязательств, а функция сбора с подстраниц даёт более богатые данные, чем большинство Python-скриптов.

Если ты разработчик и тебе нужен повторяемый программный доступ — используй SERP API. Надёжность оправдывает стоимость за запрос, и ты избавляешься от антибот-головной боли. У SerpApi лучшая документация; у ScraperAPI — самый щедрый free tier.

Если тебе нужен максимум контроля и ты строишь кастомный пайплайн — Playwright подойдёт, но заходи в это с открытыми глазами. Закладывай серьёзное время на управление прокси, поддержку селекторов и обработку CAPTCHA. В 2025–2026 минимально рабочий стек обхода — это curl_cffi с имитацией Chrome + residential proxies + паузы 10–20 секунд. Обычный requests-скрипт с ротацией user-agent уже не работает.

Лучший способ — тот, который даёт точные данные и не съедает твою неделю. Для большинства людей это не Python-скрипт на 60 строк, а два клика.

Посмотри , если тебе нужен объём, или загляни в наши обучающие видео на , чтобы увидеть процесс вживую.

FAQ

Законно ли собирать данные из Google Shopping?

Сбор публично доступных данных о товарах в целом законен по прецедентам вроде hiQ v. LinkedIn и Van Buren v. United States. Однако в Terms of Service Google автоматический доступ запрещён, а декабрьский иск Google к SerpApi в 2025 году добавил новую теорию обхода защиты по DMCA § 1201. Использование надёжных инструментов и API снижает риски. Для коммерческих кейсов лучше проконсультироваться с юристом.

Можно ли собирать Google Shopping, не получив блокировку?

Да, но всё зависит от метода. SERP API автоматически обрабатывают антибот-защиту. Cloud Scraping в Thunderbit использует распределённую инфраструктуру, чтобы избегать блокировок, а Browser Scraping работает через вашу собственную сессию Chrome и выглядит как обычный браузинг. DIY Python-скрипты требуют residential proxies, задержек как у человека и управления TLS fingerprint — и даже тогда блокировки случаются часто.

Какой самый простой способ собрать данные Google Shopping?

Расширение Thunderbit Chrome. Открой Google Shopping, нажми "AI Suggest Fields", затем "Scrape" и экспортируй в Google Sheets или Excel. Без кода, без API-ключей, без настройки прокси. Весь процесс занимает около 2 минут.

Как часто можно собирать Google Shopping для мониторинга цен?

С Scheduled Scraper в Thunderbit можно настроить ежедневный, еженедельный или любой другой интервал простым текстом. В SERP API частота зависит от лимитов твоего тарифа — у большинства провайдеров достаточно ресурсов для ежедневного мониторинга нескольких сотен SKU. DIY-скрипты можно запускать так часто, как позволяет инфраструктура, но чем выше частота, тем больше проблем с антибот-защитой.

Можно ли экспортировать данные Google Shopping в Google Sheets или Excel?

Да. Thunderbit бесплатно экспортирует данные напрямую в Google Sheets, Excel, Airtable и Notion. Python-скрипты могут выгружать данные в CSV или JSON, которые затем можно импортировать в любой табличный инструмент. Для постоянного мониторинга плановые экспорты Thunderbit в Google Sheets создают живой, автоматически обновляющийся датасет.