Как собрать данные Google Shopping — без кода и с кодом

Google Shopping обрабатывает более . Это просто огромный массив цен, товарных трендов и данных о продавцах — и всё это уже собрано у тебя прямо в браузере, в агрегированном виде, из тысяч интернет-магазинов.

Но вот вытащить эти данные из Google Shopping в таблицу — уже совсем другая история. Я потратил немало времени, тестируя разные подходы — от no-code браузерных расширений до полноценных Python-скриптов — и опыт был разный: от «вау, как легко» до «я уже третий день чиню CAPTCHAs и готов всё бросить». Большая часть материалов по теме написана для Python-разработчиков, но по моему опыту, большинство людей, которым нужны данные Google Shopping, — это владельцы ecommerce-бизнесов, ценовые аналитики и маркетологи, которым нужны цифры без программирования. Поэтому в этом руководстве я разберу три способа — от самого простого к более техническому, чтобы ты мог выбрать вариант под свой уровень и бюджет времени.

Что такое данные Google Shopping?

Google Shopping — это поисковик по товарам. Вводишь «беспроводные наушники с шумоподавлением» — и Google показывает предложения из десятков интернет-магазинов: названия товаров, цены, продавцов, рейтинги, изображения и ссылки. Это живой каталог того, что сейчас продаётся в интернете, который постоянно обновляется.

Зачем собирать данные Google Shopping?

Одна карточка товара почти ничего не даёт. Но если собрать сотни карточек и разложить их в таблицу — начинают вылезать закономерности.

Вот самые частые сценарии, которые я встречал:

уже используют инструменты динамического ценообразования с ИИ. Компании, которые вкладываются в конкурентную ценовую аналитику, сообщают о возврате инвестиций до 29x. Amazon обновляет цены примерно каждые 10 минут. Если ты до сих пор проверяешь цены конкурентов вручную, математика явно не в твою пользу.

Thunderbit — это расширение AI Web Scraper для Chrome, которое помогает бизнес-пользователям собирать данные с сайтов с помощью ИИ. Оно особенно удобно для ecommerce-команд, аналитиков цен и маркетологов, которым нужны структурированные данные Google Shopping без написания кода.

Какие данные можно собрать из Google Shopping?

Прежде чем выбирать инструмент или писать хотя бы одну строчку кода, полезно понять, какие именно поля доступны и какие из них требуют дополнительной обработки.

Поля из результатов поиска Google Shopping

Когда ты выполняешь поиск в Google Shopping, каждая карточка товара на странице результатов содержит:

Поля со страницы товара (данные со вложенной страницы)

Если открыть страницу конкретного товара в Google Shopping, можно получить более подробные данные:

Чтобы получить эти поля, после сбора результатов поиска нужно перейти на вложенную страницу каждого товара. Инструменты с поддержкой делают это автоматически — ниже я покажу, как это работает.

Три способа собрать данные Google Shopping: выбери свой путь

Три метода — от самого простого к самому техническому. Выбери строку, которая подходит твоей ситуации, и переходи сразу к нужному разделу:

Способ 1: собрать данные Google Shopping без кода (с помощью Thunderbit)

• Сложность: Начальный уровень
• Время: ~2–5 минут
• Что понадобится: браузер Chrome, (подойдёт бесплатный тариф), поисковый запрос в Google Shopping

Это самый быстрый путь от «мне нужны данные Google Shopping» до «вот моя таблица». Без кода, без API-ключей, без настройки прокси. Я десятки раз проводил по этому процессу нетехнических коллег — и никто не застрял.

Шаг 1: установите Thunderbit и откройте Google Shopping

Установи из Chrome Web Store и зарегистрируй бесплатный аккаунт.

Затем открой Google Shopping. Можно зайти прямо на shopping.google.com или открыть вкладку Shopping в обычном поиске Google. Введи запрос к товару или категории, которая тебе нужна — например, «wireless noise-cancelling headphones».

Ты увидишь сетку карточек товаров с ценами, продавцами и рейтингами.

Шаг 2: нажмите "AI Suggest Fields", чтобы автоматически определить столбцы

Нажми на иконку расширения Thunderbit, чтобы открыть боковую панель, затем выбери "AI Suggest Fields." ИИ просканирует страницу Google Shopping и предложит столбцы: название товара, цена, продавец, рейтинг, количество отзывов, URL изображения, ссылка на товар.

Проверь предложенные поля. Ты можешь переименовать столбцы, убрать лишние или добавить свои. Если нужен более точный результат — например, «вытянуть только числовое значение цены без символа валюты» — можно добавить AI Prompt для поля.

В панели Thunderbit ты увидишь предварительный просмотр структуры столбцов.

Шаг 3: нажмите "Scrape" и проверьте результат

Нажми синюю кнопку "Scrape". Thunderbit соберёт все видимые карточки товаров в структурированную таблицу.

Несколько страниц? Thunderbit автоматически обработает пагинацию — переход по страницам или прокрутку для подгрузки результатов в зависимости от макета. Если результатов много, можно выбрать между Cloud Scraping (быстрее, обрабатывает до 50 страниц за раз, работает на распределённой инфраструктуре Thunderbit) и Browser Scraping (использует твой собственный сеанс Chrome — полезно, если Google показывает региональные результаты или требует входа в аккаунт).

По моим тестам, сбор 50 карточек товаров занял около 30 секунд. Вручную та же задача — открыть каждую карточку, скопировать название, цену, продавца и рейтинг — заняла бы у меня больше 20 минут.

Шаг 4: обогатите данные с помощью сбора вложенных страниц

После первого сбора нажми "Scrape Subpages" в панели Thunderbit. ИИ откроет страницу каждого товара и добавит к исходной таблице дополнительные поля — полные описания, все цены продавцов, характеристики и отзывы.

Никакой дополнительной настройки не нужно — ИИ сам определяет структуру страницы товара и забирает нужные данные. Так я собрал полную матрицу конкурентных цен (товар + все цены продавцов + характеристики) для 40 товаров меньше чем за 5 минут.

Шаг 5: экспортируйте в Google Sheets, Excel, Airtable или Notion

Нажми "Export" и выбери, куда выгрузить данные — , Excel, Airtable или Notion. Всё бесплатно. Также доступны выгрузка в CSV и JSON.

Два клика на сбор, один клик на экспорт. Эквивалентный Python-скрипт? Примерно 60 строк кода, настройка прокси, обработка CAPTCHA и постоянная поддержка.

Способ 2: собрать данные Google Shopping с Python + SERP API

• Сложность: Средний уровень
• Время: ~30 минут
• Что понадобится: Python 3.10+, библиотеки requests и pandas, ключ SERP API (ScraperAPI, SerpApi или аналогичный сервис)

Если тебе нужен программный и повторяемый доступ к данным Google Shopping, SERP API — самый надёжный Python-подход. Антибот-защита, рендеринг JavaScript, ротация прокси — всё это происходит на стороне сервиса. Ты отправляешь HTTP-запрос и получаешь обратно структурированный JSON.

Шаг 1: настройте Python-окружение

Установи Python 3.12 (самый безопасный вариант по умолчанию для продакшена в 2025–2026 годах) и нужные пакеты:

1pip install requests pandas

Зарегистрируйся у провайдера SERP API. даёт 100 бесплатных запросов в месяц; — 5 000 бесплатных кредитов. Возьми API-ключ в панели управления.

Шаг 2: настройте запрос к API

Ниже минимальный пример с использованием endpoint Google Shopping от ScraperAPI:

1import requests
2import pandas as pd
3API_KEY = "YOUR_API_KEY"
4query = "wireless noise cancelling headphones"
5resp = requests.get(
6    "https://api.scraperapi.com/structured/google/shopping",
7    params={"api_key": API_KEY, "query": query, "country_code": "us"}
8)
9data = resp.json()

API возвращает структурированный JSON с полями вроде title, price, link, thumbnail, source (продавец) и rating.

Шаг 3: распарсите JSON и извлеките поля

1products = data.get("shopping_results", [])
2rows = []
3for p in products:
4    rows.append({
5        "title": p.get("title"),
6        "price": p.get("price"),
7        "seller": p.get("source"),
8        "rating": p.get("rating"),
9        "reviews": p.get("reviews"),
10        "link": p.get("link"),
11        "thumbnail": p.get("thumbnail"),
12    })
13df = pd.DataFrame(rows)

Шаг 4: экспортируйте в CSV или JSON

1df.to_csv("google_shopping_results.csv", index=False)

Подходит для пакетной обработки: можно пройтись по 50 ключевым словам и собрать полноценный датасет за один запуск скрипта. Минус — стоимость: SERP API берут оплату за каждый запрос, и при тысячах запросов в день счёт быстро растёт. О ценах — ниже.

Способ 3: собрать данные Google Shopping с Python + Playwright (автоматизация браузера)

• Сложность: Продвинутый уровень
• Время: ~1 час и больше (плюс постоянная поддержка)
• Что понадобится: Python 3.10+, Playwright, residential-прокси, терпение

Это подход «полный контроль». Ты запускаешь настоящий браузер, переходишь в Google Shopping и вытаскиваешь данные из уже отрендеренной страницы. Самый гибкий вариант, но и самый хрупкий: антибот-системы Google агрессивны, а структура страницы меняется несколько раз в год.

Сразу предупрежу: я общался с пользователями, которые неделями бились с CAPTCHA и IP-блокировками в этом подходе. Он работает, но требует постоянного обслуживания.

Шаг 1: настройте Playwright и прокси

1pip install playwright
2playwright install chromium

Тебе понадобятся residential-прокси. Datacenter IP Google блокирует почти сразу — один пользователь на форуме выразился предельно прямо: «Все AWS IP будут заблокированы или получат CAPTCHA уже после 1/2 результатов». Сервисы вроде Bright Data, Oxylabs или Decodo предлагают residential-прокси-пулы примерно от $1–5 за GB.

Настрой Playwright с реалистичным user-agent и прокси:

1from playwright.sync_api import sync_playwright
2with sync_playwright() as p:
3    browser = p.chromium.launch(
4        headless=True,
5        proxy={"server": "http://your-proxy:port", "username": "user", "password": "pass"}
6    )
7    context = browser.new_context(
8        user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ..."
9    )
10    page = context.new_page()

Шаг 2: перейдите в Google Shopping и обработайте антибот-защиту

Сформируй URL Google Shopping и открой его:

1query = "wireless noise cancelling headphones"
2url = f"https://www.google.com/search?udm=28&q={query}&gl=us&hl=en"
3page.goto(url, wait_until="networkidle")

Если появится окно согласия с cookie в ЕС, обработай его:

1try:
2    page.click("button#L2AGLb", timeout=3000)
3except:
4    pass

Добавляй задержки, похожие на действия человека: 2–5 секунд случайной паузы между загрузками страниц. Системы Google отслеживают слишком быстрые и однообразные запросы.

Шаг 3: прокрутите страницу, обработайте пагинацию и извлеките товары

Google Shopping подгружает результаты динамически. Прокрути страницу, чтобы вызвать lazy loading, затем извлеки карточки товаров:

1import time, random
2# Прокрутка для загрузки результатов
3for _ in range(3):
4    page.evaluate("window.scrollBy(0, 1000)")
5    time.sleep(random.uniform(1.5, 3.0))
6# Извлечение карточек товаров
7cards = page.query_selector_all("[jsname='ZvZkAe']")
8results = []
9for card in cards:
10    title = card.query_selector("h3")
11    price = card.query_selector("span.a8Pemb")
12    # ... извлечение других полей
13    results.append({
14        "title": title.inner_text() if title else None,
15        "price": price.inner_text() if price else None,
16    })

Важное замечание: CSS-селекторы выше примерные и будут меняться. Google часто меняет названия классов. Только за 2024–2026 годы было описано три разных набора селекторов. Лучше опираться на более стабильные атрибуты вроде jsname, data-cid, тегов <h3> и img[alt], а не на имена классов.

Шаг 4: сохраните данные в CSV или JSON

1import json
2from datetime import datetime
3filename = f"shopping_{datetime.now().strftime('%Y%m%d_%H%M')}.json"
4with open(filename, "w") as f:
5    json.dump(results, f, indent=2)

Готовься регулярно поддерживать этот скрипт. Когда Google меняет структуру страницы — а это происходит несколько раз в год — селекторы ломаются, и всё снова превращается в отладку.

Главная проблема: CAPTCHA и антибот-блокировки

На форумах из раза в раз повторяется одна и та же история: «Я несколько недель боролся, но сдался перед антибот-механизмами Google». CAPTCHA и IP-блокировки — причина №1, по которой люди бросают самописные парсеры Google Shopping.

Как Google блокирует парсеры и что с этим делать

В январе 2025 года Google сделал выполнение JavaScript обязательным для результатов SERP и Shopping, — включая пайплайны, которые использовали SemRush и SimilarWeb. Затем в сентябре 2025 года Google вывел из эксплуатации старые URL страниц товаров, перенаправив их на новый интерфейс "Immersive Product", который загружается через асинхронный AJAX. Любое руководство, написанное до конца 2025 года, теперь в значительной степени устарело.

Как каждый метод справляется с этими проблемами

SERP API берут всё на себя на стороне сервиса — прокси, рендеринг, решение CAPTCHA. Тебе не нужно об этом думать.

Thunderbit Cloud Scraping использует распределённую облачную инфраструктуру в США, ЕС и Азии, чтобы автоматически обрабатывать JS-рендеринг и антибот-механизмы. Режим Browser Scraping использует твой собственный авторизованный сеанс Chrome, поэтому он вообще не вызывает подозрений — выглядит как обычный пользователь.

Самодельный Playwright полностью перекладывает нагрузку на тебя: управление прокси, настройка задержек, решение CAPTCHA, поддержка селекторов и постоянный контроль поломок.

Реальная стоимость сбора данных Google Shopping: честное сравнение

«$50 примерно за 20 тысяч запросов… для моего хобби-проекта это дороговато». Такой комментарий постоянно всплывает на форумах. Но обычно в обсуждении забывают о самой большой статье расходов.

Таблица сравнения затрат

Скрытая стоимость, которую все игнорируют: твоё время

Бесплатное DIY-решение, которое съедает 40 часов отладки, вовсе не бесплатное. При ставке $50 в час это уже $2 000 трудозатрат — ради парсера, который может сломаться снова в следующем месяце, когда Google поменяет DOM.

Исследование McKinsey Technology Outlook показывает, что . Ниже этого порога собственная разработка «съедает бюджет, не давая ROI». Для большинства ecommerce-команд, которым нужно несколько сотен или несколько тысяч проверок в неделю, no-code-инструмент или SERP API заметно выгоднее, чем писать всё с нуля.

Как настроить автоматический мониторинг цен Google Shopping

Большинство руководств рассматривают сбор данных как разовую задачу. Но реальный сценарий для ecommerce-команд — это постоянный автоматический мониторинг. Тебе нужны не только сегодняшние цены, но и вчерашние, прошлой недели и завтрашние.

Настройка планового сбора в Thunderbit

Scheduled Scraper в Thunderbit позволяет описать интервал обычным языком — «каждый день в 9 утра» или «каждый понедельник и четверг в полдень» — а ИИ превращает это в повторяющийся график. Укажи URL Google Shopping, нажми "Schedule", и всё готово.

Каждый запуск автоматически экспортируется в Google Sheets, Airtable или Notion. Итог — таблица, которая каждый день пополняется ценами конкурентов и готова для сводных таблиц или оповещений.

Никаких cron-задач. Никакого администрирования серверов. Никаких проблем с Lambda. (Я видел посты разработчиков, которые неделями пытались заставить Selenium работать в AWS Lambda — планировщик Thunderbit убирает всё это из уравнения.)

Подробнее о создании — у нас есть отдельный подробный материал.

Планирование с Python (для разработчиков)

Если ты используешь подход с SERP API, можно запускать задачи по расписанию через cron (Linux/Mac), Windows Task Scheduler или облачные планировщики вроде AWS Lambda и Google Cloud Functions. Подойдут и библиотеки Python, например APScheduler.

Но компромисс очевиден: теперь именно ты отвечаешь за здоровье скрипта, обработку сбоев, регулярную ротацию прокси и обновление селекторов, когда Google меняет страницу. Для большинства команд время инженеров на поддержку расписанного Python-парсера оказывается выше стоимости специализированного инструмента.

Советы и лучшие практики для сбора данных Google Shopping

Независимо от выбранного метода, несколько правил сэкономят тебе много нервов.

Соблюдайте лимиты запросов

Не заваливай Google сотнями быстрых запросов подряд — тебя заблокируют, а IP может остаться под подозрением надолго. Для DIY-подхода делай паузу 10–20 секунд между запросами с небольшим случайным разбросом. Инструменты и API обычно делают это за тебя.

Подбирайте метод под объём

Короткий ориентир:

• < 10 запросов в неделю → бесплатный тариф Thunderbit или бесплатный тариф SerpApi
• 10–1 000 запросов в неделю → платный тариф SERP API или
• 1 000+ запросов в неделю → корпоративный тариф SERP API или Thunderbit Open API

Очищайте и проверяйте данные

Цены могут содержать символы валют, локализованное форматирование (1.299,00 € vs $1,299.00) и иногда мусорные символы. Используй AI Prompts в Thunderbit, чтобы нормализовать данные на этапе извлечения, или очисти их позже через pandas:

1df["price_num"] = df["price"].str.replace(r"[^\d.]", "", regex=True).astype(float)

Проверяй дубли между органическими и спонсируемыми объявлениями — они часто пересекаются. Удаляй дубликаты по кортежу (title, price, seller).

Знайте правовые риски

Сбор общедоступных товарных данных в целом считается законным, но правовая ситуация быстро меняется. Самое важное недавнее событие: по DMCA § 1201 за обход антискрапинговой системы Google "SearchGuard". Это новый вектор претензий, который обходит защиты, сформированные в более ранних делах вроде hiQ v. LinkedIn и Van Buren v. United States.

Практические рекомендации:

• Собирай только общедоступные данные — не входи в аккаунт, чтобы получить закрытый контент
• Не извлекай персональные данные (имена авторов отзывов, данные аккаунтов)
• Помни, что условия Google запрещают автоматизированный доступ — использование SERP API или браузерного расширения снижает, но не устраняет юридические риски
• Для работы в ЕС учитывай GDPR, хотя карточки товаров в основном содержат неперсональные коммерческие данные
• Если ты строишь коммерческий продукт на основе собранных данных, стоит проконсультироваться с юристом

Подробнее о мы рассказали в отдельной статье.

Какой метод выбрать для сбора данных Google Shopping?

После тестирования всех трёх подходов на одних и тех же категориях товаров я пришёл к следующему выводу:

Если ты нетехнический пользователь и тебе нужны данные быстро — используй Thunderbit. Открой Google Shopping, нажми дважды, экспортируй. Чистая таблица будет готова меньше чем за 5 минут. позволяет попробовать без обязательств, а функция сбора со вложенных страниц даёт более богатые данные, чем большинство Python-скриптов.

Если ты разработчик и тебе нужен повторяемый программный доступ — используй SERP API. Надёжность стоит своей цены за запрос, а все антибот-проблемы исчезают. У SerpApi лучшая документация; у ScraperAPI — самый щедрый бесплатный тариф.

Если тебе нужен максимальный контроль и ты строишь кастомный пайплайн — Playwright работает, но входи в это с открытыми глазами. Заложи серьёзное время на управление прокси, поддержку селекторов и обработку CAPTCHA. В 2025–2026 годах минимально жизнеспособный стек обхода выглядит так: curl_cffi с имитацией Chrome + residential-прокси + задержки 10–20 секунд. Обычный requests-скрипт с ротацией user-agent'ов уже мёртв.

Лучший метод — тот, который даёт точные данные и не съедает твою неделю. Для большинства людей это не Python-скрипт на 60 строк, а два клика.

Посмотри , если тебе нужен большой объём, или загляни в наши уроки на , чтобы увидеть процесс вживую.

FAQ

Законно ли собирать данные Google Shopping?

Сбор общедоступных товарных данных в целом считается законным на основе прецедентов вроде hiQ v. LinkedIn и Van Buren v. United States. Однако условия Google запрещают автоматизированный доступ, а иск Google против SerpApi в декабре 2025 года добавил новую теорию обхода по DMCA § 1201. Использование проверенных инструментов и API снижает риск. Для коммерческого использования лучше проконсультироваться с юристом.

Можно ли собирать данные Google Shopping без блокировок?

Да, но всё зависит от метода. SERP API автоматически обрабатывают антибот-защиту. Cloud Scraping в Thunderbit использует распределённую инфраструктуру, чтобы избегать блокировок, а режим Browser Scraping работает в твоём авторизованном сеансе Chrome, который выглядит как обычный браузинг. Самописные Python-скрипты требуют residential-прокси, задержек, похожих на человеческие, и управления TLS-fingerprint'ами — и даже тогда блокировки встречаются часто.

Какой самый простой способ собрать данные Google Shopping?

Расширение Thunderbit для Chrome. Открой Google Shopping, нажми "AI Suggest Fields", затем "Scrape" и экспортируй в Google Sheets или Excel. Без кода, без API-ключей, без настройки прокси. Весь процесс занимает около 2 минут.

Как часто можно собирать данные Google Shopping для мониторинга цен?

С Scheduled Scraper в Thunderbit можно настроить ежедневный, еженедельный или любой другой интервал, описав его простым языком. В SERP API частота зависит от лимитов твоего тарифа — большинство провайдеров дают достаточно кредитов для ежедневного мониторинга нескольких сотен SKU. DIY-скрипты могут запускаться так часто, как позволяет инфраструктура, но более высокая частота означает больше проблем с антибот-защитой.

Можно ли экспортировать данные Google Shopping в Google Sheets или Excel?

Да. Thunderbit напрямую экспортирует данные в Google Sheets, Excel, Airtable и Notion бесплатно. Python-скрипты могут выгружать данные в CSV или JSON, которые затем можно импортировать в любой табличный инструмент. Для постоянного мониторинга плановые экспорты Thunderbit в Google Sheets создают живой, автоматически обновляющийся датасет.

• Узнать больше