איך לגרד נתוני Google Shopping — עם קוד או בלי קוד

Google Shopping מעבדת יותר מ-. מדובר בכמות עצומה של נתוני מחירים, מגמות מוצרים ומידע על מוכרים — הכול זמין ממש בתוך הדפדפן שלכם, ומרוכז מאלפי קמעונאים.

להוציא את הנתונים האלה מ-Google Shopping ולהכניס אותם לגיליון אלקטרוני? כאן העניינים מתחילים להסתבך. השקענו לא מעט זמן בבדיקת גישות שונות — מתוספי דפדפן ללא קוד ועד סקריפטים מלאים ב-Python — והחוויה נעה בין "וואו, זה היה קל" לבין "אני כבר שלושה ימים מדבג CAPTCHA ורוצה לפרוש". רוב המדריכים בנושא מניחים שאתם מפתחי Python, אבל מניסיוני, חלק גדול מהאנשים שצריכים נתוני Google Shopping הם אנשי ecommerce, אנליסטים של תמחור ומשווקים שרוצים פשוט את המספרים, בלי לכתוב קוד. לכן המדריך הזה מציג שלוש שיטות, מהקלות ביותר ועד הטכניות ביותר, כדי שתוכלו לבחור את המסלול שמתאים לרמת הידע ולזמן שלכם.

מה זה בעצם נתוני Google Shopping?

Google Shopping הוא מנוע חיפוש למוצרים. מקלידים למשל "אוזניות אלחוטיות מבטלות רעש" ו-Google מציגה רשימות ממאות חנויות אונליין — כותרות מוצרים, מחירים, מוכרים, דירוגים, תמונות וקישורים. זהו קטלוג חי שמתעדכן כל הזמן ומציג מה נמכר ברחבי האינטרנט.

למה בכלל לגרד נתונים מ-Google Shopping?

עמוד מוצר אחד כמעט לא מספר שום דבר. אבל מאות מוצרים, כשהם מסודרים בגיליון — שם כבר מתחילים לראות דפוסים.

אלה מקרי השימוש הנפוצים ביותר שראיתי:

משתמשים כיום בכלי תמחור מבוססי AI. חברות שהשקיעו באינטליגנציה תחרותית לתמחור דיווחו על תשואה של עד פי 29. Amazon מעדכנת מחירים בערך כל 10 דקות. אם אתם עדיין בודקים מחירי מתחרים ידנית, החשבון פשוט לא לטובתכם.

Thunderbit היא תוסף Chrome מסוג AI Web Scraper שמסייע למשתמשים עסקיים לגרד נתונים מאתרים בעזרת AI. הוא שימושי במיוחד למנהלי ecommerce, אנליסטים של תמחור ומשווקים שרוצים נתוני Google Shopping מסודרים בלי לכתוב קוד.

אילו נתונים אפשר באמת לגרד מ-Google Shopping?

לפני שבוחרים כלי או כותבים שורת קוד אחת, כדאי לדעת בדיוק אילו שדות זמינים — ואילו שדות דורשים עבודה נוספת כדי להגיע אליהם.

שדות מתוצאות החיפוש ב-Google Shopping

כשמריצים חיפוש ב-Google Shopping, כל כרטיס מוצר בעמוד התוצאות כולל:

שדות מעמודי מוצר מפורטים (נתוני תת-עמוד)

אם לוחצים על מוצר בודד ועוברים לעמוד הפירוט שלו ב-Google Shopping, אפשר לקבל נתונים עשירים יותר:

כדי לגשת לשדות האלה צריך לבקר בכל עמוד מוצר אחרי גירוד תוצאות החיפוש. כלים עם יכולת של עושים זאת אוטומטית — אתאר את התהליך בהמשך.

שלוש דרכים לגרד נתוני Google Shopping (בחרו את המסלול שלכם)

שלוש שיטות, מהקלות ביותר ועד הטכניות ביותר. בחרו את השורה שמתאימה לכם:

שיטה 1: גירוד נתוני Google Shopping בלי קוד (עם Thunderbit)

• רמת קושי: מתחילים
• זמן נדרש: כ-2–5 דקות
• מה צריך: דפדפן Chrome, (גם הגרסה החינמית עובדת), שאילתת חיפוש ב-Google Shopping

המסלול המהיר ביותר מ"אני צריך נתוני Google Shopping" ל"הנה הגיליון שלי". בלי קוד, בלי מפתחות API, בלי הגדרות פרוקסי. ליוויתי עשרות פעמים חברי צוות לא טכניים בתהליך הזה — ואף אחד לא נתקע.

שלב 1: מתקינים את Thunderbit ופותחים את Google Shopping

התקינו את מחנות Chrome Web Store והרשמו לחשבון חינמי.

לאחר מכן עברו ל-Google Shopping. אפשר להיכנס ישירות ל-shopping.google.com או להשתמש בלשונית Shopping בחיפוש רגיל של Google. חפשו כל מוצר או קטגוריה שמעניינים אתכם — למשל, "wireless noise-cancelling headphones".

אתם אמורים לראות רשת של מוצרים עם מחירים, מוכרים ודירוגים.

שלב 2: לוחצים על "AI Suggest Fields" כדי לזהות עמודות אוטומטית

לחצו על אייקון התוסף של Thunderbit כדי לפתוח את הסרגל הצדדי, ואז לחצו על "AI Suggest Fields." ה-AI סורק את עמוד Google Shopping ומציע עמודות: כותרת מוצר, מחיר, מוכר, דירוג, מספר ביקורות, כתובת תמונה, קישור למוצר.

עברו על השדות המוצעים. אפשר לשנות שמות של עמודות, להסיר עמודות שלא צריך, או להוסיף שדות מותאמים אישית. אם רוצים דיוק גבוה יותר — למשל, "לחלץ רק את המחיר המספרי בלי סמל המטבע" — אפשר להוסיף Field AI Prompt לאותה עמודה.

אתם אמורים לראות תצוגה מקדימה של מבנה העמודות בפאנל של Thunderbit.

שלב 3: לוחצים על "Scrape" ובודקים את התוצאות

לחצו על כפתור "Scrape" הכחול. Thunderbit מושך את כל המוצרים הגלויים לטבלה מובנית.

יש כמה דפים? Thunderbit מטפל בדפדוף בין העמודים אוטומטית — או בלחיצה בין עמודים או בגלילה לטעינת תוצאות נוספות, בהתאם למבנה העמוד. אם יש הרבה תוצאות, אפשר לבחור בין Cloud Scraping (מהיר יותר, מטפל בעד 50 עמודים בכל פעם, רץ מהתשתית המבוזרת של Thunderbit) לבין Browser Scraping (משתמש בסשן ה-Chrome שלכם — שימושי אם Google מציגה תוצאות לפי אזור או דורשת התחברות).

בבדיקות שלי, גירוד של 50 מוצרים לקח בערך 30 שניות. אותה משימה ידנית — לפתוח כל מוצר, להעתיק כותרת, מחיר, מוכר ודירוג — הייתה לוקחת לי יותר מ-20 דקות.

שלב 4: מעשירים את הנתונים עם גירוד תת-עמודים

אחרי הגירוד הראשוני, לחצו על "Scrape Subpages" בפאנל של Thunderbit. ה-AI נכנס לכל עמוד מוצר ומוסיף שדות נוספים — תיאורים מלאים, כל מחירי המוכרים, מפרטים וביקורות — לטבלה המקורית.

אין צורך בהגדרה נוספת — ה-AI מבין את המבנה של כל עמוד פירוט ושולף את הנתונים הרלוונטיים. כך בניתי מטריצת תמחור תחרותית מלאה (מוצר + כל מחירי המוכרים + מפרטים) ל-40 מוצרים בפחות מ-5 דקות.

שלב 5: מייצאים ל-Google Sheets, Excel, Airtable או Notion

לחצו על "Export" ובחרו יעד — , Excel, Airtable או Notion. הכול בחינם. אפשר גם להוריד כ-CSV או JSON.

שתי לחיצות כדי לגרד, לחיצה אחת כדי לייצא. הסקריפט המקביל ב-Python? בערך 60 שורות קוד, הגדרת פרוקסי, טיפול ב-CAPTCHA ותחזוקה שוטפת.

שיטה 2: גירוד נתוני Google Shopping עם Python + SERP API

• רמת קושי: בינוני
• זמן נדרש: כ-30 דקות
• מה צריך: Python 3.10+, הספריות requests ו-pandas, מפתח ל-SERP API (כמו ScraperAPI, SerpApi או דומה)

אם אתם צריכים גישה פרוגרמטית וחוזרת לנתוני Google Shopping, SERP API הוא הגישה האמינה ביותר מבוססת Python. אמצעי נגד בוטים, עיבוד JavaScript, סבב פרוקסי — הכול מטופל מאחורי הקלעים. אתם שולחים בקשת HTTP ומקבלים JSON מובנה בחזרה.

שלב 1: מגדירים את סביבת Python

התקינו Python 3.12 (ברירת מחדל בטוחה לייצור ב-2025–2026) ואת החבילות הדרושות:

1pip install requests pandas

הרשמו לספק SERP API. מציעה 100 חיפושים חינמיים בחודש; נותנת 5,000 קרדיטים חינמיים. קחו את מפתח ה-API מלוח הבקרה.

שלב 2: מגדירים את בקשת ה-API

הנה דוגמה מינימלית באמצעות נקודת הקצה של Google Shopping ב-ScraperAPI:

1import requests
2import pandas as pd
3API_KEY = "YOUR_API_KEY"
4query = "wireless noise cancelling headphones"
5> This paragraph contains content that cannot be parsed and has been skipped.
6ה-API מחזיר JSON מובנה עם שדות כמו `title`, `price`, `link`, `thumbnail`, `source` (המוכר), ו-`rating`.
7### שלב 3: מנתחים את תגובת ה-JSON ומחלצים שדות
8```python
9products = data.get("shopping_results", [])
10rows = []
11for p in products:
12    rows.append({
13        "title": p.get("title"),
14        "price": p.get("price"),
15        "seller": p.get("source"),
16        "rating": p.get("rating"),
17        "reviews": p.get("reviews"),
18        "link": p.get("link"),
19        "thumbnail": p.get("thumbnail"),
20    })
21df = pd.DataFrame(rows)

שלב 4: מייצאים ל-CSV או JSON

1df.to_csv("google_shopping_results.csv", index=False)

מתאים לעבודה בקבוצות: אפשר לעבור על 50 מילות מפתח ולבנות מערך נתונים מלא בהרצת סקריפט אחת. החיסרון הוא העלות — SERP APIs גובים לפי שאילתה, ובאלפי שאילתות ביום החשבון מטפס. עוד על תמחור בהמשך.

שיטה 3: גירוד נתוני Google Shopping עם Python + Playwright (אוטומציית דפדפן)

• רמת קושי: מתקדם
• זמן נדרש: כשעה ומעלה (ועוד תחזוקה שוטפת)
• מה צריך: Python 3.10+, Playwright, פרוקסי Residential, וסבלנות

זו גישת "שליטה מלאה". אתם מפעילים דפדפן אמיתי, ניגשים ל-Google Shopping, ומחלצים נתונים מהעמוד המעובד. זו השיטה הגמישה ביותר, אבל גם השבירה ביותר — מערכות ההגנה של Google נגד בוטים אגרסיביות, ומבנה העמוד משתנה כמה פעמים בשנה.

אזהרה הוגנת: דיברתי עם משתמשים שבילו שבועות במאבק מול CAPTCHA וחסימות IP בגישה הזו. זה עובד, אבל צריך לצפות לתחזוקה מתמשכת.

שלב 1: מתקינים Playwright ופרוקסים

1pip install playwright
2playwright install chromium

תצטרכו פרוקסי Residential. כתובות IP של data center נחסמות כמעט מיד — משתמש אחד בפורום ניסח זאת בחדות: "כל כתובות ה-IP של AWS ייחסמו או ייתקלו ב-CAPTCHA אחרי 1/2 תוצאות." שירותים כמו Bright Data, Oxylabs או Decodo מציעים מאגרי פרוקסי Residential החל מכ-1–5 דולר ל-GB.

הגדירו את Playwright עם user-agent ריאלי והפרוקסי שלכם:

1from playwright.sync_api import sync_playwright
2> This paragraph contains content that cannot be parsed and has been skipped.
3### שלב 2: ניגשים ל-Google Shopping ומטפלים באמצעי נגד בוטים
4בנו את כתובת ה-URL של Google Shopping וגשו אליה:
5```python
6query = "wireless noise cancelling headphones"
7url = f"https://www.google.com/search?udm=28&q={query}&gl=us&hl=en"
8page.goto(url, wait_until="networkidle")

טפלו בחלונית הסכמת cookies של האיחוד האירופי אם היא מופיעה:

1try:
2    page.click("button#L2AGLb", timeout=3000)
3except:
4    pass

הוסיפו השהיות טבעיות בין פעולות — המתנה אקראית של 2–5 שניות בין טעינות עמודים. מערכות הזיהוי של Google מזהות דפוסי בקשות מהירים ואחידים.

שלב 3: גוללים, מדפדפים ומחלצים נתוני מוצר

Google Shopping טוענת תוצאות באופן דינמי. גללו כדי להפעיל טעינה עצלה, ואז חלצו כרטיסי מוצר:

1import time, random
2# גלילה כדי לטעון את כל התוצאות
3for _ in range(3):
4    page.evaluate("window.scrollBy(0, 1000)")
5    time.sleep(random.uniform(1.5, 3.0))
6> This paragraph contains content that cannot be parsed and has been skipped.
7הערה חשובה: ה-selectors של CSS למעלה הם בקירוב בלבד ו**ישתנו**. Google מחליפה שמות class לעיתים קרובות. רק ב-2024–2026 תועדו שלושה סטים שונים של selectors. עדיף להישען על מאפיינים יציבים יותר כמו `jsname`, `data-cid`, תגי `<h3>` ו-`img[alt]` ולא על שמות class.
8### שלב 4: שומרים ל-CSV או JSON
9```python
10import json
11from datetime import datetime
12filename = f"shopping_{datetime.now().strftime('%Y%m%d_%H%M')}.json"
13with open(filename, "w") as f:
14    json.dump(results, f, indent=2)

צפו לתחזק את הסקריפט הזה באופן קבוע. כשהמבנה של העמוד משתנה — וזה קורה כמה פעמים בשנה — ה-selectors נשברים ואתם חוזרים לדיבוג.

כאב הראש הגדול ביותר: CAPTCHA וחסימות נגד בוטים

פורום אחר פורום, הסיפור חוזר על עצמו: "השקעתי כמה שבועות אבל ויתרתי מול שיטות ההגנה של Google נגד בוטים." CAPTCHA וחסימות IP הן הסיבה מספר אחת לכך שאנשים נוטשים סקרייפרים של Google Shopping שבנו בעצמם.

איך Google חוסמת סקרייפרים — ומה עושים נגד זה

This paragraph contains content that cannot be parsed and has been skipped.

להוציא את הנתונים האלה מ-Google Shopping ולהכניס אותם לגיליון אלקטרוני? כאן העניינים מתחילים להסתבך. השקענו לא מעט זמן בבדיקת גישות שונות — מתוספי דפדפן ללא קוד ועד סקריפטים מלאים ב-Python — והחוויה נעה בין "וואו, זה היה קל" לבין "אני כבר שלושה ימים מדבג CAPTCHA ורוצה לפרוש". רוב המדריכים בנושא מניחים שאתם מפתחי Python, אבל מניסיוני, חלק גדול מהאנשים שצריכים נתוני Google Shopping הם אנשי ecommerce, אנליסטים של תמחור ומשווקים שרוצים פשוט את המספרים, בלי לכתוב קוד. לכן המדריך הזה מציג שלוש שיטות, מהקלות ביותר ועד הטכניות ביותר, כדי שתוכלו לבחור את המסלול שמתאים לרמת הידע ולזמן שלכם.

מה זה בעצם נתוני Google Shopping?

Google Shopping הוא מנוע חיפוש למוצרים. מקלידים למשל "אוזניות אלחוטיות מבטלות רעש" ו-Google מציגה רשימות ממאות חנויות אונליין — כותרות מוצרים, מחירים, מוכרים, דירוגים, תמונות וקישורים. זהו קטלוג חי שמתעדכן כל הזמן ומציג מה נמכר ברחבי האינטרנט.

למה בכלל לגרד נתונים מ-Google Shopping?

עמוד מוצר אחד כמעט לא מספר שום דבר. אבל מאות מוצרים, כשהם מסודרים בגיליון — שם כבר מתחילים לראות דפוסים.

אלה מקרי השימוש הנפוצים ביותר שראיתי:

משתמשים כיום בכלי תמחור מבוססי AI. חברות שהשקיעו באינטליגנציה תחרותית לתמחור דיווחו על תשואה של עד פי 29. Amazon מעדכנת מחירים בערך כל 10 דקות. אם אתם עדיין בודקים מחירי מתחרים ידנית, החשבון פשוט לא לטובתכם.

Thunderbit היא תוסף Chrome מסוג AI Web Scraper שמסייע למשתמשים עסקיים לגרד נתונים מאתרים בעזרת AI. הוא שימושי במיוחד למנהלי ecommerce, אנליסטים של תמחור ומשווקים שרוצים נתוני Google Shopping מסודרים בלי לכתוב קוד.

אילו נתונים אפשר באמת לגרד מ-Google Shopping?

לפני שבוחרים כלי או כותבים שורת קוד אחת, כדאי לדעת בדיוק אילו שדות זמינים — ואילו שדות דורשים עבודה נוספת כדי להגיע אליהם.

שדות מתוצאות החיפוש ב-Google Shopping

כשמריצים חיפוש ב-Google Shopping, כל כרטיס מוצר בעמוד התוצאות כולל:

שדות מעמודי מוצר מפורטים (נתוני תת-עמוד)

אם לוחצים על מוצר בודד ועוברים לעמוד הפירוט שלו ב-Google Shopping, אפשר לקבל נתונים עשירים יותר:

כדי לגשת לשדות האלה צריך לבקר בכל עמוד מוצר אחרי גירוד תוצאות החיפוש. כלים עם יכולת של עושים זאת אוטומטית — אתאר את התהליך בהמשך.

שלוש דרכים לגרד נתוני Google Shopping (בחרו את המסלול שלכם)

שלוש שיטות, מהקלות ביותר ועד הטכניות ביותר. בחרו את השורה שמתאימה לכם:

שיטה 1: גירוד נתוני Google Shopping בלי קוד (עם Thunderbit)

• רמת קושי: מתחילים
• זמן נדרש: כ-2–5 דקות
• מה צריך: דפדפן Chrome, (גם הגרסה החינמית עובדת), שאילתת חיפוש ב-Google Shopping

המסלול המהיר ביותר מ"אני צריך נתוני Google Shopping" ל"הנה הגיליון שלי". בלי קוד, בלי מפתחות API, בלי הגדרות פרוקסי. ליוויתי עשרות פעמים חברי צוות לא טכניים בתהליך הזה — ואף אחד לא נתקע.

שלב 1: מתקינים את Thunderbit ופותחים את Google Shopping

התקינו את מחנות Chrome Web Store והרשמו לחשבון חינמי.

לאחר מכן עברו ל-Google Shopping. אפשר להיכנס ישירות ל-shopping.google.com או להשתמש בלשונית Shopping בחיפוש רגיל של Google. חפשו כל מוצר או קטגוריה שמעניינים אתכם — למשל, "wireless noise-cancelling headphones".

אתם אמורים לראות רשת של מוצרים עם מחירים, מוכרים ודירוגים.

שלב 2: לוחצים על "AI Suggest Fields" כדי לזהות עמודות אוטומטית

לחצו על אייקון התוסף של Thunderbit כדי לפתוח את הסרגל הצדדי, ואז לחצו על "AI Suggest Fields." ה-AI סורק את עמוד Google Shopping ומציע עמודות: כותרת מוצר, מחיר, מוכר, דירוג, מספר ביקורות, כתובת תמונה, קישור למוצר.

עברו על השדות המוצעים. אפשר לשנות שמות של עמודות, להסיר עמודות שלא צריך, או להוסיף שדות מותאמים אישית. אם רוצים דיוק גבוה יותר — למשל, "לחלץ רק את המחיר המספרי בלי סמל המטבע" — אפשר להוסיף Field AI Prompt לאותה עמודה.

אתם אמורים לראות תצוגה מקדימה של מבנה העמודות בפאנל של Thunderbit.

שלב 3: לוחצים על "Scrape" ובודקים את התוצאות

לחצו על כפתור "Scrape" הכחול. Thunderbit מושך את כל המוצרים הגלויים לטבלה מובנית.

יש כמה דפים? Thunderbit מטפל בדפדוף בין העמודים אוטומטית — או בלחיצה בין עמודים או בגלילה לטעינת תוצאות נוספות, בהתאם למבנה העמוד. אם יש הרבה תוצאות, אפשר לבחור בין Cloud Scraping (מהיר יותר, מטפל בעד 50 עמודים בכל פעם, רץ מהתשתית המבוזרת של Thunderbit) לבין Browser Scraping (משתמש בסשן ה-Chrome שלכם — שימושי אם Google מציגה תוצאות לפי אזור או דורשת התחברות).

בבדיקות שלי, גירוד של 50 מוצרים לקח בערך 30 שניות. אותה משימה ידנית — לפתוח כל מוצר, להעתיק כותרת, מחיר, מוכר ודירוג — הייתה לוקחת לי יותר מ-20 דקות.

שלב 4: מעשירים את הנתונים עם גירוד תת-עמודים

אחרי הגירוד הראשוני, לחצו על "Scrape Subpages" בפאנל של Thunderbit. ה-AI נכנס לכל עמוד מוצר ומוסיף שדות נוספים — תיאורים מלאים, כל מחירי המוכרים, מפרטים וביקורות — לטבלה המקורית.

אין צורך בהגדרה נוספת — ה-AI מבין את המבנה של כל עמוד פירוט ושולף את הנתונים הרלוונטיים. כך בניתי מטריצת תמחור תחרותית מלאה (מוצר + כל מחירי המוכרים + מפרטים) ל-40 מוצרים בפחות מ-5 דקות.

שלב 5: מייצאים ל-Google Sheets, Excel, Airtable או Notion

לחצו על "Export" ובחרו יעד — , Excel, Airtable או Notion. הכול בחינם. אפשר גם להוריד כ-CSV או JSON.

שתי לחיצות כדי לגרד, לחיצה אחת כדי לייצא. הסקריפט המקביל ב-Python? בערך 60 שורות קוד, הגדרת פרוקסי, טיפול ב-CAPTCHA ותחזוקה שוטפת.

שיטה 2: גירוד נתוני Google Shopping עם Python + SERP API

• רמת קושי: בינוני
• זמן נדרש: כ-30 דקות
• מה צריך: Python 3.10+, הספריות requests ו-pandas, מפתח ל-SERP API (כמו ScraperAPI, SerpApi או דומה)

אם אתם צריכים גישה פרוגרמטית וחוזרת לנתוני Google Shopping, SERP API הוא הגישה האמינה ביותר מבוססת Python. אמצעי נגד בוטים, עיבוד JavaScript, סבב פרוקסי — הכול מטופל מאחורי הקלעים. אתם שולחים בקשת HTTP ומקבלים JSON מובנה בחזרה.

שלב 1: מגדירים את סביבת Python

התקינו Python 3.12 (ברירת מחדל בטוחה לייצור ב-2025–2026) ואת החבילות הדרושות:

1pip install requests pandas

הרשמו לספק SERP API. מציעה 100 חיפושים חינמיים בחודש; נותנת 5,000 קרדיטים חינמיים. קחו את מפתח ה-API מלוח הבקרה.

שלב 2: מגדירים את בקשת ה-API

הנה דוגמה מינימלית באמצעות נקודת הקצה של Google Shopping ב-ScraperAPI:

1import requests
2import pandas as pd
3API_KEY = "YOUR_API_KEY"
4query = "wireless noise cancelling headphones"
5> This paragraph contains content that cannot be parsed and has been skipped.
6ה-API מחזיר JSON מובנה עם שדות כמו `title`, `price`, `link`, `thumbnail`, `source` (המוכר), ו-`rating`.
7### שלב 3: מנתחים את תגובת ה-JSON ומחלצים שדות
8```python
9products = data.get("shopping_results", [])
10rows = []
11for p in products:
12    rows.append({
13        "title": p.get("title"),
14        "price": p.get("price"),
15        "seller": p.get("source"),
16        "rating": p.get("rating"),
17        "reviews": p.get("reviews"),
18        "link": p.get("link"),
19        "thumbnail": p.get("thumbnail"),
20    })
21df = pd.DataFrame(rows)

שלב 4: מייצאים ל-CSV או JSON

1df.to_csv("google_shopping_results.csv", index=False)

מתאים לעבודה בקבוצות: אפשר לעבור על 50 מילות מפתח ולבנות מערך נתונים מלא בהרצת סקריפט אחת. החיסרון הוא העלות — SERP APIs גובים לפי שאילתה, ובאלפי שאילתות ביום החשבון מטפס. עוד על תמחור בהמשך.

שיטה 3: גירוד נתוני Google Shopping עם Python + Playwright (אוטומציית דפדפן)

• רמת קושי: מתקדם
• זמן נדרש: כשעה ומעלה (ועוד תחזוקה שוטפת)
• מה צריך: Python 3.10+, Playwright, פרוקסי Residential, וסבלנות

זו גישת "שליטה מלאה". אתם מפעילים דפדפן אמיתי, ניגשים ל-Google Shopping, ומחלצים נתונים מהעמוד המעובד. זו השיטה הגמישה ביותר, אבל גם השבירה ביותר — מערכות ההגנה של Google נגד בוטים אגרסיביות, ומבנה העמוד משתנה כמה פעמים בשנה.

אזהרה הוגנת: דיברתי עם משתמשים שבילו שבועות במאבק מול CAPTCHA וחסימות IP בגישה הזו. זה עובד, אבל צריך לצפות לתחזוקה מתמשכת.

שלב 1: מתקינים Playwright ופרוקסים

1pip install playwright
2playwright install chromium

תצטרכו פרוקסי Residential. כתובות IP של data center נחסמות כמעט מיד — משתמש אחד בפורום ניסח זאת בחדות: "כל כתובות ה-IP של AWS ייחסמו או ייתקלו ב-CAPTCHA אחרי 1/2 תוצאות." שירותים כמו Bright Data, Oxylabs או Decodo מציעים מאגרי פרוקסי Residential החל מכ-1–5 דולר ל-GB.

הגדירו את Playwright עם user-agent ריאלי והפרוקסי שלכם:

1from playwright.sync_api import sync_playwright
2> This paragraph contains content that cannot be parsed and has been skipped.
3### שלב 2: ניגשים ל-Google Shopping ומטפלים באמצעי נגד בוטים
4בנו את כתובת ה-URL של Google Shopping וגשו אליה:
5```python
6query = "wireless noise cancelling headphones"
7url = f"https://www.google.com/search?udm=28&q={query}&gl=us&hl=en"
8page.goto(url, wait_until="networkidle")

טפלו בחלונית הסכמת cookies של האיחוד האירופי אם היא מופיעה:

1try:
2    page.click("button#L2AGLb", timeout=3000)
3except:
4    pass

הוסיפו השהיות טבעיות בין פעולות — המתנה אקראית של 2–5 שניות בין טעינות עמודים. מערכות הזיהוי של Google מזהות דפוסי בקשות מהירים ואחידים.

שלב 3: גוללים, מדפדפים ומחלצים נתוני מוצר

Google Shopping טוענת תוצאות באופן דינמי. גללו כדי להפעיל טעינה עצלה, ואז חלצו כרטיסי מוצר:

1import time, random
2# גלילה כדי לטעון את כל התוצאות
3for _ in range(3):
4    page.evaluate("window.scrollBy(0, 1000)")
5    time.sleep(random.uniform(1.5, 3.0))
6> This paragraph contains content that cannot be parsed and has been skipped.
7הערה חשובה: ה-selectors של CSS למעלה הם בקירוב בלבד ו**ישתנו**. Google מחליפה שמות class לעיתים קרובות. רק ב-2024–2026 תועדו שלושה סטים שונים של selectors. עדיף להישען על מאפיינים יציבים יותר כמו `jsname`, `data-cid`, תגי `<h3>` ו-`img[alt]` ולא על שמות class.
8### שלב 4: שומרים ל-CSV או JSON
9```python
10import json
11from datetime import datetime
12filename = f"shopping_{datetime.now().strftime('%Y%m%d_%H%M')}.json"
13with open(filename, "w") as f:
14    json.dump(results, f, indent=2)

צפו לתחזק את הסקריפט הזה באופן קבוע. כשהמבנה של העמוד משתנה — וזה קורה כמה פעמים בשנה — ה-selectors נשברים ואתם חוזרים לדיבוג.

כאב הראש הגדול ביותר: CAPTCHA וחסימות נגד בוטים

פורום אחר פורום, הסיפור חוזר על עצמו: "השקעתי כמה שבועות אבל ויתרתי מול שיטות ההגנה של Google נגד בוטים." CAPTCHA וחסימות IP הן הסיבה מספר אחת לכך שאנשים נוטשים סקרייפרים של Google Shopping שבנו בעצמם.

איך Google חוסמת סקרייפרים — ומה עושים נגד זה

בינואר 2025, Google הפכה הרצת JavaScript לחובה עבור תוצאות SERP ו-Shopping, — כולל צינורות עבודה ששימשו את SemRush ו-SimilarWeb. ואז בספטמבר 2025, Google הפסיקה לתמוך בכתובות הישנות של דפי המוצר, והפנתה אל משטח חדש בשם "Immersive Product" שטוען דרך AJAX אסינכרוני. כל מדריך שנכתב לפני סוף 2025 כבר ברובו לא רלוונטי.

איך כל שיטה מתמודדת עם האתגרים האלה

SERP APIs מטפלות בהכול מאחורי הקלעים — פרוקסים, rendering, פתרון CAPTCHA. אתם לא צריכים לחשוב על זה.

Thunderbit Cloud Scraping משתמשת בתשתית ענן מבוזרת ברחבי ארה״ב, אירופה ואסיה כדי לטפל ב-JS rendering ובאמצעי נגד בוטים באופן אוטומטי. מצב Browser Scraping משתמש בסשן Chrome המאומת שלכם, ולכן עוקף זיהוי כמעט לחלוטין כי הוא נראה כמו משתמש רגיל.

DIY Playwright מטיל את כל הנטל עליכם — ניהול פרוקסים, כוונון השהיות, פתרון CAPTCHA, תחזוקת selectors, ומעקב מתמיד אחרי שבירות.

העלות האמיתית של גירוד נתוני Google Shopping: השוואה כנה

"50 דולר לכ-20 אלף בקשות… קצת יקר בשביל פרויקט תחביב." התלונה הזו מופיעה כל הזמן בפורומים. אבל בדרך כלל שוכחים את העלות הגדולה ביותר מכולן.

טבלת השוואת עלויות

העלות הנסתרת שכולם מתעלמים ממנה: הזמן שלכם

פתרון DIY שעולה $0 אבל שורף 40 שעות בדיבוג לא באמת חינמי. אם שעת עבודה שווה 50 דולר, מדובר ב-2,000 דולר בעלות עבודה — עבור סקרייפר שעלול להישבר שוב בחודש הבא כשה-DOM של Google ישתנה.

מחקר Technology Outlook של McKinsey מצא שנקודת האיזון בין build ל-buy מגיעה רק מעבר ל-. מתחת לרף הזה, בנייה פנימית "צורכת תקציב בלי לייצר ROI." עבור רוב צוותי ecommerce שמבצעים כמה מאות עד כמה אלפי בדיקות בשבוע, כלי ללא קוד או SERP API הם בדרך כלל משתלמים משמעותית יותר מבנייה עצמית.

איך להגדיר ניטור אוטומטי של מחירי Google Shopping

רוב המדריכים מתייחסים לגירוד כמשימה חד-פעמית. אבל מקרה השימוש האמיתי עבור צוותי ecommerce הוא ניטור מתמשך ואוטומטי. לא רק צריך את המחירים של היום — צריך גם את של אתמול, של השבוע שעבר ושל מחר.

הגדרת גירוד מתוזמן עם Thunderbit

ה-Scheduled Scraper של Thunderbit מאפשר לתאר את המרווח בשפה פשוטה — "כל יום ב-9 בבוקר" או "כל שני וחמישי בצהריים" — וה-AI ממיר את זה ללוח זמנים חוזר. מזינים את כתובות ה-URL של Google Shopping, לוחצים על "Schedule", וזהו.

כל הרצה מייצאת אוטומטית ל-Google Sheets, Airtable או Notion. התוצאה הסופית: גיליון שמתמלא אוטומטית מדי יום במחירי מתחרים, מוכן ל-pivot tables או להתראות.

בלי cron jobs. בלי ניהול שרתים. בלי כאבי ראש של Lambda. (ראיתי פוסטים של מפתחים שבילו ימים בניסיון להפעיל Selenium ב-AWS Lambda — המתזמן של Thunderbit חוסך את כל זה.)

למידע נוסף על בניית , יש לנו מדריך נפרד ומעמיק.

תזמון עם Python (למפתחים)

אם אתם משתמשים בגישת SERP API, אפשר לתזמן הרצות באמצעות cron jobs (Linux/Mac), Windows Task Scheduler, או מתזמנים בענן כמו AWS Lambda או Google Cloud Functions. גם ספריות Python כמו APScheduler עובדות.

החיסרון: עכשיו אתם אחראים לניטור תקינות הסקריפט, טיפול בכשלים, סבב פרוקסים לפי לוח זמנים, ועדכון selectors כשהעמוד של Google משתנה. עבור רוב הצוותים, הזמן ההנדסי שנדרש לתחזוקת סקרייפר Python מתוזמן גבוה יותר מעלות של כלי ייעודי.

טיפים ושיטות עבודה מומלצות לגירוד נתוני Google Shopping

לא משנה באיזו שיטה תבחרו, כמה כללים יחסכו לכם כאב ראש.

כבדו מגבלות קצב

אל תדפקו על Google עם מאות בקשות מהירות — תיחסמו, וכתובת ה-IP שלכם עלולה להישאר מסומנת לזמן מה. בשיטות DIY: פזרו את הבקשות בהפרש של 10–20 שניות עם jitter אקראי. כלים ו-API מטפלים בזה עבורכם.

התאימו את השיטה לנפח העבודה

מדריך החלטה מהיר:

• פחות מ-10 שאילתות בשבוע → Thunderbit בגרסה החינמית או SerpApi בגרסה החינמית
• 10–1,000 שאילתות בשבוע → תוכנית בתשלום של SERP API או
• מעל 1,000 שאילתות בשבוע → תוכנית enterprise של SERP API או Thunderbit Open API

נקו ותקפו את הנתונים שלכם

מחירים מגיעים עם סמלי מטבע, פורמטים לוקאליים (1.299,00 € לעומת $1,299.00), ולפעמים גם תווים מיותרים. אפשר להשתמש ב-Field AI Prompts של Thunderbit כדי לנרמל כבר בזמן החילוץ, או לנקות אחר כך עם pandas:

1df["price_num"] = df["price"].str.replace(r"[^\d.]", "", regex=True).astype(float)

בדקו כפילויות בין תוצאות אורגניות וממומנות — הן לרוב חופפות. כדאי להסיר כפילויות לפי השלשה (title, price, seller).

הכירו את המצב המשפטי

גירוד של נתוני מוצר זמינים לציבור נחשב בדרך כלל חוקי, אבל המרחב המשפטי משתנה במהירות. ההתפתחות החשובה ביותר לאחרונה: תחת DMCA § 1201 בטענה לעקיפת מערכת ה-"SearchGuard" נגד גירוד של Google. זהו כיוון אכיפה חדש שעוקף את ההגנות שנקבעו בתיקים קודמים כמו hiQ v. LinkedIn ו-Van Buren v. United States.

הנחיות פרקטיות:

• גרדו רק נתונים ציבוריים — אל תתחברו לחשבון כדי להגיע לתוכן מוגבל
• אל תחלצו מידע אישי (שמות מבקרים, פרטי חשבון)
• קחו בחשבון שתנאי השימוש של Google אוסרים גישה אוטומטית — שימוש ב-SERP API או בתוסף דפדפן מפחית (אבל לא מבטל) את האפור המשפטי
• בפעילות באיחוד האירופי, זכרו גם את GDPR, אף על פי שרשימות מוצרים הן ברובן נתונים מסחריים שאינם אישיים
• שקלו להתייעץ עם עו"ד אם אתם בונים מוצר מסחרי על בסיס נתונים מגורדים

לקריאה מעמיקה יותר על , סקרנו את הנושא בנפרד.

באיזו שיטה כדאי להשתמש כדי לגרד נתוני Google Shopping?

אחרי שהרצנו את שלוש הגישות על אותן קטגוריות מוצרים, זו המסקנה שלי:

אם אתם משתמשים לא טכניים וצריכים נתונים מהר — השתמשו ב-Thunderbit. פותחים את Google Shopping, לוחצים פעמיים, ומייצאים. יהיה לכם גיליון נקי בפחות מ-5 דקות. ה- מאפשרת לנסות בלי התחייבות, ותכונת גירוד תת-עמודים מספקת נתונים עשירים יותר ממה שרוב סקריפטי Python מפיקים.

אם אתם מפתחים וצריכים גישה פרוגרמטית שניתנת לשחזור — בחרו ב-SERP API. האמינות שווה את העלות לכל שאילתה, ואתם חוסכים את כל כאבי הראש של מנגנוני ההגנה. ל-SerpApi יש את התיעוד הטוב ביותר; ל-ScraperAPI יש את השכבה החינמית הנדיבה ביותר.

אם אתם צריכים שליטה מקסימלית ובונים pipeline מותאם אישית — Playwright עובד, אבל חשוב להיכנס לזה בעיניים פתוחות. צריך להקדיש זמן משמעותי לניהול פרוקסים, תחזוקת selectors וטיפול ב-CAPTCHA. ב-2025–2026, סט העקיפה המינימלי שעדיין עובד הוא curl_cffi עם התחזות ל-Chrome + פרוקסי Residential + קצב של 10–20 שניות בין פעולות. סקריפט requests פשוט עם סבב user-agents כבר מת.

השיטה הטובה ביותר היא זו שמביאה לכם נתונים מדויקים בלי לגזול לכם את כל השבוע. עבור רוב האנשים, זו לא תוכנית Python של 60 שורות — אלא שתי לחיצות.

בדקו את אם אתם צריכים נפח, או צפו במדריכים שלנו ב- כדי לראות את התהליך בפעולה.

שאלות נפוצות

האם מותר לגרד נתוני Google Shopping?

גירוד של נתוני מוצר ציבוריים הוא בדרך כלל חוקי לפי תקדימים כמו hiQ v. LinkedIn ו-Van Buren v. United States. עם זאת, תנאי השימוש של Google אוסרים גישה אוטומטית, והתביעה של Google נגד SerpApi בדצמבר 2025 הוסיפה תאוריית DMCA § 1201 חדשה סביב עקיפת מנגנוני הגנה. שימוש בכלים וב-API מוכרים מפחית סיכון. לשימושים מסחריים, כדאי להתייעץ עם ייעוץ משפטי.

האם אפשר לגרד Google Shopping בלי להיחסם?

כן, אבל השיטה חשובה. SERP APIs מטפלות במנגנוני ההגנה נגד בוטים אוטומטית. Thunderbit Cloud Scraping משתמשת בתשתית מבוזרת כדי להימנע מחסימות, בעוד שמצב Browser Scraping משתמש בסשן Chrome שלכם (שנראה כמו גלישה רגילה). סקריפטי Python עצמיים דורשים פרוקסי Residential, השהיות דמויות-אדם וניהול TLS fingerprint — וגם אז חסימות עדיין נפוצות.

מהי הדרך הכי קלה לגרד נתוני Google Shopping?

תוסף Chrome של Thunderbit. נכנסים ל-Google Shopping, לוחצים על "AI Suggest Fields", לוחצים על "Scrape" ומייצאים ל-Google Sheets או Excel. בלי קוד, בלי מפתחות API, בלי הגדרות פרוקסי. כל התהליך לוקח בערך 2 דקות.

באיזו תדירות אפשר לגרד Google Shopping לניטור מחירים?

עם Scheduled Scraper של Thunderbit אפשר להגדיר ניטור יומי, שבועי או במרווחים מותאמים אישית, בתיאור פשוט באנגלית. עם SERP APIs, התדירות תלויה במגבלות הקרדיטים של התוכנית — רוב הספקים מציעים מספיק לניטור יומי של כמה מאות SKU-ים. סקריפטי DIY יכולים לרוץ בתדירות שהאינפרה שלכם מאפשרת, אבל תדירות גבוהה יותר אומרת יותר כאבי ראש נגד בוטים.

האם אפשר לייצא נתוני Google Shopping ל-Google Sheets או Excel?

כן. Thunderbit מייצאת ישירות ל-Google Sheets, Excel, Airtable ו-Notion בחינם. סקריפטי Python יכולים לייצא ל-CSV או JSON, ואז אפשר לייבא אותם לכל כלי גיליון. לניטור מתמשך, הייצוא המתוזמן של Thunderbit ל-Google Sheets יוצר מערך נתונים חי שמתעדכן אוטומטית.

• לקריאה נוספת