تعالج Google Shopping أكثر من . وهذا يعني كمًّا ضخمًا من بيانات الأسعار واتجاهات المنتجات ومعلومات البائعين — وكلها أمامك مباشرة داخل المتصفح، ومجمعة من آلاف المتاجر.
لكن كيف تنقل هذه البيانات من Google Shopping إلى جدول بيانات؟ هنا تبدأ المتاعب. لقد جرّبت عدة أساليب — من إضافات المتصفح بدون كود إلى سكربتات Python كاملة — وكانت التجربة تتراوح بين "واو، الأمر سهل جدًا" و"أقضي ثلاثة أيام في إصلاح CAPTCHAs وأفكر في الاستسلام". معظم الأدلة في هذا المجال تفترض أنك مطور Python، لكن من واقع التجربة، نسبة كبيرة ممن يحتاجون بيانات Google Shopping هم من مشغلي التجارة الإلكترونية ومحللي التسعير والمسوقين الذين يريدون الأرقام فقط دون كتابة كود. لذلك يغطي هذا الدليل ثلاث طرق، مرتبة من الأسهل إلى الأكثر تقنية، حتى تختار المسار المناسب لمستوى خبرتك والوقت المتاح لديك.
ما هي بيانات Google Shopping؟
Google Shopping هو محرك بحث للمنتجات. اكتب "سماعات لاسلكية مانعة للضوضاء"، وستعرض لك Google قوائم من عشرات المتاجر الإلكترونية — عناوين المنتجات، الأسعار، البائعين، التقييمات، الصور، والروابط. إنه كتالوج حي يتحدث باستمرار لما هو معروض للبيع عبر الإنترنت.
لماذا نحتاج إلى استخراج بيانات Google Shopping؟
صفحة منتج واحدة لا تقول لك الكثير. لكن عندما تجمع مئات الصفحات في جدول منظم، تبدأ الأنماط في الظهور.

فيما يلي أكثر حالات الاستخدام شيوعًا التي رأيتها:
| حالة الاستخدام | من يستفيد | ما الذي تبحث عنه |
|---|---|---|
| تحليل التسعير التنافسي | فرق التجارة الإلكترونية، محللو التسعير | أسعار المنافسين، أنماط الخصم، تغيّر الأسعار عبر الوقت |
| اكتشاف اتجاهات المنتجات | فرق التسويق، مدراء المنتجات | المنتجات الجديدة، الفئات الصاعدة، معدل التقييمات |
| استخبارات الإعلانات | مدراء PPC، فرق النمو | القوائم الممولة، من يزايد على الإعلانات، كثافة الإعلانات |
| أبحاث البائعين/العملاء المحتملين | فرق المبيعات، B2B | التجار النشطون، البائعون الجدد في الفئة |
| مراقبة MAP | مدراء العلامات التجارية | المتاجر التي تخالف سياسات الحد الأدنى للسعر المعلن |
| تتبع المخزون والتشكيلة | مدراء الفئات | توفر المخزون، الفجوات في تشكيلة المنتجات |
يستخدمون الآن أدوات تسعير مدعومة بالذكاء الاصطناعي. كما أن الشركات التي تستثمر في ذكاء التسعير التنافسي أبلغت عن عوائد وصلت إلى 29 ضعفًا. وتُحدّث Amazon أسعارها تقريبًا كل 10 دقائق. إذا كنت ما زلت تراجع أسعار المنافسين يدويًا، فالحسابات ليست في صالحك.
Thunderbit هو امتداد Chrome من نوع AI Web Scraper يساعد المستخدمين من الشركات على استخراج البيانات من المواقع باستخدام الذكاء الاصطناعي. وهو مفيد بشكل خاص لمشغلي التجارة الإلكترونية ومحللي التسعير والمسوقين الذين يريدون بيانات Google Shopping منظمة دون كتابة كود.
ما البيانات التي يمكنك استخراجها فعليًا من Google Shopping؟
قبل أن تختار أداة أو تكتب سطرًا واحدًا من الكود، من المفيد أن تعرف الحقول المتاحة بالضبط — وأيها يحتاج جهدًا إضافيًا للوصول إليه.
الحقول المتاحة من نتائج بحث Google Shopping
عند إجراء بحث في Google Shopping، تحتوي كل بطاقة منتج في صفحة النتائج على:
| الحقل | النوع | مثال | ملاحظات |
|---|---|---|---|
| عنوان المنتج | نص | "Sony WH-1000XM5 Wireless Headphones" | متاح دائمًا |
| السعر | رقم | $278.00 | قد يظهر سعر التخفيض + السعر الأصلي |
| البائع/المتجر | نص | "Best Buy" | قد يظهر أكثر من بائع للمنتج نفسه |
| التقييم | رقم | 4.7 | من 5 نجوم؛ لا يظهر دائمًا |
| عدد المراجعات | رقم | 12,453 | قد يكون غائبًا للمنتجات الجديدة |
| رابط صورة المنتج | URL | https://... | قد يعرض عنصرًا نائبًا base64 عند التحميل الأول |
| رابط المنتج | URL | https://... | يقود إلى صفحة المنتج في Google أو إلى المتجر مباشرة |
| معلومات الشحن | نص | "Free shipping" | ليست متاحة دائمًا |
| وسم ممول | Boolean | Yes/No | يشير إلى موضع مدفوع — مفيد لاستخبارات الإعلانات |
الحقول من صفحات تفاصيل المنتج (بيانات الصفحات الفرعية)
إذا فتحت صفحة تفاصيل منتج فردي في Google Shopping، يمكنك الوصول إلى بيانات أغنى:
| الحقل | النوع | ملاحظات |
|---|---|---|
| الوصف الكامل | نص | يتطلب زيارة صفحة المنتج |
| جميع أسعار البائعين | رقم (متعدد) | مقارنة أسعار جنبًا إلى جنب بين المتاجر |
| المواصفات | نص | تختلف حسب فئة المنتج (الأبعاد، الوزن، إلخ) |
| نص المراجعات الفردية | نص | المحتوى الكامل لمراجعات المشترين |
| ملخصات الإيجابيات/السلبيات | نص | تقوم Google أحيانًا بإنشائها تلقائيًا |
الوصول إلى هذه الحقول يعني زيارة صفحة كل منتج بعد استخراج نتائج البحث. الأدوات التي تدعم تتعامل مع هذا تلقائيًا — وسأشرح لك سير العمل أدناه.
ثلاث طرق لاستخراج بيانات Google Shopping (اختر المسار المناسب)

ثلاث طرق، مرتبة من الأسهل إلى الأكثر تقنية. اختر الصف الذي يناسب حالتك وانتقل إليه:
| الطريقة | مستوى المهارة | وقت الإعداد | التعامل مع مكافحة الروبوتات | الأفضل لـ |
|---|---|---|---|---|
| بدون كود (Thunderbit Chrome Extension) | مبتدئ | حوالي دقيقتين | يتم تلقائيًا | عمليات التجارة الإلكترونية، المسوقون، الأبحاث السريعة |
| Python + SERP API | متوسط | حوالي 30 دقيقة | تتولى الـ API ذلك | المطورون الذين يحتاجون وصولًا برمجيًا ومتكررًا |
| Python + Playwright (أتمتة المتصفح) | متقدم | حوالي ساعة أو أكثر | تديره بنفسك | خطوط العمل المخصصة، وحالات الحواف |
الطريقة 1: استخراج بيانات Google Shopping بدون كود (باستخدام Thunderbit)
- الصعوبة: مبتدئ
- الوقت المطلوب: حوالي 2–5 دقائق
- ما تحتاجه: متصفح Chrome، و (الخطة المجانية كافية)، واستعلام بحث في Google Shopping
أسرع طريق من "أحتاج بيانات Google Shopping" إلى "ها هو جدول البيانات". لا كود، لا مفاتيح API، ولا إعدادات بروكسي. لقد شرحت هذه الخطوات لزملاء غير تقنيين عشرات المرات — ولم يتعثر أحد.
الخطوة 1: تثبيت Thunderbit وفتح Google Shopping
ثبّت من Chrome Web Store وأنشئ حسابًا مجانيًا.
ثم انتقل إلى Google Shopping. يمكنك إما الدخول مباشرة إلى shopping.google.com أو استخدام تبويب Shopping في بحث Google العادي. ابحث عن أي منتج أو فئة تهمك — مثل "سماعات لاسلكية مانعة للضوضاء".
سترى شبكة من القوائم التي تحتوي على الأسعار والبائعين والتقييمات.
الخطوة 2: انقر على "AI Suggest Fields" لاكتشاف الأعمدة تلقائيًا
انقر على أيقونة Thunderbit لفتح الشريط الجانبي، ثم اضغط "AI Suggest Fields." سيقوم الذكاء الاصطناعي بمسح صفحة Google Shopping واقتراح أعمدة مثل: عنوان المنتج، السعر، البائع، التقييم، عدد المراجعات، رابط الصورة، رابط المنتج.
راجع الحقول المقترحة. يمكنك إعادة تسمية الأعمدة، أو إزالة ما لا تحتاجه، أو إضافة حقول مخصصة. وإذا أردت شيئًا محددًا — مثل "استخراج السعر الرقمي فقط بدون رمز العملة" — يمكنك إضافة Field AI Prompt لذلك العمود.
ستظهر لك معاينة لبنية الأعمدة داخل لوحة Thunderbit.
الخطوة 3: انقر على "Scrape" وراجع النتائج
اضغط زر "Scrape" الأزرق. سيجلب Thunderbit كل قائمة منتجات ظاهرة إلى جدول منظم.
هل هناك صفحات متعددة؟ Thunderbit يتعامل مع التنقل بين الصفحات تلقائيًا — سواء عبر النقر بين الصفحات أو التمرير لتحميل نتائج إضافية حسب تصميم الصفحة. وإذا كانت النتائج كثيرة، يمكنك الاختيار بين Cloud Scraping (أسرع، ويتعامل مع حتى 50 صفحة في المرة الواحدة، ويعمل عبر بنية Thunderbit السحابية الموزعة) أو Browser Scraping (يستخدم جلسة Chrome الخاصة بك — وهو مفيد إذا كانت Google تعرض نتائج خاصة بمنطقة معينة أو تتطلب تسجيل دخول).
في اختباري، استغرق استخراج 50 قائمة منتجات حوالي 30 ثانية. أما تنفيذ المهمة يدويًا — بفتح كل قائمة ونسخ العنوان والسعر والبائع والتقييم — فكان سيستغرق أكثر من 20 دقيقة.
الخطوة 4: إثراء البيانات عبر استخراج الصفحات الفرعية
بعد الاستخراج الأولي، انقر "Scrape Subpages" في لوحة Thunderbit. سيزور الذكاء الاصطناعي صفحة تفاصيل كل منتج ويضيف حقولًا إضافية — مثل الأوصاف الكاملة، وجميع أسعار البائعين، والمواصفات، والمراجعات — إلى الجدول الأصلي.
لا حاجة لأي إعداد إضافي — فالذكاء الاصطناعي يتعرف على بنية صفحة التفاصيل ويجلب البيانات المناسبة. لقد أنشأت مصفوفة تسعير تنافسية كاملة (المنتج + جميع أسعار البائعين + المواصفات) لـ 40 منتجًا في أقل من 5 دقائق بهذه الطريقة.
الخطوة 5: التصدير إلى Google Sheets أو Excel أو Airtable أو Notion
انقر "Export" واختر الوجهة — ، أو Excel، أو Airtable، أو Notion. كلها مجانية. كما تتوفر تنزيلات CSV وJSON أيضًا.
نقرتان للاستخراج، ونقرة واحدة للتصدير. أما سكربت Python المكافئ؟ حوالي 60 سطرًا من الكود، وإعداد بروكسي، والتعامل مع CAPTCHA، وصيانة مستمرة.
الطريقة 2: استخراج بيانات Google Shopping باستخدام Python + SERP API
- الصعوبة: متوسط
- الوقت المطلوب: حوالي 30 دقيقة
- ما تحتاجه: Python 3.10+، ومكتبتا
requestsوpandas، ومفتاح SERP API (مثل ScraperAPI أو SerpApi أو ما شابه)
إذا كنت تحتاج إلى وصول برمجي متكرر وموثوق إلى بيانات Google Shopping، فـ SERP API هي الطريقة الأكثر استقرارًا باستخدام Python. إجراءات مكافحة الروبوتات، وعرض JavaScript، وتدوير البروكسي — كلها تُدار في الخلفية. أنت ترسل طلب HTTP وتحصل على JSON منظم.
الخطوة 1: إعداد بيئة Python
ثبّت Python 3.12 (وهو الخيار الافتراضي الأكثر أمانًا للإنتاج في 2025–2026) والحزم المطلوبة:
1pip install requests pandas
سجّل في مزود SERP API. تقدم عدد 100 عملية بحث مجانية شهريًا؛ وتمنحك 5,000 رصيد مجاني. احصل على مفتاح API من لوحة التحكم.
الخطوة 2: ضبط طلب API
إليك مثالًا مبسطًا باستخدام نقطة نهاية Google Shopping الخاصة بـ ScraperAPI:
1import requests
2import pandas as pd
3API_KEY = "YOUR_API_KEY"
4query = "wireless noise cancelling headphones"
5resp = requests.get(
6 "https://api.scraperapi.com/structured/google/shopping",
7 params={"api_key": API_KEY, "query": query, "country_code": "us"}
8)
9data = resp.json()
تُرجع الـ API JSON منظمًا يحتوي على حقول مثل title وprice وlink وthumbnail وsource (البائع) وrating.
الخطوة 3: تحليل JSON واستخراج الحقول
1products = data.get("shopping_results", [])
2rows = []
3for p in products:
4 rows.append({
5 "title": p.get("title"),
6 "price": p.get("price"),
7 "seller": p.get("source"),
8 "rating": p.get("rating"),
9 "reviews": p.get("reviews"),
10 "link": p.get("link"),
11 "thumbnail": p.get("thumbnail"),
12 })
13df = pd.DataFrame(rows)
الخطوة 4: التصدير إلى CSV أو JSON
1df.to_csv("google_shopping_results.csv", index=False)
مناسب للدفعات: يمكنك تكرار العملية على 50 كلمة مفتاحية وبناء مجموعة بيانات كاملة في تشغيل واحد للسكربت. لكن المقابل هو التكلفة — مزودو SERP API يفرضون رسومًا على كل استعلام، ومع آلاف الاستعلامات يوميًا، ترتفع الفاتورة سريعًا. سنعود إلى التسعير لاحقًا.
الطريقة 3: استخراج بيانات Google Shopping باستخدام Python + Playwright (أتمتة المتصفح)
- الصعوبة: متقدم
- الوقت المطلوب: حوالي ساعة أو أكثر (مع صيانة مستمرة)
- ما تحتاجه: Python 3.10+، وPlaywright، وبروكسيات سكنية، وصبر
هذا هو أسلوب "التحكم الكامل". تشغّل متصفحًا حقيقيًا، وتتصفح Google Shopping، وتستخرج البيانات من الصفحة المعروضة. هو الأكثر مرونة، لكنه أيضًا الأكثر هشاشة — فأنظمة مكافحة الروبوتات لدى Google صارمة، وبنية الصفحة تتغير عدة مرات في السنة.
تحذير صريح: تحدثت مع مستخدمين أمضوا أسابيع في مواجهة CAPTCHAs وحظر IP باستخدام هذا الأسلوب. نعم، ينجح، لكن توقّع صيانة مستمرة.
الخطوة 1: إعداد Playwright والبروكسيات
1pip install playwright
2playwright install chromium
ستحتاج إلى بروكسيات سكنية. عناوين IP الخاصة بمراكز البيانات تُحظر تقريبًا فورًا — وقد قال أحد المستخدمين في منتدى بصراحة: "كل عناوين AWS ستُحظر أو ستواجه CAPTCHA بعد أول نتيجتين." وتوفر خدمات مثل Bright Data وOxylabs وDecodo مجموعات بروكسي سكنية تبدأ تقريبًا من 1–5 دولارات/GB.
اضبط Playwright مع user-agent واقعي وبروكسيك:
1from playwright.sync_api import sync_playwright
2with sync_playwright() as p:
3 browser = p.chromium.launch(
4 headless=True,
5 proxy={"server": "http://your-proxy:port", "username": "user", "password": "pass"}
6 )
7 context = browser.new_context(
8 user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ..."
9 )
10 page = context.new_page()
الخطوة 2: الانتقال إلى Google Shopping والتعامل مع مكافحة الروبوتات
أنشئ رابط Google Shopping وانتقل إليه:
1query = "wireless noise cancelling headphones"
2url = f"https://www.google.com/search?udm=28&q={query}&gl=us&hl=en"
3page.goto(url, wait_until="networkidle")
تعامل مع نافذة قبول الكوكيز الخاصة بالاتحاد الأوروبي إذا ظهرت:
1try:
2 page.click("button#L2AGLb", timeout=3000)
3except:
4 pass
أضف فواصل زمنية شبيهة بتصرف الإنسان بين العمليات — انتظار عشوائي من 2 إلى 5 ثوانٍ بين تحميلات الصفحات. أنظمة الكشف لدى Google ترصد أنماط الطلبات السريعة والمتطابقة.
الخطوة 3: التمرير، التنقل بين الصفحات، واستخراج بيانات المنتجات
Google Shopping يحمل النتائج بشكل ديناميكي. مرّر الصفحة لتفعيل التحميل الكسول، ثم استخرج بطاقات المنتجات:
1import time, random
2# Scroll to load all results
3for _ in range(3):
4 page.evaluate("window.scrollBy(0, 1000)")
5 time.sleep(random.uniform(1.5, 3.0))
6# Extract product cards
7cards = page.query_selector_all("[jsname='ZvZkAe']")
8results = []
9for card in cards:
10 title = card.query_selector("h3")
11 price = card.query_selector("span.a8Pemb")
12 # ... extract other fields
13 results.append({
14 "title": title.inner_text() if title else None,
15 "price": price.inner_text() if price else None,
16 })
ملاحظة مهمة: أدوات CSS selector أعلاه تقريبية وستتغير. Google تغيّر أسماء الفئات بشكل متكرر. وقد تم توثيق ثلاث مجموعات مختلفة من المحددات بين 2024 و2026 فقط. اعتمد على سمات أكثر ثباتًا مثل jsname وdata-cid ووسوم <h3> وimg[alt] بدلًا من أسماء الفئات.
الخطوة 4: الحفظ إلى CSV أو JSON
1import json
2from datetime import datetime
3filename = f"shopping_{datetime.now().strftime('%Y%m%d_%H%M')}.json"
4with open(filename, "w") as f:
5 json.dump(results, f, indent=2)
توقّع أن تضطر إلى صيانة هذا السكربت بانتظام. عندما تغيّر Google بنية الصفحة — وهذا يحدث عدة مرات سنويًا — ستتعطل المحددات وتعود إلى مرحلة التصحيح.
أكبر مشكلة: CAPTCHAs وحظر مكافحة الروبوتات
من منتدى إلى آخر، القصة نفسها: "أمضيت بضعة أسابيع ثم استسلمت أمام طرق Google في مكافحة الروبوتات." تعد CAPTCHAs وحظر IP السبب الأول وراء تخلّي الناس عن أدوات استخراج Google Shopping التي يبنونها بأنفسهم.
كيف تحظر Google أدوات الاستخراج (وماذا تفعل حيال ذلك)
| تحدي مكافحة الروبوتات | ما الذي تفعله Google | الحل البديل |
|---|---|---|---|
| بصمة IP | تحظر عناوين IP الخاصة بمراكز البيانات بعد بضع طلبات | بروكسيات سكنية أو استخراج عبر المتصفح |
| CAPTCHAs | يتم تفعيلها بسبب أنماط الطلبات السريعة أو الآلية | تحديد معدل الطلبات (10–20 ثانية بين الطلبات)، فواصل تشبه الإنسان، خدمات حل CAPTCHA |
| عرض JavaScript | يتم تحميل نتائج Shopping ديناميكيًا عبر JS | متصفح headless مثل Playwright أو API يعرض JS |
| كشف user-agent | يحظر user-agent الشائع للروبوتات | تدوير سلاسل user-agent واقعية ومحدثة |
| بصمة TLS | تكشف عن بصمات TLS غير الخاصة بالمتصفح | استخدام curl_cffi مع انتحال المتصفح أو متصفح حقيقي |
| حظر عناوين AWS/السحابة | يحظر نطاقات IP المعروفة لمزودي السحابة | تجنّب عناوين مراكز البيانات تمامًا |
في يناير 2025، جعلت Google تنفيذ JavaScript إلزاميًا لنتائج SERP وShopping، — بما في ذلك مسارات عمل كانت تستخدمها SemRush وSimilarWeb. ثم في سبتمبر 2025، أوقفت Google روابط صفحات تفاصيل المنتج القديمة، وحوّلتها إلى واجهة "Immersive Product" جديدة تُحمّل عبر AJAX غير متزامن. لذا فأي دليل كُتب قبل أواخر 2025 أصبح إلى حد كبير قديمًا.
كيف تتعامل كل طريقة مع هذه التحديات
SERP APIs تتولى كل شيء في الخلفية — البروكسيات، العرض، حل CAPTCHA. أنت لا تحتاج إلى التفكير في ذلك.
Thunderbit Cloud Scraping يستخدم بنية سحابية موزعة عبر الولايات المتحدة والاتحاد الأوروبي وآسيا للتعامل تلقائيًا مع عرض JavaScript وإجراءات مكافحة الروبوتات. أما وضع Browser Scraping فيستخدم جلسة Chrome المصادق عليها الخاصة بك، ما يتجاوز الكشف بالكامل لأنه يبدو كمستخدم عادي يتصفح.
DIY Playwright يضع العبء كاملًا عليك — إدارة البروكسيات، ضبط التأخير، حل CAPTCHAs، صيانة المحددات، والمراقبة المستمرة لأي عطل.
التكلفة الحقيقية لاستخراج بيانات Google Shopping: مقارنة صريحة
"50 دولارًا مقابل نحو 20 ألف طلب… هذا مرتفع قليلًا لمشروعي الهواية." هذا النوع من الشكاوى يتكرر كثيرًا في المنتديات. لكن النقاش غالبًا يتجاهل أكبر تكلفة على الإطلاق.
جدول مقارنة التكاليف
| النهج | التكلفة الأولية | التكلفة لكل استعلام (تقديريًا) | عبء الصيانة | التكاليف الخفية |
|---|---|---|---|---|
| Python بنفسك (بدون بروكسي) | مجاني | 0$ | مرتفع جدًا (أعطال، CAPTCHAs) | وقتك في التصحيح |
| Python بنفسك + بروكسيات سكنية | الكود مجاني | حوالي 1–5$/GB | متوسط إلى مرتفع | رسوم مزود البروكسي |
| SERP API (SerpApi، ScraperAPI) | خطة مجانية محدودة | حوالي 0.50–5.00$/1K استعلام | منخفض | يتصاعد بسرعة مع الحجم |
| Thunderbit Chrome Extension | خطة مجانية (6 صفحات) | بنظام الرصيد، حوالي 1 رصيد/صف | منخفض جدًا | خطة مدفوعة عند الحجم الكبير |
| Thunderbit Open API (Extract) | بنظام الرصيد | حوالي 20 رصيد/صفحة | منخفض | الدفع حسب كل عملية استخراج |
التكلفة الخفية التي يتجاهلها الجميع: وقتك
الحل اليدوي المجاني الذي يستهلك 40 ساعة من التصحيح ليس مجانيًا. إذا كانت الساعة بـ 50 دولارًا، فهذا يعني 2,000 دولار من العمل — من أجل أداة قد تتعطل مرة أخرى الشهر القادم عندما تغيّر Google بنية DOM.

تشير دراسة McKinsey Technology Outlook إلى أن نقطة التعادل بين البناء والشراء لا تتحقق إلا بعد أكثر من . تحت هذا الحد، فإن بناء الحل داخليًا "يستهلك الميزانية دون أن يحقق عائدًا على الاستثمار". بالنسبة لمعظم فرق التجارة الإلكترونية التي تجري بضع مئات إلى بضعة آلاف من عمليات البحث أسبوعيًا، تكون الأداة بدون كود أو SERP API أكثر جدوى بكثير من بناء الحل بنفسك.
كيفية إعداد مراقبة أسعار Google Shopping بشكل تلقائي
تتعامل معظم الأدلة مع الاستخراج كأنه مهمة لمرة واحدة. لكن حالة الاستخدام الحقيقية لفرق التجارة الإلكترونية هي المراقبة المستمرة المؤتمتة. أنت لا تحتاج أسعار اليوم فقط — بل أسعار الأمس والأسبوع الماضي وحتى الغد.
إعداد استخراج مجدول باستخدام Thunderbit
يتيح لك Scheduled Scraper في Thunderbit وصف الفاصل الزمني باللغة الطبيعية — مثل "كل يوم الساعة 9 صباحًا" أو "كل اثنين وخميس عند الظهر" — ثم يحول الذكاء الاصطناعي ذلك إلى جدول متكرر. أدخل روابط Google Shopping الخاصة بك، وانقر "Schedule"، وانتهيت.
في كل مرة، يتم التصدير تلقائيًا إلى Google Sheets أو Airtable أو Notion. النتيجة النهائية: جدول بيانات يُحدّث نفسه يوميًا بأسعار المنافسين، وجاهز لجداول المحاور أو التنبيهات.
لا مهام cron. لا إدارة خادم. لا صداع Lambda function. (رأيت منشورات لمطورين أمضوا أيامًا في محاولة تشغيل Selenium على AWS Lambda — بينما يتجاوز مجدول Thunderbit كل ذلك.)
للمزيد حول بناء ، لدينا شرح منفصل ومفصل.
الجدولة باستخدام Python (للمطورين)
إذا كنت تستخدم نهج SERP API، يمكنك جدولة التشغيل عبر مهام cron (Linux/Mac)، أو Windows Task Scheduler، أو جداول سحابية مثل AWS Lambda أو Google Cloud Functions. كما تعمل مكتبات Python مثل APScheduler أيضًا.
لكن المقابل هو أنك ستتحمل الآن مسؤولية مراقبة صحة السكربت، ومعالجة الأعطال، وتدوير البروكسيات وفق جدول، وتحديث المحددات عندما تغيّر Google الصفحة. بالنسبة لمعظم الفرق، فإن الوقت الهندسي اللازم لصيانة سكربت Python مجدول يتجاوز تكلفة أداة مخصصة.
نصائح وأفضل الممارسات لاستخراج بيانات Google Shopping
بغض النظر عن الطريقة، هناك بعض الأمور التي ستوفر عليك المتاعب.
احترم حدود المعدل
لا تُغرق Google بمئات الطلبات السريعة — ستتعرض للحظر، وقد يبقى عنوان IP الخاص بك مقيّدًا لبعض الوقت. في الطرق اليدوية: افصل بين الطلبات 10–20 ثانية مع مقدار عشوائي بسيط. الأدوات وواجهات API تتولى ذلك نيابةً عنك.
اختر الطريقة وفقًا للحجم
دليل قرار سريع:
- أقل من 10 استعلامات أسبوعيًا → الخطة المجانية من Thunderbit أو SerpApi
- 10–1,000 استعلام أسبوعيًا → خطة مدفوعة من SERP API أو
- أكثر من 1,000 استعلام أسبوعيًا → خطة Enterprise من SERP API أو Thunderbit Open API
نظّف بياناتك وتحقق منها
تأتي الأسعار مع رموز عملة، وتنسيقات محلية (1.299,00 € مقابل $1,299.00)، وأحيانًا أحرف غير مرغوبة. استخدم Field AI Prompts في Thunderbit لتوحيد البيانات أثناء الاستخراج، أو نظّفها لاحقًا باستخدام pandas:
1df["price_num"] = df["price"].str.replace(r"[^\d.]", "", regex=True).astype(float)
تحقق من التكرارات بين القوائم العضوية والممولة — فهي تتداخل كثيرًا. أزل التكرار باستخدام الثلاثية (العنوان، السعر، البائع).
اعرف الإطار القانوني
استخراج البيانات العامة المتاحة للمنتجات يُعد قانونيًا بشكل عام، لكن المشهد القانوني يتغير بسرعة. أهم تطور حديث: بموجب DMCA § 1201 بسبب التحايل على نظام "SearchGuard" لمكافحة الاستخراج. هذا مسار إنفاذ جديد يتجاوز الدفاعات التي رسختها قضايا سابقة مثل hiQ v. LinkedIn وVan Buren v. United States.
إرشادات عملية:
- استخرج فقط البيانات العامة المتاحة — لا تسجل الدخول للوصول إلى محتوى مقيد
- لا تستخرج معلومات شخصية (مثل أسماء المراجعين أو تفاصيل الحساب)
- انتبه إلى أن شروط خدمة Google تحظر الوصول الآلي — استخدام SERP API أو إضافة متصفح يقلل من المنطقة الرمادية القانونية، لكنه لا يلغيها تمامًا
- بالنسبة للعمليات داخل الاتحاد الأوروبي، ضع GDPR في الحسبان، رغم أن قوائم المنتجات غالبًا ما تكون بيانات تجارية غير شخصية
- فكّر في استشارة مستشار قانوني إذا كنت تبني منتجًا تجاريًا يعتمد على بيانات مستخرجة
للاطلاع على نظرة أعمق حول ، تناولنا الموضوع في مقال منفصل.
أي طريقة يجب أن تستخدم لاستخراج بيانات Google Shopping؟
بعد تجربة الطرق الثلاث على الفئات نفسها من المنتجات، هذا ما وصلت إليه:
إذا كنت مستخدمًا غير تقني وتحتاج البيانات بسرعة — استخدم Thunderbit. افتح Google Shopping، انقر مرتين، وصدّر. ستحصل على جدول نظيف في أقل من 5 دقائق. تتيح لك تجربته دون التزام، كما تمنحك ميزة استخراج الصفحات الفرعية بيانات أغنى من معظم سكربتات Python.
إذا كنت مطورًا وتحتاج وصولًا برمجيًا متكررًا — استخدم SERP API. الموثوقية تستحق تكلفة كل استعلام، وستتجنب صداع مكافحة الروبوتات. لدى SerpApi أفضل توثيق، بينما تمتلك ScraperAPI أكثر خطة مجانية سخاءً.
إذا كنت بحاجة إلى أقصى درجة من التحكم وتبني خط عمل مخصص — Playwright ينجح، لكن ادخل وأنت مدرك للتحديات. خصص وقتًا كبيرًا لإدارة البروكسيات وصيانة المحددات والتعامل مع CAPTCHA. في 2025–2026، الحد الأدنى العملي لتجاوز الحظر هو curl_cffi مع انتحال Chrome + بروكسيات سكنية + فواصل 10–20 ثانية. أما سكربت requests عادي مع تدوير user-agents فقط، فهو لم يعد كافيًا.
أفضل طريقة هي التي تمنحك بيانات دقيقة دون أن تستهلك أسبوعك. بالنسبة لمعظم الناس، ليست سكربت Python من 60 سطرًا — بل نقرتان.
اطّلع على إذا كنت تحتاج إلى حجم أكبر، أو شاهد دروسنا على لترى سير العمل عمليًا.
الأسئلة الشائعة
هل استخراج بيانات Google Shopping قانوني؟
استخراج بيانات المنتجات المتاحة للعامة قانوني عمومًا وفق سوابق مثل hiQ v. LinkedIn وVan Buren v. United States. ومع ذلك، فإن شروط خدمة Google تحظر الوصول الآلي، كما أن دعوى Google ضد SerpApi في ديسمبر 2025 قدّمت نظرية جديدة بموجب DMCA § 1201 حول التحايل على الحماية. استخدام الأدوات وواجهات API الموثوقة يقلل المخاطر. وللاستخدام التجاري، استشر مستشارًا قانونيًا.
هل يمكنني استخراج Google Shopping دون التعرض للحظر؟
نعم، لكن الطريقة مهمة. SERP APIs تتولى إجراءات مكافحة الروبوتات تلقائيًا. ويستخدم Thunderbit Cloud Scraping بنية موزعة لتجنب الحظر، بينما يعتمد Browser Scraping على جلسة Chrome الخاصة بك (فتبدو كتصفح عادي). أما سكربتات Python اليدوية فتحتاج إلى بروكسيات سكنية وتأخيرات شبيهة بسلوك الإنسان وإدارة TLS fingerprint — وحتى مع ذلك تبقى حالات الحظر شائعة.
ما أسهل طريقة لاستخراج بيانات Google Shopping؟
امتداد Thunderbit Chrome. انتقل إلى Google Shopping، وانقر "AI Suggest Fields"، ثم "Scrape"، وصدّر إلى Google Sheets أو Excel. لا كود، لا مفاتيح API، ولا إعداد بروكسي. تستغرق العملية كلها حوالي دقيقتين.
كم مرة يمكنني استخراج Google Shopping لمراقبة الأسعار؟
مع Scheduled Scraper في Thunderbit، يمكنك إعداد مراقبة يومية أو أسبوعية أو بفواصل مخصصة باستخدام وصف باللغة الطبيعية. أما مع SERP APIs، فتتوقف الوتيرة على حدود الرصيد في خطتك — ومعظم المزودين يوفرون ما يكفي للمراقبة اليومية لبضع مئات من المنتجات. يمكن للسكربتات اليدوية أن تعمل بالسرعة التي تسمح بها بنيتك التحتية، لكن التكرار الأعلى يعني صداعًا أكبر مع مكافحة الروبوتات.
هل يمكنني تصدير بيانات Google Shopping إلى Google Sheets أو Excel؟
نعم. يصدّر Thunderbit مباشرة إلى Google Sheets وExcel وAirtable وNotion مجانًا. ويمكن لسكربتات Python التصدير إلى CSV أو JSON، ثم استيرادها إلى أي أداة جداول. وللمراقبة المستمرة، تخلق عمليات التصدير المجدولة من Thunderbit إلى Google Sheets مجموعة بيانات حية تتحدث تلقائيًا.
- اعرف المزيد