تعالج Google Shopping أكثر من . وهذا يعني كمًّا هائلًا من بيانات الأسعار واتجاهات المنتجات ومعلومات البائعين — وكلها أمامك مباشرة داخل المتصفح، بعد أن جُمعت من آلاف المتاجر.
لكن إخراج هذه البيانات من Google Shopping إلى جدول بيانات؟ هنا تبدأ القصة تتعقّد. قضيت وقتًا لا بأس به أجرّب طرقًا مختلفة — من إضافات متصفح بدون كود إلى سكربتات Python كاملة — وكانت النتيجة تتراوح بين "واو، هذا سهل جدًا" و"أمضيت ثلاثة أيام في إصلاح CAPTCHAs وأريد أن أستسلم". أغلب الشروحات في هذا الموضوع تفترض أنك مطوّر Python، لكن من واقع تجربتي، أغلب من يحتاجون بيانات Google Shopping هم مشغلو التجارة الإلكترونية، ومحللو التسعير، والمسوقون الذين يريدون الأرقام بدون كتابة كود. لذلك يغطي هذا الدليل ثلاث طرق، مرتبة من الأسهل إلى الأكثر تقنية، حتى تختار المسار المناسب لمستوى مهارتك والوقت المتاح لديك.
ما هي بيانات Google Shopping؟
Google Shopping هو محرك بحث للمنتجات. اكتب "سماعات لاسلكية مانعة للضوضاء"، وستعرض Google نتائج من عشرات المتاجر الإلكترونية — عناوين المنتجات، الأسعار، البائعون، التقييمات، الصور، والروابط. إنه أشبه بكتالوج حي يتحدث باستمرار عمّا هو معروض للبيع عبر الإنترنت.
لماذا نحتاج إلى استخراج بيانات Google Shopping؟
صفحة منتج واحدة لا تقول لك الكثير. لكن مئات الصفحات، عندما تُرتَّب داخل جدول بيانات، تبدأ الأنماط بالظهور بوضوح.

فيما يلي أكثر حالات الاستخدام شيوعًا التي رأيتها:
| حالة الاستخدام | من يستفيد | ما الذي تبحث عنه |
|---|---|---|
| تحليل التسعير التنافسي | فرق التجارة الإلكترونية، محللو التسعير | أسعار المنافسين، أنماط التخفيضات، تغيّر الأسعار مع الوقت |
| اكتشاف اتجاهات المنتجات | فرق التسويق، مدراء المنتجات | المنتجات الجديدة، الفئات الصاعدة، وتيرة المراجعات |
| استخبارات الإعلانات | مدراء PPC، فرق النمو | القوائم المموّلة، من يزايد، وتكرار الظهور الإعلاني |
| أبحاث البائعين والعملاء المحتملين | فرق المبيعات، B2B | التجار النشطون، البائعون الجدد الذين يدخلون الفئة |
| مراقبة MAP | مدراء العلامات التجارية | المتاجر التي تخالف سياسات الحد الأدنى للسعر المعلن |
| تتبع المخزون والتشكيلة | مدراء الفئات | توفر المخزون، والفجوات في تشكيلة المنتجات |
تستخدم الآن أدوات تسعير مدعومة بالذكاء الاصطناعي. وقد أعلنت شركات استثمرت في استخبارات التسعير التنافسي عن عوائد وصلت إلى 29 ضعفًا. أما Amazon فتركّث أسعارها تقريبًا كل 10 دقائق. إذا كنت لا تزال تتحقق من أسعار المنافسين يدويًا، فالحسابات ليست في صالحك.
Thunderbit هي إضافة Chrome من نوع AI Web Scraper تساعد المستخدمين على استخراج البيانات من المواقع باستخدام الذكاء الاصطناعي. وهي مفيدة بشكل خاص لمشغلي التجارة الإلكترونية، ومحللي التسعير، والمسوقين الذين يريدون بيانات Google Shopping منظمة دون كتابة كود.
ما البيانات التي يمكنك استخراجها فعليًا من Google Shopping؟
قبل أن تختار أداة أو تكتب سطر كود واحد، من المفيد أن تعرف بالضبط ما الحقول المتاحة — وأيها يحتاج إلى جهد إضافي للوصول إليه.
الحقول المتاحة من نتائج بحث Google Shopping
عند إجراء بحث في Google Shopping، تتضمن كل بطاقة منتج في صفحة النتائج:
| الحقل | النوع | مثال | ملاحظات |
|---|---|---|---|
| عنوان المنتج | نص | "Sony WH-1000XM5 Wireless Headphones" | متاح دائمًا |
| السعر | رقم | $278.00 | قد يظهر سعر التخفيض مع السعر الأصلي |
| البائع/المتجر | نص | "Best Buy" | قد يوجد أكثر من بائع لنفس المنتج |
| التقييم | رقم | 4.7 | من 5 نجوم؛ لا يظهر دائمًا |
| عدد المراجعات | رقم | 12,453 | قد يغيب أحيانًا للمنتجات الأحدث |
| رابط صورة المنتج | URL | https://... | قد يعود كعنصر نائب base64 عند التحميل الأول |
| رابط المنتج | URL | https://... | يوجّه إلى صفحة المنتج في Google أو إلى المتجر مباشرة |
| معلومات الشحن | نص | "شحن مجاني" | لا تظهر دائمًا |
| علامة ممول | Boolean | نعم/لا | تشير إلى موضع مدفوع — مفيد لاستخبارات الإعلانات |
الحقول المتاحة من صفحات تفاصيل المنتج (بيانات الصفحات الفرعية)
إذا فتحت صفحة التفاصيل الخاصة بمنتج معين داخل Google Shopping، يمكنك الوصول إلى بيانات أغنى:
| الحقل | النوع | ملاحظات |
|---|---|---|
| الوصف الكامل | نص | يتطلب زيارة صفحة المنتج |
| جميع أسعار البائعين | رقم (متعدد) | مقارنة أسعار جنبًا إلى جنب بين المتاجر |
| المواصفات | نص | تختلف حسب فئة المنتج (الأبعاد، الوزن، إلخ) |
| نص المراجعات الفردية | نص | المحتوى الكامل لمراجعات المشترين |
| ملخصات الإيجابيات/السلبيات | نص | تنشئها Google تلقائيًا أحيانًا |
الوصول إلى هذه الحقول يعني زيارة الصفحة الفرعية لكل منتج بعد استخراج نتائج البحث. الأدوات التي تدعم تتولى هذا تلقائيًا — وسأشرح سير العمل أدناه.
ثلاث طرق لاستخراج بيانات Google Shopping (اختر ما يناسبك)

ثلاث طرق، مرتبة من الأسهل إلى الأكثر تقنية. اختر الصف المناسب لحالتك وانتقل مباشرة إليه:
| الطريقة | مستوى المهارة | وقت الإعداد | التعامل مع الحماية من الروبوتات | الأفضل لـ |
|---|---|---|---|---|
| بدون كود (Thunderbit إضافة Chrome) | مبتدئ | حوالي دقيقتين | تُدار تلقائيًا | فرق التجارة الإلكترونية، المسوقون، الأبحاث السريعة |
| Python + SERP API | متوسط | حوالي 30 دقيقة | تتكفل بها واجهة الـ API | المطورون الذين يحتاجون وصولًا برمجيًا ومتكررًا |
| Python + Playwright (أتمتة المتصفح) | متقدم | ساعة أو أكثر | تديره بنفسك | خطوط العمل المخصصة، والتعامل مع الحالات الخاصة |
الطريقة 1: استخراج بيانات Google Shopping بدون كود (باستخدام Thunderbit)
- مستوى الصعوبة: مبتدئ
- الوقت المطلوب: حوالي 2–5 دقائق
- ما تحتاجه: متصفح Chrome، (النسخة المجانية كافية)، واستعلام بحث في Google Shopping
هذا أسرع طريق من "أحتاج بيانات Google Shopping" إلى "هذا ملف الجدول الخاص بي". لا كود، لا مفاتيح API، لا إعدادات بروكسي. شرحت هذه الخطوات لزملاء غير تقنيين عشرات المرات — ولم يتعثر أحد.
الخطوة 1: ثبّت Thunderbit وافتح Google Shopping
ثبّت من Chrome Web Store وأنشئ حسابًا مجانيًا.
ثم انتقل إلى Google Shopping. يمكنك إما الذهاب مباشرة إلى shopping.google.com أو استخدام تبويب Shopping داخل بحث Google العادي. ابحث عن أي منتج أو فئة تهتم بها — مثلًا، "wireless noise-cancelling headphones".
سترى شبكة من القوائم مع الأسعار والبائعين والتقييمات.
الخطوة 2: اضغط على "AI Suggest Fields" لاكتشاف الأعمدة تلقائيًا
انقر على أيقونة إضافة Thunderbit لفتح الشريط الجانبي، ثم اضغط "AI Suggest Fields". يقوم الذكاء الاصطناعي بفحص صفحة Google Shopping ويقترح الأعمدة: عنوان المنتج، السعر، البائع، التقييم، عدد المراجعات، رابط الصورة، ورابط المنتج.
راجع الحقول المقترحة. يمكنك إعادة تسمية الأعمدة، حذف ما لا تحتاجه، أو إضافة حقول مخصصة. وإذا أردت شيئًا محددًا — مثل "استخرج الرقم فقط من السعر بدون رمز العملة" — يمكنك إضافة Field AI Prompt لذلك العمود.
يجب أن ترى معاينة لبنية الأعمدة داخل لوحة Thunderbit.
الخطوة 3: اضغط "Scrape" وراجع النتائج
اضغط زر "Scrape" الأزرق. يسحب Thunderbit كل قائمة منتجات ظاهرة إلى جدول منظم.
هل هناك عدة صفحات؟ Thunderbit يتعامل مع التصفح بين الصفحات تلقائيًا — سواء عبر النقر على الصفحات أو التمرير لتحميل المزيد من النتائج حسب تصميم الصفحة. إذا كانت النتائج كثيرة، يمكنك الاختيار بين Cloud Scraping (أسرع، يدعم حتى 50 صفحة في المرة، ويعمل عبر البنية التحتية الموزعة الخاصة بـ Thunderbit) أو Browser Scraping (يستخدم جلسة Chrome الخاصة بك — وهو مفيد إذا كانت Google تعرض نتائج مرتبطة بالمنطقة أو تتطلب تسجيل دخول).
في اختباري، استغرق استخراج 50 قائمة منتجات حوالي 30 ثانية. أما تنفيذ نفس المهمة يدويًا — فتح كل قائمة، نسخ العنوان والسعر والبائع والتقييم — فكان سيأخذ مني أكثر من 20 دقيقة.
الخطوة 4: إثراء البيانات عبر استخراج الصفحات الفرعية
بعد الاستخراج الأولي، اضغط "Scrape Subpages" داخل لوحة Thunderbit. يزور الذكاء الاصطناعي صفحة تفاصيل كل منتج ويضيف حقولًا إضافية — الوصف الكامل، جميع أسعار البائعين، المواصفات، والمراجعات — إلى الجدول الأصلي.
لا حاجة لإعدادات إضافية — الذكاء الاصطناعي يفهم بنية صفحة التفاصيل ويجلب البيانات المناسبة. لقد أنشأت مصفوفة كاملة للتسعير التنافسي (المنتج + أسعار جميع البائعين + المواصفات) لـ 40 منتجًا في أقل من 5 دقائق بهذه الطريقة.
الخطوة 5: التصدير إلى Google Sheets أو Excel أو Airtable أو Notion
اضغط "Export" واختر وجهتك — ، أو Excel، أو Airtable، أو Notion. كلها مجانية. كما تتوفر أيضًا تنزيلات CSV وJSON.
نقرتان للاستخراج، ونقرة واحدة للتصدير. أما سكربت Python المكافئ؟ حوالي 60 سطر كود، وإعداد بروكسي، والتعامل مع CAPTCHA، وصيانة مستمرة.
الطريقة 2: استخراج بيانات Google Shopping باستخدام Python + SERP API
- مستوى الصعوبة: متوسط
- الوقت المطلوب: حوالي 30 دقيقة
- ما تحتاجه: Python 3.10+، ومكتبتا
requestsوpandas، ومفتاح SERP API (مثل ScraperAPI أو SerpApi أو ما شابه)
إذا كنت تحتاج وصولًا برمجيًا يمكن تكراره إلى بيانات Google Shopping، فإن SERP API هو الخيار الأكثر موثوقية باستخدام Python. وسائل الحماية من الروبوتات، وعرض JavaScript، وتدوير البروكسيات — كلها تُدار في الخلفية. أنت ترسل طلب HTTP، وتحصل على JSON منظم.
الخطوة 1: إعداد بيئة Python
ثبّت Python 3.12 (الخيار الافتراضي الأكثر أمانًا للإنتاج في 2025–2026) والحزم المطلوبة:
1pip install requests pandas
سجّل لدى مزود SERP API. يوفّر 100 عملية بحث مجانية شهريًا؛ و يمنحك 5,000 رصيد مجاني. خذ مفتاح API من لوحة التحكم.
الخطوة 2: إعداد طلب الـ API
إليك مثالًا بسيطًا باستخدام نقطة نهاية Google Shopping في ScraperAPI:
1import requests
2import pandas as pd
3API_KEY = "YOUR_API_KEY"
4query = "wireless noise cancelling headphones"
5resp = requests.get(
6 "https://api.scraperapi.com/structured/google/shopping",
7 params={"api_key": API_KEY, "query": query, "country_code": "us"}
8)
9data = resp.json()
تعيد الـ API بيانات JSON منظمة تتضمن حقولًا مثل title وprice وlink وthumbnail وsource (البائع) وrating.
الخطوة 3: تحليل JSON واستخراج الحقول
1products = data.get("shopping_results", [])
2rows = []
3for p in products:
4 rows.append({
5 "title": p.get("title"),
6 "price": p.get("price"),
7 "seller": p.get("source"),
8 "rating": p.get("rating"),
9 "reviews": p.get("reviews"),
10 "link": p.get("link"),
11 "thumbnail": p.get("thumbnail"),
12 })
13df = pd.DataFrame(rows)
الخطوة 4: التصدير إلى CSV أو JSON
1df.to_csv("google_shopping_results.csv", index=False)
هذا مناسب للمعالجة على دفعات: يمكنك تكرار العملية على 50 كلمة مفتاحية وبناء مجموعة بيانات كاملة في تشغيل واحد للسكربت. لكن المقابل هو التكلفة — مزودو SERP API يحتسبون الرسوم لكل استعلام، ومع آلاف الاستعلامات يوميًا ترتفع الفاتورة سريعًا. المزيد عن التسعير لاحقًا.
الطريقة 3: استخراج بيانات Google Shopping باستخدام Python + Playwright (أتمتة المتصفح)
- مستوى الصعوبة: متقدم
- الوقت المطلوب: حوالي ساعة أو أكثر (مع صيانة مستمرة)
- ما تحتاجه: Python 3.10+، وPlaywright، وبروكسيات سكنية، وصبر
هذا هو أسلوب "التحكم الكامل". تشغّل متصفحًا حقيقيًا، وتنتقل إلى Google Shopping، وتستخرج البيانات من الصفحة بعد تحميلها. هو الأكثر مرونة، لكنه أيضًا الأكثر هشاشة — أنظمة Google المضادة للروبوتات صارمة، وبنية الصفحة تتغير عدة مرات في السنة.
تنبيه مهم: تحدثت مع مستخدمين أمضوا أسابيع في مواجهة CAPTCHAs وحظر الـ IP باستخدام هذا الأسلوب. نعم، ينجح، لكن توقّع صيانة مستمرة.
الخطوة 1: إعداد Playwright والبروكسيات
1pip install playwright
2playwright install chromium
ستحتاج إلى بروكسيات سكنية. عناوين IP الخاصة بمراكز البيانات تُحظر تقريبًا فورًا — وقد قال أحد المستخدمين في منتدى بصراحة: "كل عناوين AWS IP سيتم حظرها أو ستواجه CAPTCHA بعد أول/ثاني نتيجة." خدمات مثل Bright Data وOxylabs وDecodo توفّر مجموعات بروكسي سكنية تبدأ من حوالي 1–5 دولارات لكل جيجابايت.
اضبط Playwright مع user-agent واقعي والبروكسي الخاص بك:
1from playwright.sync_api import sync_playwright
2with sync_playwright() as p:
3 browser = p.chromium.launch(
4 headless=True,
5 proxy={"server": "http://your-proxy:port", "username": "user", "password": "pass"}
6 )
7 context = browser.new_context(
8 user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ..."
9 )
10 page = context.new_page()
الخطوة 2: الانتقال إلى Google Shopping والتعامل مع وسائل الحماية
ابنِ رابط Google Shopping وانتقل إليه:
1query = "wireless noise cancelling headphones"
2url = f"https://www.google.com/search?udm=28&q={query}&gl=us&hl=en"
3page.goto(url, wait_until="networkidle")
تعامل مع نافذة موافقة ملفات تعريف الارتباط في الاتحاد الأوروبي إذا ظهرت:
1try:
2 page.click("button#L2AGLb", timeout=3000)
3except:
4 pass
أضف فواصل زمنية شبيهة بسلوك الإنسان بين الخطوات — انتظر 2–5 ثوانٍ بشكل عشوائي بين تحميل صفحة وأخرى. أنظمة Google تكشف أنماط الطلبات السريعة والموحّدة.
الخطوة 3: التمرير والتنقل بين الصفحات واستخراج بيانات المنتجات
تُحمّل Google Shopping النتائج بشكل ديناميكي. مرّر الصفحة لتحفيز التحميل الكسول، ثم استخرج بطاقات المنتجات:
1import time, random
2# التمرير لتحميل جميع النتائج
3for _ in range(3):
4 page.evaluate("window.scrollBy(0, 1000)")
5 time.sleep(random.uniform(1.5, 3.0))
6# استخراج بطاقات المنتجات
7cards = page.query_selector_all("[jsname='ZvZkAe']")
8results = []
9for card in cards:
10 title = card.query_selector("h3")
11 price = card.query_selector("span.a8Pemb")
12 # ... استخراج الحقول الأخرى
13 results.append({
14 "title": title.inner_text() if title else None,
15 "price": price.inner_text() if price else None,
16 })
ملاحظة مهمة: أدوات CSS أعلاه تقريبية وستتغير. Google تغيّر أسماء الكلاسات باستمرار. تم توثيق ثلاث مجموعات مختلفة من المحددات بين 2024 و2026 فقط. اعتمد على خصائص أكثر ثباتًا مثل jsname وdata-cid وعلامات <h3> وimg[alt] بدلًا من أسماء الكلاسات.
الخطوة 4: الحفظ بصيغة CSV أو JSON
1import json
2from datetime import datetime
3filename = f"shopping_{datetime.now().strftime('%Y%m%d_%H%M')}.json"
4with open(filename, "w") as f:
5 json.dump(results, f, indent=2)
توقع أن تحتاج إلى صيانة هذا السكربت بانتظام. عندما تغيّر Google بنية الصفحة — وهذا يحدث عدة مرات كل عام — تتعطل المحددات وتعود إلى مرحلة التصحيح.
أكبر مشكلة: CAPTCHAs والحظر المضاد للروبوتات
من منتدى إلى آخر، القصة نفسها: "أمضيت بضعة أسابيع ثم استسلمت أمام طرق Google المضادة للروبوتات." CAPTCHAs وحظر الـ IP هما السبب الأول الذي يجعل الناس يتخلون عن أدوات Google Shopping المكتوبة يدويًا.
كيف تحظر Google أدوات الاستخراج (وما الذي يمكن فعله)
| التحدي المضاد للروبوتات | ما الذي تفعله Google | الحل البديل |
|---|---|---|
| بصمة الـ IP | تحظر عناوين IP الخاصة بمراكز البيانات بعد بضع طلبات | بروكسيات سكنية أو استخراج قائم على المتصفح |
| CAPTCHAs | تظهر بسبب الطلبات السريعة أو الآلية | تحديد السرعة (10–20 ثانية بين الطلبات)، وتأخيرات شبيهة بالبشر، وخدمات حل CAPTCHA |
| عرض JavaScript | يتم تحميل نتائج Shopping ديناميكيًا عبر JS | متصفح بلا واجهة (Playwright) أو API يعرض JavaScript |
| كشف user-agent | يحظر user-agents الشائعة للروبوتات | تدوير سلاسل user-agent واقعية ومحدثة |
| بصمة TLS | يكتشف بصمات TLS غير الخاصة بالمتصفح | استخدام curl_cffi مع انتحال المتصفح أو متصفح حقيقي |
| حظر IPات AWS/السحابة | يحظر نطاقات IP المعروفة لمزودي السحابة | تجنب عناوين IP لمراكز البيانات بالكامل |
في يناير 2025، جعلت Google تنفيذ JavaScript شرطًا إلزاميًا لنتائج SERP وShopping، — بما في ذلك خطوط العمل التي تستخدمها SemRush وSimilarWeb. ثم في سبتمبر 2025، أوقفت Google عناوين صفحات تفاصيل المنتجات القديمة، وحوّلتها إلى واجهة "Immersive Product" جديدة تُحمَّل عبر AJAX غير المتزامن. لذلك فإن أي شرح نُشر قبل أواخر 2025 أصبح إلى حد كبير قديمًا.
كيف تتعامل كل طريقة مع هذه التحديات
SERP APIs تتكفل بكل شيء في الخلفية — البروكسيات، العرض، وحل CAPTCHA. أنت لا تحتاج حتى للتفكير في ذلك.
Thunderbit Cloud Scraping يستخدم بنية سحابية موزعة عبر الولايات المتحدة والاتحاد الأوروبي وآسيا للتعامل تلقائيًا مع عرض JavaScript وإجراءات الحماية المضادة للروبوتات. أما وضع Browser Scraping فيستخدم جلسة Chrome المصادقة الخاصة بك، مما يتجاوز الاكتشاف لأنه يبدو كأنه مستخدم عادي يتصفح.
DIY Playwright يضع العبء كاملًا عليك — إدارة البروكسيات، ضبط التأخيرات، حل CAPTCHA، صيانة المحددات، والمتابعة المستمرة لأي خلل.
التكلفة الحقيقية لاستخراج بيانات Google Shopping: مقارنة صريحة
"50 دولارًا مقابل حوالي 20 ألف طلب… هذا مكلف قليلًا بالنسبة لمشروع هواية." هذا التعليق يتكرر باستمرار في المنتديات. لكن النقاش غالبًا يتجاهل أكبر تكلفة على الإطلاق.
جدول مقارنة التكاليف
| النهج | التكلفة الأولية | التكلفة لكل استعلام (تقديريًا) | عبء الصيانة | التكاليف الخفية |
|---|---|---|---|---|
| Python DIY (بدون بروكسي) | مجاني | 0$ | مرتفع جدًا (تعطل، CAPTCHAs) | وقتك في التصحيح |
| Python DIY + بروكسيات سكنية | الكود مجاني | حوالي 1–5 دولارات/GB | متوسط إلى مرتفع | رسوم مزوّد البروكسي |
| SERP API (SerpApi، ScraperAPI) | الطبقة المجانية محدودة | حوالي 0.50–5.00 دولار/1K استعلام | منخفض | يرتفع بسرعة مع الحجم |
| Thunderbit Chrome Extension | طبقة مجانية (6 صفحات) | قائم على الرصيد، حوالي 1 رصيد/صفحة | منخفض جدًا | خطة مدفوعة عند الحجم الكبير |
| Thunderbit Open API (Extract) | قائم على الرصيد | حوالي 20 رصيد/صفحة | منخفض | الدفع حسب كل عملية استخراج |
التكلفة الخفية التي يتجاهلها الجميع: وقتك
حل مجاني بـ 0 دولار يلتهم 40 ساعة من التصحيح ليس مجانيًا. إذا كانت الساعة بـ 50 دولارًا، فهذا يعني 2,000 دولار من العمل — من أجل أداة قد تتعطل مجددًا الشهر المقبل عندما تغيّر Google بنية DOM.

تشير دراسة McKinsey's Technology Outlook إلى أن نقطة التعادل بين البناء والشراء تظهر فقط بعد . دون هذا المستوى، فإن بناء الحل داخليًا "يستهلك الميزانية دون تحقيق عائد استثمار." بالنسبة لمعظم فرق التجارة الإلكترونية التي تنفّذ بضع مئات إلى بضعة آلاف من عمليات البحث أسبوعيًا، تكون الأداة بدون كود أو SERP API أكثر جدوى بكثير من بناء حل خاص.
كيفية إعداد مراقبة أسعار Google Shopping بشكل تلقائي
تعامل معظم الشروحات الاستخراج كأنه مهمة لمرة واحدة. لكن حالة الاستخدام الحقيقية لفرق التجارة الإلكترونية هي المراقبة المستمرة والمؤتمتة. أنت لا تحتاج أسعار اليوم فقط — بل أسعار الأمس والأسبوع الماضي وغدًا أيضًا.
إعداد الاستخراج المجدول باستخدام Thunderbit
تتيح لك ميزة Scheduled Scraper في Thunderbit وصف الفترة الزمنية بلغة بسيطة — "كل يوم الساعة 9 صباحًا" أو "كل إثنين وخميس عند الظهر" — ثم يحولها الذكاء الاصطناعي إلى جدول متكرر. أدخل روابط Google Shopping، واضغط "Schedule"، وانتهيت.
كل تشغيل يُصدَّر تلقائيًا إلى Google Sheets أو Airtable أو Notion. والنتيجة النهائية: جدول بيانات يمتلئ تلقائيًا يوميًا بأسعار المنافسين، جاهزًا للجداول المحورية أو التنبيهات.
لا cron jobs. لا إدارة خوادم. لا صداع Lambda. (رأيت منشورات من مطورين قضوا أيامًا يحاولون تشغيل Selenium على AWS Lambda — وجدول Thunderbit يتجاوز كل ذلك.)
لمزيد من التفاصيل حول بناء ، لدينا شرح منفصل ومتعمق.
الجدولة باستخدام Python (للمطورين)
إذا كنت تستخدم أسلوب SERP API، يمكنك جدولة التشغيل عبر cron jobs (Linux/Mac)، أو Windows Task Scheduler، أو مجدولات سحابية مثل AWS Lambda أو Google Cloud Functions. كما تعمل مكتبات Python مثل APScheduler أيضًا.
لكن المقابل هو أنك أصبحت مسؤولًا عن مراقبة صحة السكربت، ومعالجة الأعطال، وتدوير البروكسيات وفق جدول، وتحديث المحددات عندما تغيّر Google الصفحة. بالنسبة لمعظم الفرق، فإن الوقت الهندسي اللازم لصيانة سكربت Python مجدول يفوق تكلفة أداة مخصصة.
نصائح وأفضل الممارسات لاستخراج بيانات Google Shopping
بغض النظر عن الطريقة، هناك بعض الأمور التي ستوفر عليك كثيرًا من المتاعب.
احترم حدود المعدل
لا تغرق Google بمئات الطلبات السريعة — سيتم حظرك، وقد يبقى عنوان IP الخاص بك مميزًا لفترة. في الطرق اليدوية: اترك 10–20 ثانية بين الطلبات مع تذبذب عشوائي. الأدوات وواجهات API تتولى ذلك عنك.
اختر الطريقة وفقًا للحجم
دليل سريع لاتخاذ القرار:
- أقل من 10 استعلامات أسبوعيًا → Thunderbit ضمن الخطة المجانية أو SerpApi ضمن الخطة المجانية
- من 10 إلى 1,000 استعلام أسبوعيًا → خطة SERP API مدفوعة أو
- أكثر من 1,000 استعلام أسبوعيًا → خطة مؤسسات SERP API أو Thunderbit Open API
نظّف البيانات وتحقق منها
تأتي الأسعار مع رموز عملات، وتنسيقات محلية (1.299,00 € مقابل $1,299.00)، وأحيانًا رموز غير مرغوبة. استخدم Field AI Prompts في Thunderbit لتوحيدها عند الاستخراج، أو نظّفها لاحقًا باستخدام pandas:
1df["price_num"] = df["price"].str.replace(r"[^\d.]", "", regex=True).astype(float)
تحقق من التكرارات بين القوائم العضوية والقوائم الممولة — فغالبًا ما تتداخل. أزل التكرار باستخدام الزوج (title, price, seller).
اعرف الإطار القانوني
يُنظر عمومًا إلى استخراج البيانات المتاحة للعامة على أنه قانوني، لكن المشهد القانوني يتغير بسرعة. أهم تطور حديث: بموجب DMCA § 1201 بدعوى تجاوز نظام الحماية "SearchGuard" المضاد للاستخراج. هذه زاوية تنفيذ جديدة تتجاوز الدفوع التي استقرّت في قضايا سابقة مثل hiQ v. LinkedIn وVan Buren v. United States.
إرشادات عملية:
- استخرج البيانات المتاحة للعامة فقط — لا تسجل الدخول للوصول إلى محتوى مقيد
- لا تستخرج معلومات شخصية (أسماء المراجعين، تفاصيل الحساب)
- انتبه إلى أن شروط خدمة Google تحظر الوصول الآلي — استخدام SERP API أو إضافة متصفح يقلل المناطق الرمادية القانونية لكنه لا يلغيها
- بالنسبة للعمليات داخل الاتحاد الأوروبي، ضع GDPR في الاعتبار، رغم أن قوائم المنتجات في الغالب بيانات تجارية غير شخصية
- فكّر في استشارة مستشار قانوني إذا كنت تبني منتجًا تجاريًا يعتمد على البيانات المستخرجة
لمزيد من التعمق في ، تناولنا الموضوع بشكل منفصل.
أي طريقة يجب أن تستخدم لاستخراج بيانات Google Shopping؟
بعد تجربة الطرق الثلاث على الفئات نفسها من المنتجات، هذا ما توصلت إليه:
إذا كنت مستخدمًا غير تقني وتحتاج البيانات بسرعة — استخدم Thunderbit. افتح Google Shopping، انقر مرتين، ثم صدّر. ستحصل على جدول بيانات نظيف في أقل من 5 دقائق. تتيح لك تجربته دون التزام، كما تمنحك ميزة استخراج الصفحات الفرعية بيانات أغنى من معظم سكربتات Python.
إذا كنت مطورًا وتحتاج وصولًا برمجيًا يمكن تكراره — استخدم SERP API. الموثوقية تستحق تكلفة كل استعلام، وأنت تتجنب كل متاعب الحماية من الروبوتات. SerpApi يملك أفضل توثيق؛ وScraperAPI يملك أكثر طبقة مجانية سخاءً.
إذا كنت تحتاج أقصى درجات التحكم وتبني خط عمل مخصص — Playwright خيار ممكن، لكن ادخل وأنت واعٍ لما ينتظرك. خصص وقتًا كبيرًا لإدارة البروكسيات، وصيانة المحددات، والتعامل مع CAPTCHA. في 2025–2026، الحد الأدنى العملي للتجاوز هو curl_cffi مع انتحال Chrome + بروكسيات سكنية + فواصل 10–20 ثانية. أما سكربت requests بسيط مع تدوير user-agents فقد أصبح منتهيًا.
أفضل طريقة هي التي تمنحك بيانات دقيقة دون أن تلتهم أسبوعك. بالنسبة لمعظم الناس، هذا ليس سكربت Python من 60 سطرًا — بل نقرتان فقط.
اطّلع على إذا كنت تحتاج حجمًا كبيرًا، أو شاهد شروحاتنا على لترى سير العمل عمليًا.
الأسئلة الشائعة
هل من القانوني استخراج بيانات Google Shopping؟
يُعد استخراج البيانات المتاحة للعامة قانونيًا بشكل عام وفق سوابق مثل hiQ v. LinkedIn وVan Buren v. United States. لكن شروط خدمة Google تحظر الوصول الآلي، كما أن دعوى Google ضد SerpApi في ديسمبر 2025 أضافت نظرية جديدة تحت DMCA § 1201 تتعلق بتجاوز أنظمة الحماية. استخدام أدوات وواجهات API موثوقة يقلل المخاطر. وفي حالات الاستخدام التجارية، يُنصح باستشارة محامٍ.
هل يمكنني استخراج Google Shopping دون أن يتم حجبي؟
نعم، لكن الطريقة مهمة. SERP APIs تتعامل مع إجراءات الحماية تلقائيًا. Thunderbit Cloud Scraping يستخدم بنية موزعة لتجنب الحظر، بينما يستخدم وضع Browser Scraping جلسة Chrome الخاصة بك (فتبدو كأنها تصفح عادي). أما سكربتات Python اليدوية فتحتاج إلى بروكسيات سكنية وتأخيرات شبيهة بالبشر وإدارة بصمة TLS — وحتى مع ذلك فالحظر شائع.
ما أسهل طريقة لاستخراج بيانات Google Shopping؟
إضافة Thunderbit Chrome. انتقل إلى Google Shopping، اضغط "AI Suggest Fields"، ثم اضغط "Scrape"، وبعدها صدّر إلى Google Sheets أو Excel. لا كود، لا مفاتيح API، لا إعداد بروكسي. العملية كلها تستغرق حوالي دقيقتين.
كم مرة يمكنني استخراج Google Shopping لمراقبة الأسعار؟
مع Scheduled Scraper في Thunderbit، يمكنك إعداد مراقبة يومية أو أسبوعية أو بفترات مخصصة باستخدام وصف بسيط باللغة الإنجليزية. مع SERP APIs، يعتمد التكرار على حدود الرصيد في خطتك — معظم المزودين يوفرون ما يكفي للمراقبة اليومية لبضع مئات من المنتجات. أما السكربتات اليدوية فيمكنها العمل بقدر ما تسمح به البنية التحتية، لكن التكرار الأعلى يعني صداعًا أكبر مع أنظمة الحماية.
هل يمكنني تصدير بيانات Google Shopping إلى Google Sheets أو Excel؟
نعم. Thunderbit يصدّر مباشرة إلى Google Sheets وExcel وAirtable وNotion مجانًا. ويمكن لسكربتات Python التصدير إلى CSV أو JSON، ثم استيرادها بعد ذلك إلى أي أداة جداول. وللمراقبة المستمرة، تؤدي الصادرات المجدولة من Thunderbit إلى Google Sheets إلى إنشاء مجموعة بيانات حيّة تتحدث تلقائيًا.