لنغوص مباشرة في عالم استخراج بيانات الويب — وهو مصطلح قد يبدو تقنيًا قليلًا، لكنه في الحقيقة مفيد جدًا على أرض الواقع. ببساطة، يعني Web Scraping جمع المعلومات التي تحتاجها من المواقع الإلكترونية، مثل قوائم العقارات أو أسعار المنتجات أو حتى تعليقات وسائل التواصل الاجتماعي، ثم تنظيمها داخل Excel لسهولة العرض والتحليل.
طبعًا، يمكنك النسخ واللصق يدويًا، لكن تخيّل أن عليك فعل ذلك لمئات أو آلاف السجلات. هنا تبدأ الكفاءة في الهبوط بشكل واضح. بدلًا من ذلك، لماذا لا تترك أدوات الذكاء الاصطناعي تتولى الشغل الثقيل؟ اليوم سنعرّفك على ، وهي أداة ذكاء اصطناعي تجعل هذه المهمة أسهل بكثير.
ما هو Web Scraping؟
Web scraping هو أسلوب لجمع البيانات من المواقع الإلكترونية. سواء كنت تريد استخراج تفاصيل المنتجات من متجر إلكتروني أو بيانات الإيجارات من منصة عقارية، فإن Web scraping يتيح لك أتمتة هذه المهام وتنظيم البيانات في جداول يمكنك استيرادها بسهولة إلى Excel.
تقليديًا، هناك طريقتان أساسيتان لاستخراج البيانات من المواقع. الأولى تعتمد على البرمجة، وقد تكون صعبة إذا لم تكن مطورًا. أما الثانية فتستخدم أدوات no-code مثل ، لكنها قد تكون معقدة في الإعداد. وغالبًا ما تأتي هذه الأدوات بقوالب لمواقع مشهورة مثل ، لكن في الواقع العملي قد تحتاج إلى استخراج بيانات من مواقع متنوعة وفريدة، مثل الأدلة التجارية أو متاجر Shopify. بالنسبة لهذه المواقع المعقدة والمتنوعة، يكون استخدام الذكاء الاصطناعي في Web scraping خيارًا أذكى.
لماذا نستخدم الذكاء الاصطناعي لاستخراج بيانات المواقع؟
استخدام الذكاء الاصطناعي لاستخراج بيانات المواقع هو أسلوب أذكى وأكثر كفاءة. فالأدوات المعتمدة على الذكاء الاصطناعي تستطيع التعرّف تلقائيًا على بنية البيانات وأنماطها داخل صفحات الويب. وهي تعمل عبر قراءة الموقع ثم إخراج بيانات منظمة مباشرة، ما يمكّنها من التعامل مع المحتوى الديناميكي والتكيّف مع تغييرات تصميم الصفحات، مع تقديم نتائج دقيقة بسرعة. والأفضل من ذلك أنها لا تحتاج إلى خلفية تقنية — فقط بضع نقرات، ويمكنك استيراد البيانات المستخرجة مباشرة إلى Excel أو Notion أو Airtable لمزيد من التحليل والاستخدام. هو أحد هذه الأدوات، وسنستعرض ميزاته وطريقة استخدامه.
جرّب استخدام الذكاء الاصطناعي في Web Scraping
جرّبه بنفسك! يمكنك النقر والاستكشاف وتشغيل سير العمل أثناء المشاهدة.
التعريف بـ Thunderbit - أداة AI Web Scraper
إليك نجم اليوم: . إنها أداة AI Web Scraper ذكية قادرة على التعامل مع المواقع المشهورة عبر أدوات استخراج جاهزة مسبقًا، وكذلك المواقع الأكثر تعقيدًا عبر Custom Instructions، لتلبي مختلف الاحتياجات.
- Web Scraper جاهز مسبقًا توفر أدوات Web Scraper معدّة مسبقًا ومصممة خصيصًا لاستخراج البيانات من مواقع شائعة مثل ، ، و. كل ما عليك هو اختيار القالب، وبضع نقرات فقط تكفي لاستخراج بيانات الموقع إلى Excel.
- Custom Instructions
للمواقع الأكثر تعقيدًا، يمكنك استخدام ميزة Column Detailed Instructions في Thunderbit لتحديد ما تريد استخراجه بدقة. على سبيل المثال، إذا كنت تحتاج فقط إلى المدينة والولاية من عنوان ما، يمكنك إضافة تعليمات مفصلة مثل: "أحتاج فقط إلى المدينة والولاية. مثلًا: San Francisco, CA"، وستطابق البيانات المصدّرة ما طلبته.
دليل خطوة بخطوة لاستخراج البيانات من المواقع إلى Excel
استخراج البيانات من المواقع الشهيرة (Amazon، Zillow، Twitter، Instagram، وغيرها)
إليك كيفية استخدام لاستخراج البيانات من المواقع وتصديرها إلى Excel.
- كيفية إعداد Thunderbit
توجّه إلى موقع وأضِفه كإضافة على Chrome.
- استخراج البيانات
افتح الموقع الذي تريد استخراجه، مثل أو . سيظهر القالب الجاهز تلقائيًا، وما عليك سوى النقر على "Scrape". سيقوم الذكاء الاصطناعي بتحديد المعلومات المفيدة في الصفحة، مثل أسماء المنتجات وأسعارها.
- اختيار صيغة الإخراج
بعد الاستخراج، اختر صيغة التصدير المناسبة، مثل Excel، لتنظيم البيانات بسهولة. ويمكنك أيضًا نسخها ولصقها في Google Sheets.
استخراج أي موقع
ماذا لو لم يكن الموقع الذي تريد استخراجه ضمن قائمة القوالب؟ لا تقلق، استخدم ميزة Custom Instructions في لتجعل الإعداد أكثر مرونة:
- إعداد قالب AI Scraper
انقر على "AI Suggest Columns"، وسيمرّ الذكاء الاصطناعي على الموقع كاملًا ويستخرج تلقائيًا أعمدة مثل أسعار المنتجات والأوصاف والمراجعات.
إذا لم تعجبك أسماء الأعمدة التي اقترحها الذكاء الاصطناعي، يمكنك تخصيص تنسيق كل عمود، مثل الأرقام أو التواريخ أو النصوص أو الاختيارات المفردة أو المتعددة.
بالإضافة إلى ذلك، انقر على "Add column detailed instruction" لإضافة وصف أكثر تفصيلًا، لضمان أن الذكاء الاصطناعي يلتقط ما تحتاجه بدقة. على سبيل المثال، أدخل: "أحتاج فقط إلى المدينة والولاية. مثلًا: San Francisco, CA"، وستكون البيانات المصدّرة بالتنسيق المطلوب.
- الربط بجدولك
بعد استخراج البيانات، انقر على "Download CSV" لاستيرادها مباشرة إلى Excel. أو اختر "Save to…" لمزامنة النتائج مع Notion وAirtable وGoogle Sheets وأدوات أخرى للوصول إليها بسهولة.
حالات استخدام Thunderbit
توليد العملاء المحتملين
لنفترض أنك تعمل في شركة برمجيات تعليمية وتحتاج إلى العثور على معلومات التواصل الخاصة بأساتذة الجامعات للترويج لمنتجك. غالبًا ما لا تحتوي مواقع الكليات على قوالب جاهزة، ما يجعل ميزة الاستخراج التلقائي في Thunderbit خيارًا مثاليًا. في خطوتين فقط، يمكنك استخراج البيانات من المواقع إلى Excel لدعم توليد العملاء المحتملين. إليك مثالًا على استخراج معلومات الأساتذة:
- استخراج قائمة أعضاء هيئة التدريس في UC Berkeley باستخدام Thunderbit: افتح الصفحة التي تريد استخراجها وشغّل Thunderbit. عند النقر على "AI Suggest Column"، سيقرأ الذكاء الاصطناعي صفحة الويب ويحدد تلقائيًا الأعمدة التي تحتاجها، مثل أسماء الأساتذة والبريد الإلكتروني ومجالات البحث.
- تصدير البيانات: انقر على "Scrape"، وسيستخرج Thunderbit البيانات وفق أسماء الأعمدة المحددة. ثم انقر على "Download CSV" لاستيراد البيانات مباشرة إلى Excel، أو انسخها والصقها في Google Sheet.
التجارة الإلكترونية
يحتاج بائعو التجارة الإلكترونية إلى متابعة أسعار المنافسين وتفاصيل المنتجات في الوقت الحقيقي. يمكنك استخراج معلومات المنتجات من متاجر أو بما في ذلك الأسعار والمخزون والتقييمات لتحليل اتجاهات السوق بسرعة. وفي التجارة الإلكترونية توجد حالتا استخدام: المنصات الضخمة مثل Amazon، حيث يمكنك استخدام القوالب الجاهزة للاستخراج بنقرة واحدة، ومتاجر Shopify المتنوعة، حيث يمكنك استخدام Custom Instructions.
- Amazon
افتح موقع ، وانقر على صفحة المنتج التي تريد استخراجها، وستظهر أيقونة القالب الجاهز تلقائيًا، بما في ذلك أداة استخراج تفاصيل Amazon SKU وأداة استخراج مراجعات Amazon SKU. اختر النوع الذي تريده ثم انقر على "Scrape".
- متاجر Shopify
بالنسبة لمتاجر Shopify ذات الواجهات المتنوعة، استخدم ميزة Custom Instructions المعتمدة على الذكاء الاصطناعي. افتح صفحة متجر Shopify التي تهمك، ثم انقر على أيقونة إضافة Thunderbit في الزاوية اليمنى العليا، وشغّل Thunderbit، ثم انقر على "AI Suggest Column". سيحدّد الذكاء الاصطناعي تلقائيًا البيانات التي تحتاجها: أسماء المنتجات، الأسعار، المراجعات، وغيرها.
ثم انقر على "Scrape" لاستيراد البيانات إلى Excel. ويمكنك أيضًا اختيار "Copy with headers" أو "Copy without headers" للصق البيانات مباشرة في Excel.
العقارات
إذا كنت وكيلًا عقاريًا أو مستثمرًا، فأنت بحاجة إلى تنظيم القوائم العقارية من مناطق مختلفة. بالنسبة لمواقع العقارات الشهيرة مثل Zillow، يمكنك استخدام القوالب الجاهزة لاستخراج البيانات بنقرة واحدة. أما لمواقع شركات العقارات مثل ، فيمكنك استخدام ميزة Custom Instructions.
- Zillow
ابتكرت Thunderbit قوالب جاهزة للمواقع الشهيرة الكبرى، مع أسماء أعمدة غنية مثل المدينة والولاية والسعر والعنوان وغيرها. والنتيجة جدول بيانات مفصل وواضح. استخدم القالب الجاهز من Thunderbit لاستخراج بيانات العقارات من Zillow وتنظيمها في ملف Excel بشكل واضح وفعّال. كما هو موضح في الصورة، كل ما عليك هو فتح ، والبحث عن المعلومات التي تريد استخراجها، وستظهر تلقائيًا نافذة "Use Pre-built template". انقر على التأكيد، وستحصل على بيانات غنية.
- Equity Apartments
غالبًا ما تحدّث مواقع شركات العقارات أحدث القوائم، لكن موقع كل شركة يختلف عن الآخر، وقد لا يحتوي إلا على عشرات القوائم فقط. في هذه الحالة، لن تكون أدوات Web scraping التقليدية مناسبة، لأن الوقت اللازم لإعداد أداة استخراج قد يكون أطول من مجرد نسخ البيانات ولصقها في Excel. لذلك، فإن AI Web Scraper هو الخيار الأفضل، إذ يتيح لك استخراج القوائم من الموقع بضغطتين فقط.
-
يحدد الذكاء الاصطناعي أسماء البيانات المراد استخراجها: افتح الموقع الذي تحتاج إلى استخراجه، وانقر على AI Web Scraper، ثم على AI Suggest Columns. سيقرأ الذكاء الاصطناعي الصفحة كاملة ويولّد أسماء أعمدة مقترحة مثل اسم الشقة والعنوان ورقم الهاتف وغيرها.
-
انقر على Scrape: بعد ضبط الأعمدة، انقر على "Scrape". وبعد توليد البيانات، انقر على "Download CSV" لفتح البيانات في Excel. ويمكنك أيضًا اختيار "Copy with headers" أو "Copy without headers" للصق البيانات مباشرة في Excel.
نصائح لاستخدام Thunderbit
إليك بعض النصائح التي تساعدك على استخدام بكفاءة أعلى:
- AI Suggest Columns
هل تريد استخراج صفحة ويب بدون قالب، لكنك لا تعرف كيف تصنّف البيانات؟ لا مشكلة، اترك الأمر لـ AI Suggest Columns. افتح الصفحة التي تريد استخراجها، وانقر على AI Web Scraper، ثم على AI Suggest Columns. سيقرأ Thunderbit الصفحة كاملة ويقترح تلقائيًا أعمدة بيانات محتملة مثل السعر والتاريخ والعنوان، مما يقلل عناء الإعداد اليدوي.
إذا لم تكن راضيًا عن نتائج AI Suggest Columns، يمكنك تعديل أعمدة البيانات يدويًا، مثل تغيير أسماء الأعمدة وضبط صيغة القراءة. ويمكن أن تكون صيغة البيانات أرقامًا أو نصوصًا أو اختيارات مفردة أو متعددة أو صورًا. كما يمكنك إضافة تعليمات تفصيلية للعمود وإدخال أوامر تخبر الذكاء الاصطناعي بما تحتاجه تحديدًا. وسيستخرج البيانات المطلوبة وفقًا لمتطلباتك.
- الدمج مع Notion وAirtable وGoogle Sheet
يمكن نسخ البيانات المصدّرة مع العناوين أو بدونها، مما يتيح لك لصقها في Excel. بالإضافة إلى ذلك، يمكن لـ Thunderbit العمل بانسجام مع أدوات أخرى، ومزامنة البيانات المستخرجة بسلاسة مع أدوات الإنتاجية مثل Notion وAirtable، ما يجعله مثاليًا للمشاريع طويلة الأمد أو للعمل الجماعي.
كما يمكن فتح البيانات المصدّرة مباشرة في Google Sheets للاستخدام الشخصي.
- استخراج PDF
إلى جانب بيانات الويب العادية، يستطيع أيضًا التعرّف على ملفات PDF على الويب. قد تبدو ملفات PDF منظمة، لكنها في الواقع تحتوي على أنواع متعددة من البيانات مثل النصوص والجداول والصور. واستخدام أداة تقليدية لاستخراج بيانات PDF قد يكون معقدًا. لكن مع Thunderbit يصبح استخراج البيانات من ملفات PDF أمرًا سهلًا. وكما ذكرت في مقالتي ، يمكنك أيضًا استخدام Thunderbit لاستخراج بيانات ملفات PDF على الويب إلى Excel.
لا داعي بعد الآن للانشغال بالتنظيم اليدوي المرهق للبيانات. سواء كانت مواقع شهيرة مثل Amazon وZillow أو أي موقع متخصص تريد استخراجه، فاترك المهمة لـ . هذه الأداة المعتمدة على الذكاء الاصطناعي تساعدك على إنجاز كل ما يتعلق بـ "استخراج بيانات المواقع إلى Excel" بسهولة. جرّبها، وستكتشف أن استخراج البيانات لم يكن يومًا بهذه البساطة والكفاءة.
الأسئلة الشائعة
- هل يمكنني استخراج البيانات من أي موقع باستخدام Thunderbit؟
نعم، يتيح Thunderbit للمستخدمين استخراج البيانات من أي موقع باستخدام ميزة التعليمات المخصصة. يمكن للمستخدم تحديد البيانات التي يريد استخراجها بدقة، وسينشئ الذكاء الاصطناعي المخرجات اللازمة وفقًا لذلك.
- ما أنواع البيانات التي يمكنني استخراجها باستخدام Thunderbit؟
يمكنك استخراج أنواع متعددة من البيانات، بما في ذلك أسماء المنتجات والأسعار والأوصاف ومعلومات التواصل والمزيد. ويمكن للذكاء الاصطناعي في Thunderbit اقتراح الأعمدة المناسبة بناءً على محتوى الموقع الذي يتم استخراجه.
- كيف يمكنني تصدير البيانات المستخرجة؟
بعد الاستخراج، يمكنك تصدير البيانات بسهولة بصيغ مثل CSV أو مباشرة إلى Excel. كما يتيح Thunderbit مزامنة البيانات المستخرجة مع أدوات مثل Notion أو Airtable لمزيد من التحليل.
- هل أحتاج إلى مهارات برمجة لاستخدام أدوات Web scraping؟
معظم الأدوات المعروضة هنا لا تتطلب مهارات برمجة، لكن أدوات مثل Octoparse وWeb Scraper قد تستفيد من امتلاك المستخدم معرفة أساسية ببنية الويب وعقلية برمجية لتحقيق أفضل استخدام.
- ما بعض حالات الاستخدام لاستخراج البيانات مع Thunderbit؟
تشمل حالات الاستخدام الشائعة توليد العملاء المحتملين (مثل استخراج معلومات أعضاء هيئة التدريس من مواقع الجامعات)، ومراقبة أسعار التجارة الإلكترونية (مثل متابعة المنافسين على Amazon)، وجمع بيانات العقارات (مثل استخراج القوائم العقارية من Zillow).
اعرف المزيد