أداة استخراج المقالات التي لا تفتح متصفحًا — ومع ذلك نظّفت صفحات الاختبار لديّ

معظم أدوات الاستخراج التي لفتت الأنظار هذا العام تريد تشغيل متصفح. أمّا trafilatura فلا تفعل ذلك. إنها مكتبة خالصة بـPython تقرأ HTML الثابت، وتحدّد أيّ المقاطع تمثّل المقال الفعلي، ثم تتخلّص من الباقي. هذه المهمة الضيقة — استخراج المحتوى الرئيسي — هي جوهر الأداة، وقد كانت تقوم بها منذ قبل أن يصبح تعبير "LLM-ready markdown" شائعًا أصلًا.

اختبرت الإصدار 2.1.0 على مجموعة ثابتة من الملفات التجريبية في Python 3.14، وكان اختبار المقالات هو أكثر ما بقي في ذهني. لففت نصًا حقيقيًا داخل عناصر الصفحة المعتادة — مطالبة تسجيل دخول، وتنبيه "Subscribe"، وروابط تنقّل، وتذييل حقوق نشر — ثم أعادت trafilatura إليّ العنوان، وجميع فقرات المتن الثلاث، واسم الكاتب، والتاريخ، مع اختفاء كل آثار النصوص التمهيدية. بلا متصفح، بلا قواعد خاصة بكل موقع، ومجرد استدعاء واحد للدالة. لكن هناك مفاجأة، وهي موجودة فعلًا، تظهر فور أن تطلب منها أي شيء منظّم. سأفصّل ذلك أدناه (وهي حدود تصميم، لا عيبًا في الأداة).

ما هي trafilatura، وما الفرضية التي يستحق الأمر التخلّي عنها

يصفها السطر التعريفي الرسمي بأنها "أداة Python وسطر أوامر لجمع النص والبيانات الوصفية من الويب: الزحف، والاستخراج، والتجميع"، مع إمكانية الإخراج بصيغ CSV وJSON وHTML وMarkdown وTXT وXML. هذا وصف واسع، لكنه يقلّل من أهمية الجزء الذي يميّز الأداة فعلًا. القيمة ليست في أدوات الزحف أو في صيغ الإخراج الست. القيمة في استخراج المحتوى: يدخل مستند HTML وتخرج منه نصوص المقال الرئيسي بعد نزع زينة الصفحة.

إليك النموذج الذهني، لأنه يشرح القوة والحدّ الفاصل في خطوة واحدة. معظم أدوات scraping التي تشير بها إلى صفحة تعمل عبر المحددات. تقول لها: "اجلب العنصر الذي يحمل الفئة product-price"، فتُرجع ما يوجد في ذلك الموضع. أما trafilatura فتسلك الاتجاه المعاكس. فهي تقرأ المستند كاملًا، ثم تقرّر أيّ المقاطع هي المقال وأيّها مجرد boilerplate، اعتمادًا على استدلالات المحتوى بدل المحدد الذي تكتبه يدويًا. لهذا السبب لا تحتاج إلى أي إعدادات خاصة بكل موقع لتنظيف صفحة لم ترها من قبل. ولذات السبب تحديدًا لا يمكنها إرجاع كتالوج منظّم: لا يوجد مخطط حقول ولا خريطة بيانات، بل مجرد حكم على ما يُعدّ محتوى. إنها أداة استخراج، لا محلّل بيانات موجّه.

وهي أيضًا خفيفة فعلًا. Python خالص، بلا متصفح headless، بلا ملف chromium ثنائي الحجم يختبئ في الكاش، ولا تثبيت Playwright ينتظرك ليظهر أول مرة تستخدمه. قد تبدو هذه النقطة ثانوية، إلى أن تبدأ الاستخراج عبر آلاف الروابط، وعندها يصبح كل ميغابايت من الاعتماديات وكل عملية فرعية أمرًا عليك إدارتُه. هذه الأداة تملك تقريبًا 6.26 آلاف نجمة حتى 2026-07-09 (adbar/trafilatura) — وهو مستودع أصغر بكثير من أطر العمل الخاصة بالمتصفحات والزواحف التي تُصنّف معه، وهذا يوضح نطاقه أكثر مما ينتقص من جودته.

الإعداد هو القسم القصير، وهذا بحد ذاته تقييم

التثبيت سطر واحد، ولا يوجد ما يستدعي التحذير، وهذه نقطة تستحق الذكر وحدها. الأمر pip install trafilatura داخل بيئة افتراضية جديدة جلب شجرة حزم نظيفة واحدة على Python 3.14 — بلا متصفح للتحميل، بلا خطوة ما بعد التثبيت، بلا جدار اعتماديات فرعية يعرقل العملية. راجعتُ ما يكفي من هذه المكتبات لأنتظر المفاجأة الثانية: حزمة متصفح بحجم 150MB لا تكتشفها إلا عند أول تشغيل، أو امتدادًا أصليًا لا يَقبل البناء، أو مجموعة [fetchers] إضافية لم يذكرها أحد. مع trafilatura، لم تظهر هذه المفاجأة أصلًا.

والإصدار الذي أعطاني إياه pip (2.1.0) يطابق الإصدار الحالي المنشور في 2026-06-07، لذلك لا توجد نجمة من نوع "اختبرت إصدارًا قديمًا" على الأرقام التالية. وهذا ليس مضمونًا دائمًا في هذا المجال — فالكثير من الأدوات الثقيلة التي راجعتها كانت متأخرة إصدارًا رئيسيًا أو أكثر عندما اختبرتها. هنا، النسخة التي اختبرتها هي نفسها النسخة التي تُشحن للناس.

تجربة عملية: ماذا أعاد المستخرج فعلًا

اختبرت trafilatura على ملفات تجريبية صُممت لتصيب نقطة قوّتها وحدودها معًا. واختبار المقال هو الذي حسم انطباعي عنها.

أخذت ملفًا محليًا لمقال ودفنت المحتوى الحقيقي وسط الضوضاء — مطالبة تسجيل دخول، ونداء "Subscribe"، وروابط التنقّل، وتذييل حقوق النشر، وهي تمامًا أنواع النصوص التمهيدية التي تسحبها أدوات scraping الساذجة مع المتن. أعادت trafilatura العنوان وجميع الفقرات الثلاث من أصل ثلاث، وكل علامة boilerplate فريدة — Login وSubscribe وCopyright — كانت غائبة تمامًا عن المخرجات. وإلى جانب النص، استخرجت اسم الكاتب والتاريخ من بيانات الصفحة الوصفية بشكل صحيح. وخرجت النتيجة بصيغ .txt و.md و.json من استدعاء واحد.

تفصيل تعدد الصيغ هذا مهم فعلًا. استخراج واحد نتج عنه نص عادي، وMarkdown، وJSON. مسار Markdown هو خطوة "نص جاهز لـLLM" التي يسعى إليها الجميع الآن: تزوّدها بصفحة فوضوية فتمنحك نثرًا نظيفًا مع الحفاظ على البنية، ثم تسلمه للنموذج. trafilatura تفعل ذلك من دون أي متصفح في الحلقة، وهي طريقة أهدأ للوصول إلى المخرج نفسه الذي تنشئه الأدوات المعتمدة على المتصفح بعد تشغيل طبقة عرض كاملة.

ثم جاء الفحص العلني. وجهتها إلى صفحة منتج حية — صفحة منتج من Books to Scrape — وأعادت 1,324 حرفًا من النص النظيف مع Markdown: كتلة الوصف، مقروءة، من دون زينة الصفحة. وعندما أرسلت لها صفحة تردّ بـHTTP 500، فإن fetch_url أعادت None بدلًا من رمي خطأ. لا انهيار، ولا تتبّع استدعاءات لاقتناصه. هذا السلوك الهادئ والصحيح في حالات الفشل هو بالضبط ما تريده في شيء يعمل بشكل غير تفاعلي وفق جدول زمني.

التحفظات

ثلاثة، وكل واحد منها يضيّق المجال المناسب للأداة.

أولًا، والأهم: trafilatura أداة لاستخراج المحتوى، وليست أداة scraping منظّمة. اختبرتها على ملف تجريبي لكتالوج يضم 12 منتجًا. أعادت جميع أسماء المنتجات الاثني عشر — كنص فقط — و0 صفوف منظمة (478 حرفًا من نص مسطّح). الأسماء والأسعار موجودة داخل المخرجات، لكنها ليست حقولًا. إذا كنت تحتاج [{name, price, rating}, …] فهذه ليست الأداة المناسبة، ولا يوجد مفتاح إعداد يغيّر ذلك. هذا قرار تصميم يحدد وظيفة الأداة، لا خطأً تحتاج إلى رفعه.

ثانيًا: هي لا تشغّل JavaScript. إنها تستهلك HTML ثابتًا فقط. إذا وجهتها إلى صفحة SPA تعتمد على العرض داخل المتصفح، فستحصل على ما أرسله الخادم قبل تشغيل JavaScript، وغالبًا لن يكون ذلك مفيدًا. اربطها بمحرّك عرض إذا كانت أهدافك تعتمد كثيرًا على JS — trafilatura لن تفعل هذا الجزء نيابةً عنك، وهي لا تدّعي ذلك أصلًا.

ثالثًا، ملاحظة على الأدلة التي استخدمتها أنا. اختبار الاستخراج العلني أعلاه اعتمد على كتلة وصف منتج، لا على مقال إخباري حقيقي، لأن البيئة العامة التي استخدمتها (عائلة toscrape) كلها كتالوجات ولا تحتوي على صفحات أخبار. نتيجة تنظيف المقال النظيفة جاءت من ملف محلي مضبوط ومتحكم فيه. أنا أثق بهذه النتيجة — إزالة boilerplate واضحة ولا لبس فيها وقابلة لإعادة الإنتاج — لكن صفحة منتج ليست دليلًا على استخراج بمستوى غرفة أخبار، لذلك لن أقدّمها على أنها كذلك.

ولإغلاق هذه الفجوة جزئيًا، أجريت عرضًا منفصلًا ومتعمّدًا دون نقاط تقييم على صفحتين حقيقيتين لمقالين، مع قراءة ملفات محفوظة كي تكون النتيجة حتمية. على مقالة Wikipedia بعنوان "Web scraping"، خفّضت trafilatura حجم المحتوى من 230,049 بايت من HTML الخام إلى 26,673 بايت من المحتوى المستخرج (نسبة جسم إلى خام قدرها 0.116)، واختفت جميع علامات زينة الصفحة الأربع التي فُحِصت — "Jump to content" و"Privacy policy" و"Powered by MediaWiki" و"This page was last edited". وعلى مقالة مؤرشفة من Wikinews، انتقلت من 79,716 بايت إلى 2,200 (نسبة 0.028)، مع اختفاء جميع العلامات الخمس التي فُحِصت. العنوان والتاريخ واسم المضيف ظهرت مملوءة في الحالتين؛ أما الكاتب واسم الموقع فظهرا null في الحالتين، وأذكر هذه الحالات الناقصة بدلًا من إخفائها. وهناك أمران مهمان هنا: نسبة البايتات تقيس مقدار إزالة الوسوم وزينة الصفحة، لا دقة الاستخراج، والصفحتان من نفس عائلة MediaWiki، لذا فهذا عرض على مقالات حقيقية وليس على عيّنة تمثيلية واسعة.

أما فيما يخص الدقة تحديدًا، فسأشير إلى دليل خارجي بدل الادعاء أنني قسته بنفسي. trafilatura تنشر صفحة تقييمها، وتذكر أعلى F1 بين الأدوات مفتوحة المصدر (حوالي 0.945) في مقارنة ScrapingHub لاستخراج المقالات مقارنةً بأدوات مثل readability-lxml (~0.887). وهناك توضيحان مهمان لهذا الرقم: فهو صادر عن ذلك المعيار، لا عن اختباري أنا، وهو مرتبط بسلسلة 0.5.1 الأقدم في المصدر، لا بالإصدار 2.1.0 الذي اختبرته. لذا اعتبره دليلًا خارجيًا على السمعة التي تتمتع بها الأداة، لا قياسًا مستخرجًا من هذه المراجعة.

المزايا والعيوب

المزايا:

• أنظف استخراج للمقالات في مجموعتي — العنوان مع 3 من 3 فقرات، وإزالة كل علامات boilerplate (Login/Subscribe/Copyright).
• تستخرج بيانات الكاتب والتاريخ بدقة إلى جانب المتن.
• إخراج متعدد الصيغ من استدعاء واحد: txt وMarkdown وJSON — وMarkdown خطوة حقيقية جاهزة لـLLM.
• تثبيت خفيف ومكتوب بـPython فقط — بلا متصفح، بلا تنزيل ثنائي، ولا جدار اعتماديات.
• فشل سلس: fetch_url تُرجع None عند HTTP 500 بدلًا من رمي استثناء.
• الإصدار المختبر يطابق الإصدار الحالي (2.1.0) — لا يوجد تباعد في النسخة.
• مرخّصة Apache-2.0 — مرنة ومناسبة للاستخدام التجاري.

العيوب:

• ليست أداة scraping منظّمة: اختبار الكتالوج أعاد 12 اسمًا كنص و0 صفوف مهيكلة. لا مخطط ولا حقول.
• لا يوجد عرض JavaScript — HTML ثابت فقط؛ وتحتاج إلى محرّك عرض منفصل للصفحات التي تعتمد على client-side.
• البيانات الوصفية جزئية في بعض المواقع: الكاتب واسم الموقع عادَا null في ملفي المقالات الحقيقيين اللذين اختبرتهما.
• اختبار النص العلني الذي أجرَيتُه اعتمد على كتلة وصف منتج، لا على مقال إخباري حقيقي.
• لم أختبر خلال هذه الجولة الزاحف المدمج للزحف/الخرائط sitemap أو صيغتي CSV/XML، لذلك لا أقدّم أي ادعاءات بشأنهما.

لمن تناسب، ومن الأفضل أن يتجاوزها

trafilatura موجّهة مباشرةً إلى الشخص الذي مشكلته هي: "لدي روابط URL وأريد نص المقال النظيف، من دون شريط التنقّل ولا لافتة الكوكيز ولا مزعج النشرة البريدية." بناء corpus نصي، تمرير الصفحات إلى نموذج، أرشفة المحتوى المقروء، وتشغيل NLP على مقالات الويب — هذا هو مجالها، وهي ممتازة فيه. إذا كنت تريد خطوة خفيفة بلا متصفح تحوّل HTML الفوضوي إلى Markdown أو JSON نظيف، فثبّتها وواصل يومك.

تجاوزها إذا كانت حاجتك الحقيقية هي استخراجًا منظّمًا: صفوف منتجات بأسعار، سجلات مُعنونة، أو حقول key: value. فهي تمنحك نصًا، لا جداول — اختبار الكتالوج استعاد الأسماء لكن ليس الصفوف، ولن يتغير هذا. وتجاوزها أيضًا إذا كانت أهدافك تعرض محتواها داخل المتصفح ولم تكن مستعدًا لإضافة محرّك عرض منفصل، لأن trafilatura تقرأ HTML الثابت وتتوقف عنده. وضع الفشل ليس دراميًا؛ ستحصل فقط على نتيجة فارغة أو ضعيفة وتتساءل عن السبب. اختر الأداة المناسبة للمهمة — نص مقالات، نعم؛ JSON منظّم أو صفحات معروضة عبر JS، فابحث في مكان آخر.

البدائل، وأين تأتي Thunderbit ضمن الصورة

جرّب Thunderbit لاستخراج بيانات الويب

أولًا، التوصيف العادل. trafilatura مكتبة مجانية، مرخّصة Apache-2.0، وتعمل محليًا بنفسك. أنت تملك الشفرة، ولا تدفع شيئًا لكل صفحة، وهي خفيفة بما يكفي لتوضع في أي خط معالجة من دون عبء تشغيلي. وفي المهمة المحددة المتمثلة في تحويل المقال إلى نص نظيف، من الصعب التفوق عليها، ولا يغيّر ذلك حتى وجود خدمة مدفوعة.

لكن المقارنة تصبح مثيرة فعلًا عند الحدّ الذي رسمته trafilatura عمدًا: البيانات المهيكلة وJavaScript. هذان الشيئان هما ما لا تفعله الأداة، وهما أيضًا بالضبط ما صُممت منصة استخراج مُدارة لاحتوائه. وهنا يأتي موقع Thunderbit في حزمة المطورين الخاصة بها — على الجانب الآخر من هذا الخط، لتكمّل trafilatura بدل أن تنافسها في نص المقالات الثابتة. نقطة النهاية /distill تؤدي نفس شكل المهمة الذي تؤديه trafilatura: صفحة إلى Markdown نظيف جاهز لـLLM، لكن مع معالجة JavaScript على الخادم، وهو الجزء نفسه الذي تتجاوزه trafilatura. و/extract تُرجع JSON منظّمًا وفق schema تحدده أنت، وهو الجانب الذي ترفضه trafilatura عمدًا: الكتالوج الذي عاد 478 حرفًا من نص مسطّح هو المثال الذي ستلجأ فيه إلى /extract بدلًا منها. ولعملاء الذكاء الاصطناعي ومساعدي البرمجة يوجد MCP server، وأداة اقتراح الحقول فيه مجانية للتجربة، كما توجد واجهة CLI عبر npx @thunderbit/thunderbit-cli لأعمال الطرفية وCI وcron. وهي تعمل على نفس المحرك الذي تستخدمه إضافة Thunderbit Chrome Extension التي يستخدمها أكثر من 100,000 شخص، لذا فهناك أيضًا مسار غير تقني، لكن لهذه الفئة تحديدًا تبقى API وMCP وCLI هي السطوح الأكثر أهمية.

إذًا، لم تكن الموازنة الحقيقية يومًا بين جودة استخراج النصوص — trafilatura تفوز في الصفحات التي صُممت لها، وأقول ذلك بوضوح. المسألة هي النطاق ومن يدير المتصفح. هل تحتاج نص مقال نظيفًا من HTML ثابت، على خادمك، وبتكلفة صفرية لكل استدعاء؟ trafilatura هي الأداة الأخف والأدق، بلا تردد. هل تحتاج JSON منظّمًا وفق schema، أو أن الصفحة لا تظهر إلا بعد تشغيل JavaScript؟ هذا هو مجال المنصة المُدارة، وليس نزاعًا تحاول trafilatura دخوله. يمكنك الاطلاع على الأسعار في صفحة تسعير Thunderbit إذا كنت تقارن بين تكلفة كل صفحة وبين تشغيل محرّك عرض بنفسك.

وإذا كنت تزن الخيارات عبر الفئة كلها، فأنا أحتفظ بمقارنة مستمرة لـأدوات web scraping التي أستخدمها فعلًا تضع هذه المكتبات إلى جانب البدائل المعتمدة على المتصفح والخدمات المُدارة.

الحكم النهائي

هل ينبغي عليك استخدام trafilatura؟ نعم — إذا كانت مهمتك تحويل HTML الفوضوي إلى نص مقال نظيف، وأنت واعٍ تمامًا للشيئين اللذين لا تفعلهما عمدًا. لقد نزعت من صفحة كل علامة boilerplate وأعادت العنوان وجميع فقرات المتن الثلاث واسم الكاتب والتاريخ، وكل ذلك من تثبيت خفيف واحد بلا متصفح على الإطلاق. وهي تُخرج txt وMarkdown وJSON معًا، ما يجعلها خطوة حقيقية جاهزة لـLLM. وفي مجال مقتنع بأنك تحتاج متصفحًا headless وزاحفًا ذكيًا لتفعل أي شيء، الأداة التي لم تفتح متصفحًا هي التي نظّفت ما يهمني.

لكن ضعها في حجمها الصحيح. إنها أداة استخراج، لا scraping منظّم — فعودة الكتالوج كانت 12 اسمًا كنص و0 صفوف. هي تقرأ HTML الثابت ولا تشغّل JavaScript. واستخراجها للبيانات الوصفية قوي في بعض الصفحات وجزئي في صفحات أخرى (اسم الكاتب واسم الموقع عادا null في كلا ملفي المقالات الحقيقيين اللذين فحصتهما). كما أن اختبار النص العلني الذي أجريته اعتمد على كتلة وصف منتج، لا على مقال إخباري حقيقي، لذا اعتبر ادعاء مستوى غرف الأخبار واعدًا لا محسومًا. داخل هذه الحدود، تؤدي trafilatura مهمتها الواحدة أنظف من الأدوات الأثقل التي قارنتها بها — وتفعل ذلك مع تثبيت شبه معدوم.

جرّب Thunderbit لاستخراج بيانات الويب Get Started Free

الأسئلة الشائعة

ماذا تستخرج trafilatura فعلًا من الصفحة؟ المحتوى الرئيسي — جسم المقال مع العنوان، وبيانات وصفية مثل الكاتب والتاريخ — مع إزالة boilerplate. في اختباري أعادت العنوان وجميع الفقرات الثلاث من أصل ثلاث من صفحة محاطة بضجيج التنقّل وتسجيل الدخول والاشتراك وحقوق النشر، وكانت جميع هذه العلامات غائبة عن المخرجات. وهي تحدد ما يُعدّ محتوى عبر heuristics، لذلك لا تحتاج إلى محددات خاصة بكل موقع لتنظيف صفحة جديدة لم ترها من قبل.

هل يمكن لـ trafilatura استخراج كتالوج منتجات إلى صفوف منظّمة؟ لا. إنها أداة لاستخراج المحتوى، لا أداة scraping منظّمة. على ملف تجريبي لكتالوج من 12 منتجًا، أعادت جميع أسماء المنتجات الاثني عشر كنص مسطّح (478 حرفًا) و0 صفوف مهيكلة — الأسماء موجودة في المخرجات لكنها ليست حقولًا. إذا كنت تحتاج سجلات مؤطرة مثل الاسم/السعر/التقييم، فاستخدم محلّلًا قائمًا على المحددات أو API استخراج قائمًا على schema بدلًا منها.

هل تشغّل trafilatura JavaScript؟ لا. هي تستهلك HTML الثابت فقط. إذا وجهتها إلى صفحة معروضة من جهة العميل، فستحصل على ما أرسله الخادم قبل تشغيل JavaScript، وغالبًا لن يكون ذلك هو المحتوى الذي تريده. اربطها بمحرّك عرض منفصل إذا كانت أهدافك تعتمد على JS؛ trafilatura تقرأ المستند الثابت وتتوقف عنده.

هل trafilatura صعبة التثبيت؟ لا — وهذه إحدى نقاط البيع الحقيقية فيها. pip install trafilatura جلب شجرة حزم نظيفة واحدة داخل بيئة افتراضية جديدة على Python 3.14، بلا تنزيل متصفح، ولا خطوة بعد التثبيت، ولا مجموعة extras مخفية. والإصدار الذي ثبّته pip (2.1.0) يساوي الإصدار الحالي المنشور في 2026-06-07.

ما مدى دقة trafilatura مقارنةً بغيرها من أدوات الاستخراج؟ لم أجرِ معيارًا مباشرًا للدقة في هذه المراجعة، لذا سأشير إلى الدليل الخارجي بدلًا من ذلك. تنشر trafilatura صفحة تقييمها، وتذكر أعلى F1 مفتوح المصدر (حوالي 0.945) في مقارنة ScrapingHub لاستخراج المقالات مقارنةً بأدوات مثل readability-lxml (~0.887). انتبه إلى أن هذا الرقم صادر عن ذلك المعيار وعلى سلسلة أقدم 0.5.1، لا على 2.1.0 الذي اختبرته — لذا اقرأه كدليل خارجي على سمعة الأداة، لا كقياس مستخرج من هذه المقالة.