Google News שואב תוכן מיותר מ-50,000 מקורות ברחבי העולם, מה שהופך אותו לאחד ממשטחי החדשות העשירים ביותר בזמן אמת שקיימים באינטרנט. אבל הנה הדבר שאף אחד לא מספר לכם מראש: Google סגרה את ה-News API הרשמי שלה עוד ב-2011, ומעולם לא החליפה אותו במשהו אחר.
וזה משאיר תקועים את צוותי יחסי הציבור שעוקבים אחרי אזכורי מותג, את אנשי המכירות שמנטרים סיגנלים מהתעשייה, ואת האנליסטים שבונים דאשבורדים של מודיעין תחרותי. אתם צריכים נתוני חדשות מובנים - כותרות, מקורות, תאריכים, טקסט של הכתבה - אבל Google עושה כל שביכולתה כדי להרתיע גרידה אוטומטית, עם קאפצ'ות, הגבלות קצב ומבני עמוד שמשתנים כל הזמן. ביליתי שנים בבנייה ובבדיקה של כלי חילוץ נתונים ב-Thunderbit, ואני יכול להגיד לכם שהפער בין "אני פשוט אגרד את Google News בזריזות" לבין קבלה אמיתית של נתונים אמינים ומובנים הוא רחב הרבה יותר ממה שרוב האנשים מצפים.
המדריך הזה סוקר את 10 כלי גרידת Google News הטובים ביותר שמצאתי - בין API-ים, כלים ללא קוד ומסלולים חינמיים - עם השוואות מחיר כנות, פירוט של יכולות אנטי-בוט, וסוג הפירוט ברמת השדה שבאמת עוזר לכם לבחור את הכלי הנכון.
נסו את Thunderbit לגרידת Google News
למה קשה לגרד את Google News (ולמה אין API רשמי)
Google הוציאה משימוש את ה-News API שלה ב-2011. מאז, כל כלי שקורא לעצמו "Google News API" הוא עטיפה של צד שלישי - שגורדת או מתווכת עבורכם את תוצאות Google News. האפשרות התכנותית הרשמית הקרובה ביותר היא Custom Search JSON API, שנותן לכם 100 שאילתות חינם ביום וגובה 5 דולר לכל 1,000 שאילתות. אבל הוא מחייב הגדרה של מנוע חיפוש מותאם, והוא ממש לא תחליף ישיר ל-Google News.
במקביל, הגנות האנטי-גרידה של Google הן עניין רציני:
- הגבלת קצב מבוססת IP: תפנו ל-Google News מהר מדי, ותקבלו שגיאות 429 או אתגרי CAPTCHA.
- עמודי הסכמה ועמודי ביניים: תלוי במיקום שלכם, Google עשויה להגיש מסכי הסכמה לקובצי Cookie ששוברים את רוב הפרסרים.
- תוכן שנטען ב-JavaScript: חלק גדול מ-Google News נטען דינמית, כך שבקשות HTTP פשוטות מחזירות HTML חלקי.
- כתובות URL עטופות בהפניה: קישורים ב-Google News עוברים לא פעם דרך שכבת ההפניה של Google לפני שהם מגיעים לעמוד של המפרסם.
- סחיפת מבנה (Layout drift): Google משנה באופן קבוע את המבנה של כרטיסי החדשות, אשכולות הסיפורים וסקציות הנושאים.
במרץ 2025 Google גם עברה לחלוטין לעמודי פרסום שנוצרים אוטומטית, מה שהפך את הפלטפורמה לדינמית עוד יותר. שרשורי קהילה ב-GitHub וב-Stack Overflow מלאים במפתחים שמשתפים עקיפות לעמודי הסכמה, סלקטורים שבורים ופורמטי URL משתנים.
אז למה בכל זאת אנשים ממשיכים לגרד אותו? כי מיליארדי חיפושים מתבצעים ב-Google בכל יום, ו-15% מהם הם שאילתות ש-Google מעולם לא ראתה קודם. לניטור מותג, ניתוח טרנדים, זיהוי סיגנלים ללידים ומודיעין תחרותי, Google News נשאר אחד ממשטחי החדשות הרחבים והגמישים ביותר מבחינת שאילתות שיש היום.
RSS מול API מול גרידה ללא קוד: איך בוחרים את השיטה הנכונה
לא כל כלי גרידת Google News עובד באותה צורה. לפני שאתם בוחרים כלי, כדאי להבין את שלוש הגישות המרכזיות - ומתי כל אחת מהן הגיונית.
| גישה | מתאים במיוחד ל | מגבלות | כלים לדוגמה |
|---|---|---|---|
| פידי RSS של Google News | ניטור כותרות פשוט, חינמי, בנפח נמוך | ללא טקסט מלא, עד כ-100 תוצאות, סינון מוגבל | קוראי RSS מובנים, n8n |
| SERP / News API | ניטור מילות מפתח בקנה מידה, מטא-דאטה מובנה | עלות שוטפת, כותרות + תקצירים בלבד (בדרך כלל) | SerpApi, Scrapingdog, Newsdata.io |
| גרידה ישירה (ללא קוד) | תוכן מלא של כתבות, שדות נתונים מותאמים, מחקר חד-פעמי | דורש התמודדות עם אנטי-בוט, פחות סקיילבילי מ-API | Thunderbit, Octoparse, Apify |
| גרידה ישירה (בקוד) | שליטה מקסימלית, פייפליינים מותאמים | תחזוקה כבדה, ניהול קאפצ'ות, נשבר לעיתים קרובות | Scrapy, BeautifulSoup + Selenium |
רוב המאמרים המתחרים מכסים רק API-ים וספריות Python. אבל נתוני כוונת המשתמש שראיתי מספרים סיפור אחר: נתח עצום מהאנשים שמחפשים "כלי גרידת Google News הטובים ביותר" הם לא מפתחים - מנהלי יחסי ציבור, ראשי תפעול, צוותי מכירות - שצריכים פתרון של הצבע-ולחץ, לא פרויקט תכנות. בגלל זה הרשימה הזאת כוללת תוספי דפדפן ופלטפורמות ללא קוד לצד תותחי ה-API.
שווה לציין: פידי ה-RSS של Google News עדיין חינמיים ושימושיים לניטור כותרות קליל. אפשר להירשם לפיד של נושא או מילת מפתח ולקבל כ-100 תוצאות עם כותרות, קישורים ותאריכי פרסום. אבל אם אתם צריכים טקסט מלא של הכתבה, שמות כותבים, סנטימנט או יותר ממאה תוצאות - תצטרכו אחד מהכלים שלמטה.
איך העריכו את כלי גרידת Google News הטובים ביותר
החלתי את אותם קריטריונים על כל כלי ברשימה:
- קלות שימוש: ללא קוד מול דורש קוד מול API בלבד
- התמודדות עם אנטי-בוט / CAPTCHA: קריטי כשמדובר ב-Google
- שדות נתונים שמחולצים: כותרת, מקור, תאריך, תקציר, URL, טקסט מלא של הכתבה, כותב, תמונות, סנטימנט
- קיום ומגבלות של מסלול חינמי
- עלות מנורמלת ל-1,000 בקשות: כי כל ספק מתמחר אחרת (לחודש, לקרדיט, לבקשה), נירמלתי הכול לעלות ל-1,000 תוצאות מוצלחות במסלול בתשלום הזול ביותר
- פורמטי ייצוא: JSON, CSV, Google Sheets, Airtable, Notion וכו'
- סקיילביליות: מגבלות נפח יומי, הגבלות קצב, מקביליות
- התרחיש שהכי מתאים לו
נירמול המחירים חשוב יותר ממה שנדמה לכם. כלי אחד גובה לפי "חיפוש" (שמחזיר 10 תוצאות), אחר גובה לפי "קרדיט" (כאשר קרדיט אחד = שורה אחת), ושלישי גובה לפי "בקשה" (כאשר רינדור JavaScript עולה תוספת). בלי לנרמל, אתם משווים תפוחים לאורנגאוטנים.
10 כלי גרידת Google News הטובים ביותר במבט מהיר
הנה טבלת ההשוואה המרכזית. אני אצלול לעומק לכל כלי בהמשך, אבל זה אמור לעזור לכם לצמצם את המגרש במהירות.
| כלי | סוג | מסלול חינמי | ~עלות ל-1,000 תוצאות | התמודדות עם אנטי-בוט | חילוץ כתבה מלאה | פורמטי ייצוא | מתאים במיוחד ל |
|---|---|---|---|---|---|---|---|
| Thunderbit | תוסף Chrome / AI ללא קוד | מסלול חינמי (6 עמודים) | ~6–30 דולר ל-1,000 שורות (תלוי מסלול) | מצב דפדפן (הסשן שלכם) + מצב ענן | כן (גרידת עמודי משנה) | Excel, CSV, Sheets, Airtable, Notion, JSON | משתמשים לא טכניים, צוותים עסקיים |
| SerpApi | SERP API | 250 חיפושים בחודש | ~5–15 דולר ל-1,000 תוצאות | אנטי-זיהוי ייעודי ל-SERP | לא (כותרות + תקצירים) | JSON | מפתחים, פייפליינים מובנים מבוססי API |
| ScraperAPI | API גרידה כללי | 5,000 קרדיטים (ניסיון 7 ימים) | ~0.10–0.49 דולר ל-1,000 בקשות | רוטציית פרוקסי, רינדור JS | אין פרסר ייעודי | JSON, HTML | מפתחים עם תקציב קטן, גרידה גנרית |
| Apify | פלטפורמת גרידה בענן | מסלול חינמי (5 דולר קרדיט בחודש) | משתנה לפי Actor/מחשוב | רינדור JS, דפדפן headless | תלוי ב-Actor | JSON, CSV, Excel, API | צוותים טכניים, תהליכים מוכנים מראש |
| Bright Data | סקרייפר/דאטהסט לארגונים | 5,000 קרדיטים בחודש חינם | ~1.30–2.50 דולר ל-1,000 רשומות | פרוקסי, פתרון CAPTCHA, רינדור דפדפן | כן (מוצר News Scraper) | JSON, CSV | פייפליינים ארגוניים |
| Octoparse | פלטפורמה ויזואלית ללא קוד | מסלול חינמי (מוגבל) | ~9–25 דולר ל-1,000 שורות (מופחת) | הרצה בענן, אנטי-חסימה | כן (התבנית כוללת גוף טקסט) | CSV, Excel, JSON, מסדי נתונים | בוני תהליכים ויזואליים |
| ScrapingBee | API גרידה | קרדיטים לניסיון | משתנה (מבוסס קרדיטים, JS עולה יותר) | Chrome headless, רוטציית פרוקסי, CAPTCHA | אין פרסר ייעודי | JSON, HTML | מפתחים שצריכים רינדור JS |
| Oxylabs | SERP / scraper API | עד 2,000 תוצאות בניסיון | ~1.00–2.35 דולר ל-1,000 תוצאות | 100M+ פרוקסי, פתרון CAPTCHA | לא (נתוני SERP) | JSON | גרידה בקנה מידה גדול, ממוקדת גיאוגרפית |
| Scrapingdog | SERP API תקציבי | 200 קרדיטים חינם | ~0.20 דולר ל-1,000 בקשות | אנטי-זיהוי ייעודי ל-SERP | לא (כותרות + תקצירים) | JSON | מפתחים שמודעים לתקציב |
| Newsdata.io | API חדשות ייעודי | 200 בקשות ביום | משתנה לפי מסלול | לא רלוונטי (לא גורד את Google ישירות) | כן (במסלולי פרימיום) | JSON | יכולות NLP ייעודיות לחדשות |
כמה דברים קופצים לעין מיד. העלות הנמוכה ביותר לבקשה? Scrapingdog ו-ScraperAPI. ההקמה הקלה ביותר ללא קוד? Thunderbit ו-Octoparse. אמינות ברמה ארגונית עם מיקוד גיאוגרפי? Bright Data ו-Oxylabs.
ועכשיו לפירוטים המלאים.
1. Thunderbit — כלי גרידת Google News ללא קוד הטוב ביותר למשתמשים עסקיים
Thunderbit הוא הכלי שבנינו בחברה שלנו, אז אני אהיה גלוי לגבי זה. אבל אני גם אהיה ספציפי לגבי מה שהוא עושה ומה שהוא לא עושה, כי לדעתי כנות מועילה יותר מהייפ.
Thunderbit הוא תוסף Chrome מבוסס AI שנבנה עבור אנשים שצריכים נתונים מובנים מאתרים בלי לכתוב קוד. ספציפית עבור Google News, זרימת העבודה נראית כך:
- פתחו את תוצאות החיפוש ב-Google News בדפדפן Chrome.
- לחצו על "AI Suggest Fields" — ה-AI קורא את העמוד ומזהה אוטומטית עמודות כמו כותרת, מקור, תאריך, תקציר ו-URL.
- לחצו על "Scrape" כדי לחלץ נתונים מובנים לתוך טבלה.
זה עמוד הרשימה. הכוח האמיתי לשימושי חדשות מגיע בשלב הבא: אחרי גרידת תוצאות Google News, אפשר ללחוץ על "Scrape Subpages" כדי לבקר בכל כתובת URL של כתבה ולחלץ טקסט מלא של הכתבה, כותב, תמונות ועוד. זה פותר ישירות את הבעיה של "יש לי קישורים אבל אני עדיין צריך לזחול ולחלץ את התוכן עצמו", שעולה שוב ושוב בפורומים.
Field AI Prompt מאפשר לכם להוסיף הנחיות AI מותאמות לכל עמודה. למשל, אפשר להוסיף עמודת "סנטימנט" עם הנחיה כמו "סווג את הכתבה הזאת כחיובית, שלילית או ניטרלית כלפי [מותג]". כלומר, אתם מחלצים נתונים וגם מעשירים אותם במעבר אחד - משהו שאף אחד מכלי ה-API הטהורים לא מציע.
Thunderbit תומך גם ב-Browser Scraping (רץ בתוך סשן ה-Chrome שלכם, יורש את העוגיות ומצב ההתחברות שלכם, וכך נמנע מהרבה טריגרים של זיהוי בוטים) וגם ב-Cloud Scraping (מטפל בעד 50 עמודים בו-זמנית עם תשתית אנטי-בוט מובנית). אפשר גם להגדיר גרידה מתוזמנת לניטור חדשות חוזר.
תכונות מרכזיות
- AI Suggest Fields מזהה אוטומטית עמודות של כותרת, מקור, תאריך ו-URL
- גרידת עמודי משנה לתוכן מלא של כתבה, כותב ותמונות
- Field AI Prompt לניתוח סנטימנט, תרגום או תיוג מותאם
- מצבי גרידה בענן ובדפדפן
- גרידה מתוזמנת לניטור יומי/שבועי
- ייצוא נתונים חינמי ל-Google Sheets, Airtable, Notion, Excel, CSV, JSON
תמחור
- מסלול חינמי: 6 עמודים
- ניסיון חינם: 10 עמודים
- מסלולים בתשלום מתחילים בכ-9 דולר לחודש (מבוסס קרדיטים, קרדיט אחד = שורת פלט אחת)
- עלות מנורמלת ל-1,000 שורות: בערך 6–30 דולר, תלוי במסלול
מתאים במיוחד ל
צוותי מכירות, אנשי יחסי ציבור, מנהלי תפעול וכל מי שצריך נתוני Google News מובנים בלי לכתוב שורת קוד אחת. חזק במיוחד כשאתם צריכים תוכן מלא של כתבות בתוספת שדות מועשרי AI כמו סנטימנט.
2. SerpApi — ה-Google News API המובנה הטוב ביותר למפתחים
SerpApi הוא הבחירה המובילה אם אתם רוצים נקודת קצה ייעודית של Google News API שמחזירה JSON נקי ומובנה. יש לו שתי נקודות קצה רלוונטיות: אחת ל-news.google.com (עמוד Google News) ואחרת ללשונית החדשות tbm=nws בחיפוש Google הרגיל.
תיעוד השדות מפורט בצורה יוצאת דופן - אתם מקבלים title, source, authors, link, thumbnail, topic_token, story_token, related_topics ו-related_publications. התמיכה הזאת ב-story token ו-topic token באמת שימושית לדה-דופליקציה של סיפורים באשכולות, שזו נקודת כאב שרוב הכלים מתעלמים ממנה.
מהניסיון שלי, זמן התגובה של SerpApi מהיר (בדרך כלל מתחת ל-2 שניות), והזמינות יציבה. המגבלה העיקרית: זה API בלבד, כך שאתם צריכים קוד או אינטגרציה ללא קוד כדי לצרוך את הנתונים. אין טקסט מלא של הכתבה - רק כותרות, תקצירים ומטא-דאטה.
תכונות מרכזיות
- נקודת קצה ייעודית לחיפוש Google News עם JSON מובנה
- מיקוד לפי מיקום ושפה
- שאילתות חדשות היסטוריות דרך פרמטר
tbs - תמיכה ב-story token ו-topic token לאשכולות
תמחור
- חינם: 250 חיפושים בחודש
- Developer: 75 דולר לחודש עבור 5,000 חיפושים
- Production: 150 דולר לחודש עבור 15,000 חיפושים
- עלות מנורמלת ל-1,000 תוצאות: ~5–15 דולר (בהנחה של כ-10 תוצאות לחיפוש)
מתאים במיוחד ל
מפתחים שבונים פייפליינים אוטומטיים לניטור חדשות וצריכים נתוני SERP אמינים ומובנים עם כיסוי שדות חזק.
3. ScraperAPI — ה-API הגנרי התקציבי הטוב ביותר ל-Google News
ScraperAPI הוא API גרידה כללי - לא כלי ייעודי ל-Google News. אבל הוא נכלל כאן כי זו אחת הדרכים הזולות ביותר לפנות לעמודי Google News בקנה מידה, אם נוח לכם לכתוב פרסר משלכם.
ScraperAPI מטפל ברוטציית פרוקסי, רינדור JavaScript ופתרון CAPTCHA מאחורי REST API פשוט. אתם שולחים URL, והוא מחזיר את ה-HTML המרונדר. הקאץ' הוא שאין פרסר ייעודי ל-Google News, כך שתצטרכו לחלץ את השדות בעצמכם (או לשלב אותו עם ספריית פרסינג).
חלק מהמשתמשים מדווחים על זמני תגובה איטיים יותר (7–23 שניות בבנצ'מרקים), ושיטת הקרדיטים אומרת שכל סוג בקשה עולה מספר שונה של קרדיטים. אבל למפתחים שכבר יודעים לפרסר HTML של Google News, קשה להתחרות בתמחור של ScraperAPI.
תכונות מרכזיות
- רוטציית פרוקסי אוטומטית ומיקוד גיאוגרפי
- רינדור JavaScript
- מודל מבוסס קרדיטים (100 אלף קרדיטים במסלול הבסיסי)
- 5,000 קרדיטי ניסיון חינם, ל-7 ימים, בלי כרטיס אשראי
תמחור
- ניסיון חינם: 5,000 קרדיטים (7 ימים)
- Hobby: 49 דולר לחודש (100,000 קרדיטים)
- Startup: 149 דולר לחודש (1,000,000 קרדיטים)
- עלות מנורמלת ל-1,000 בקשות: ~0.10–0.49 דולר, תלוי במסלול
מתאים במיוחד ל
מפתחים מודעי תקציב שצריכים שכבת פרוקסי/רינדור זולה ושמחים לבנות פרסר Google News משלהם.
4. Apify — פלטפורמת הענן הטובה ביותר עם Actors מוכנים ל-Google News
Apify היא פלטפורמת גרידה מבוססת ענן עם מרקטפלייס של "Actors" - סקרייפרים מוכנים מראש שאפשר להריץ בלי לכתוב קוד. יש כמה Actors של Google News Scraper בתרומת הקהילה, והפלטפורמה מטפלת בהרצה בענן, בתזמון ובאחסון.
אפשר להתחיל מהר עם Actor מוכן. הפשרה: איכות ורמת התחזוקה של Actors מהקהילה משתנות. חלק עלולים להישבר כש-Google משנה את המבנה, ואתם תלויים במחבר ה-Actor שיתקן אותם. התשתית של Apify עצמה יציבה, אבל החוויה הספציפית ל-Google News תלויה ב-Actor שתבחרו.
תכונות מרכזיות
- Actors ייעודיים ל-Google News בחנות של Apify
- הרצות מתוזמנות בענן
- אינטגרציות API ו-webhook
- ייצוא ל-JSON, CSV, Excel ודרך API
תמחור
- מסלול חינמי: 0 דולר לחודש (5 דולר קרדיט שימוש)
- מסלולים בתשלום מ-29 דולר לחודש
- עלות מנורמלת ל-1,000 בקשות: משתנה לפי Actor ולפי צריכת מחשוב
מתאים במיוחד ל
צוותים טכניים שרוצים תהליכי גרידה מוכנים מראש בלי לבנות מאפס, ושצריכים תזמון בענן ואינטגרציות API.
5. Bright Data — כלי גרידת Google News הטוב ביותר ברמה ארגונית
Bright Data הוא התותח הכבד של עולם הארגונים. מוצר ה-News Scraper שלו תומך במפורש ב-Google News וכולל ניהול פרוקסי אוטומטי, רינדור דפדפן מלא, פתרון CAPTCHA וטיפול באצוות של עד 5,000 כתובות URL. השדות כוללים מזהה, URL, כותרת, כותב, נושאים ועוד.
Bright Data גם מוכר דאטהסט מוכן מראש של Google News שמתחיל ב-2.50 דולר ל-1,000 רשומות, וזו אפשרות שימושית לצוותים שלא רוצים לגרד בזמן אמת.
רשת הפרוקסי הביתית עם 72 מיליון+ כתובות היא מה שמייחד אותו בהתמודדות עם אנטי-בוט. אם אתם גורדים את Google News ממדינות רבות ובנפח גבוה, Bright Data סופג עבורכם את המורכבות.
תכונות מרכזיות
- News Scraper עם תמיכה ב-Google News
- 72 מיליון+ פרוקסי ביתיים עם מיקוד גיאוגרפי
- פתרון CAPTCHA מובנה
- Web Scraper IDE (ויזואלי, חצי-ללא-קוד)
- אפשרויות תשלום לפי שימוש ומינוי
תמחור
- מסלול חינמי: 5,000 קרדיטים בחודש
- תשלום לפי שימוש: ~1.50 דולר ל-1,000 רשומות
- Scale: 499 דולר לחודש (כולל 384 אלף רשומות, ~1.30 דולר ל-1,000 נוספות)
מתאים במיוחד ל
עסקים גדולים וארגונים שצריכים נתוני Google News בנפח גבוה ובאמינות גבוהה, עם כיסוי גיאוגרפי גלובלי ותשתית ציות.
6. Octoparse — כלי הגרידה הדסקטופי ללא קוד הטוב ביותר ל-Google News
Octoparse מציע גם תבנית רגילה של Google News Scraper וגם תבנית ענן. רשימת השדות שקופה בצורה חריגה: מילת מפתח, מקור, כותרת, תאריך פרסום, URL, גוף טקסט, כותב, תקציר, תמונות ושדות של הודעות שגיאה.
תבנית הענן אפילו מפרסמת תעריף של 0.1 דולר לכל 1,000 שורות במצב Run Mode, וזו שקיפות תמחור נדירה לכלי ללא קוד. אבל העלות בעולם האמיתי תלויה במדרגת המינוי שתצטרכו עבור תזמון בענן ותכונות אנטי-חסימה.
בונה התהליכים הוויזואלי של Octoparse מתאים היטב למשתמשים שרוצים שליטה מפורשת בשלבי החילוץ בלי לכתוב קוד. עקומת הלמידה תלולה יותר מהגישה מבוססת ה-AI של Thunderbit, אבל חלק מהמשתמשים מעדיפים את רמת הגרנולריות.
תכונות מרכזיות
- תבנית מוכנה ל-Google News עם חילוץ שדות מפורט
- בונה תהליכים ויזואלי של הצבע-ולחץ
- הרצה בענן ומקומית
- גרידות מתוזמנות וחוזרות
- ייצוא ל-CSV, Excel, JSON ומסדי נתונים
תמחור
- מסלול חינמי עם תכונות מוגבלות
- מסלולים בתשלום מ-69 דולר לחודש
- עלות מנורמלת: ~9–25 דולר ל-1,000 שורות (בפריסה על עלות המסלול)
מתאים במיוחד ל
משתמשים לא טכניים שמעדיפים כלי דסקטופ ויזואלי עם שליטה מפורשת שלב-אחר-שלב בחילוץ, ושצריכים גרידה חוזרת של Google News.
7. ScrapingBee — ה-API הטוב ביותר לטיפול בעמודי Google News עתירי JavaScript
ScrapingBee מתמחה ברינדור דפדפן headless, ברוטציית פרוקסי ובעקיפת אנטי-בוט. זו בחירה חזקה כשעמודי Google News דורשים הרצת JavaScript מלאה כדי להציג תוצאות - מצב שהולך ונעשה נפוץ יותר.
ה-API פשוט: שולחים URL, מקבלים בחזרה HTML מרונדר או צילום מסך. ScrapingBee מטפל ברוטציית הפרוקסי ובפתרון ה-CAPTCHA מאחורי הקלעים. אבל בדיוק כמו ScraperAPI, אין פרסר ייעודי ל-Google News - תצטרכו לחלץ את השדות בעצמכם.
שיטת הקרדיטים אומרת שבקשות עם רינדור JavaScript עולות יותר מבקשות HTTP פשוטות, אז קחו את זה בחשבון כשאתם מעריכים עלויות ל-Google News.
תכונות מרכזיות
- רינדור Chrome headless לעמודים עתירי JS
- רוטציית פרוקסי אוטומטית ועקיפת CAPTCHA
- תמיכה בגרידת Google Search / News
- REST API פשוט עם תגובת JSON/HTML
תמחור
- מסלולים מ-49 דולר לחודש
- מבוסס קרדיטים (רינדור JS עולה יותר לבקשה)
- עלות מנורמלת ל-1,000 בקשות: משתנה לפי צורכי הרינדור
מתאים במיוחד ל
מפתחים שצריכים רינדור JavaScript אמין והתמודדות עם אנטי-בוט בעמודי Google News, דרך API פשוט וישיר.
8. Oxylabs — כלי גרידת Google News הטוב ביותר לתוצאות ממוקדות גיאוגרפית
ל-Oxylabs יש Google News Scraper API ייעודי כחלק ממערך ה-SERP שלה, מגובה במאגר של 100 מיליון+ פרוקסי ב-195 מדינות. ההצעה: אמינות ברמה ארגונית עם תוצאות ספציפיות לאזור.
Oxylabs תומך בפלט JSON מובנה, במצבי גרידה בזמן אמת ובאצווה, ובלוגיקת פרסינג מותאמת עם סלקטורים של XPath ו-CSS. התמחור הספציפי ל-Google ברור: ~1.00 דולר ל-1,000 תוצאות במסלול Micro, ויורד ל-~0.90 דולר ל-1,000 במדרגות גבוהות יותר.
הניסיון החינמי נותן לכם עד 2,000 תוצאות, וזה מספיק כדי לבדוק אם איכות הנתונים עומדת בציפיות שלכם.
תכונות מרכזיות
- SERP Scraper API עם תמיכה ב-Google News
- 100 מיליון+ פרוקסי ב-195 מדינות
- אספקת JSON מובנה
- מצבי גרידה בזמן אמת ובאצווה
תמחור
- ניסיון חינם: עד 2,000 תוצאות
- Micro: ~1.00 דולר ל-1,000 תוצאות Google (~2.35 דולר ל-1,000 עם רינדור JS)
- מדרגות גבוהות יותר: ~0.90 דולר ל-1,000
- קיימים מסלולים ארגוניים מותאמים
מתאים במיוחד ל
צוותים ארגוניים ובשוק הבינוני שצריכים תוצאות Google News ממוקדות גיאוגרפית בקנה מידה ובאמינות גבוהה.
9. Scrapingdog — ה-Google News API הידידותי ביותר לתקציב
Scrapingdog ממצב את עצמו כאלטרנטיבה חסכונית ל-SerpApi, עם נקודת קצה ייעודית של Google News API. תגובת ה-JSON המובנה כוללת כותרת, מקור, תאריך, תקציר וקישור.
התמחור באמת אגרסיבי: חלק מהמסלולים מציעים 200 אלף בקשות ב-40 דולר, מה שיוצא בערך 0.20 דולר לכל 1,000 בקשות. זמן התגובה הוא בדרך כלל סביב 2 שניות, ואתם מקבלים 200 קרדיטים חינם לבדיקה.
הפשרה: Scrapingdog היא חברה קטנה יותר, עם פחות תיעוד ופחות אינטגרציות מהשחקנים הגדולים. אבל לסטארטאפים ולבונים מודעי תקציב, הכלכלה כאן משכנעת.
תכונות מרכזיות
- נקודת קצה ייעודית של Google News Scraper API
- תגובת JSON מובנה (כותרת, מקור, תאריך, תקציר, קישור)
- נתוני חדשות היסטוריים דרך פרמטר
tbs - 200 קרדיטים חינם לבדיקה
תמחור
- חינם: 200 קרדיטים
- מסלולים בתשלום מ-40 דולר לחודש
- עלות מנורמלת ל-1,000 בקשות: ~0.20 דולר
מתאים במיוחד ל
מפתחים וסטארטאפים מודעי תקציב שצריכים נתוני Google News בנפח גבוה בעלות הנמוכה ביותר לבקשה.
10. Newsdata.io — ה-API הייעודי הטוב ביותר לחדשות (מעבר ל-Google News)
Newsdata.io הוא API ייעודי לנתוני חדשות שמצרף מידע מ-50,000+ מקורות ברחבי העולם. הוא לא ממש כלי גרידת Google News - הוא לא גורד את Google News ישירות. במקום זאת, הוא מצרף באופן עצמאי ממקורות מפרסמים זהים (ונוספים), ומחזיר JSON מובנה עם חיפוש חדשות בזמן אמת והיסטורי.
מסלולי הפרימיום כוללים חילוץ טקסט מלא של כתבות, ניתוח סנטימנט וסינון לפי קטגוריה - תכונות שרוב כלי גרידת ה-SERP לא מציעים באופן מובנה. המסלול החינמי נותן לכם 200 בקשות ביום, וזה נדיב למדי לצורכי בדיקה.
אם המטרה שלכם היא "לקבל נתוני חדשות על נושא מסוים" ולא ספציפית "לגרד את Google News", ייתכן ש-Newsdata.io מתאים לכם יותר מכל כלי SERP ברשימה הזאת.
תכונות מרכזיות
- API לחיפוש חדשות בזמן אמת והיסטורי
- חילוץ טקסט מלא של כתבות (פרימיום)
- ניתוח סנטימנט (פרימיום)
- סינון לפי קטגוריה, שפה ומדינה
- מסלול חינמי של 200 בקשות ביום
תמחור
- חינם: 200 בקשות ביום
- מסלולים בתשלום מ-199.99 דולר לחודש
- עלות מנורמלת ל-1,000 בקשות: משתנה לפי מסלול
מתאים במיוחד ל
צוותים שצריכים מקור נתוני חדשות ייעודי עם יכולות NLP מובנות (סנטימנט, קטגוריזציה), ושלא חייבים דווקא לגרד את Google News עצמו.
השוואת כלי גרידת Google News: התמודדות עם אנטי-בוט, שדות נתונים ותמחור
שלושה מימדי השוואה חשובים יותר מכל דבר אחר כשבוחרים כלי גרידה ל-Google News. לא מצאתי שום מדריך אחר שמכסה את שלושתם באופן שיטתי.
איך כל כלי מתמודד עם הגנות האנטי-בוט של Google
התמודדות עם אנטי-בוט היא הדאגה מספר 1 של כל מי שגורד את Google News. הנה איך כל כלי ניגש לזה:
| אסטרטגיה | כלים שמשתמשים בה |
|---|---|
| רוטציית פרוקסי מובנית | Bright Data, ScrapingBee, Oxylabs, ScraperAPI |
| פתרון CAPTCHA כלול | Bright Data, ScrapingBee, Oxylabs |
| רינדור JS / דפדפן headless | Apify, Octoparse, ScrapingBee |
| מבוסס דפדפן (משתמש בסשן שלכם) | Thunderbit (מצב Browser Scraping) |
| אנטי-זיהוי ייעודי ל-SERP | SerpApi, Scrapingdog |
מצב ה-Browser Scraping של Thunderbit שווה הסבר מפורט יותר. מכיוון שהוא רץ בתוך סשן ה-Chrome האמיתי שלכם, הוא יורש את העוגיות ואת מצב ההתחברות שלכם. זה אומר שהוא נמנע מהרבה מהטריגרים של זיהוי בוטים שסקרייפרים headless נתקלים בהם - עמודי הסכמה, אתגרי CAPTCHA ובדיקות טביעת אצבע. לצרכים בנפח גבוה, ה-Cloud Scraping של Thunderbit מטפל ב-50 עמודים בו-זמנית עם תשתית אנטי-בוט משלו.
אילו שדות נתונים כל כלי גרידת Google News מחזיר?
זו ההשוואה שאף אחד אחר לא מפרסם - והיא זו שהכי משנה בבחירת כלי. חלק מהכלים נותנים לכם רק כותרות וקישורים. אחרים מסוגלים לחלץ טקסט מלא של הכתבה, שמות כותבים ואפילו סנטימנט.
| כלי | כותרת | מקור | תאריך | תקציר | URL של הכתבה | טקסט מלא | כותב | תמונות | סנטימנט |
|---|---|---|---|---|---|---|---|---|---|
| Thunderbit | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ (דרך עמוד משנה) | ✅ (דרך AI) | ✅ | ✅ (דרך Field AI Prompt) |
| SerpApi | ✅ | ✅ | ✅ | ✅ | ✅ | ❌ | ✅ | ✅ | ❌ |
| ScraperAPI | ✅ (פרסינג מותאם) | ✅ (פרסינג מותאם) | ✅ (פרסינג מותאם) | ✅ (פרסינג מותאם) | ✅ (פרסינג מותאם) | ❌ | ❌ | ❌ | ❌ |
| Apify | ✅ | ✅ | ✅ | ✅ | ✅ | תלוי ב-Actor | תלוי ב-Actor | ✅ | ❌ |
| Bright Data | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ (News Scraper) | ✅ | ✅ | ❌ |
| Octoparse | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ (תבנית) | ✅ | ✅ | ❌ |
| ScrapingBee | ✅ (פרסינג מותאם) | ✅ (פרסינג מותאם) | ✅ (פרסינג מותאם) | ✅ (פרסינג מותאם) | ✅ (פרסינג מותאם) | ❌ | ❌ | ❌ | ❌ |
| Oxylabs | ✅ | ✅ | ✅ | ✅ | ✅ | ❌ | ❌ | ✅ | ❌ |
| Scrapingdog | ✅ | ✅ | ✅ | ✅ | ✅ | ❌ | ❌ | ❌ | ❌ |
| Newsdata.io | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ (פרימיום) | ✅ | ✅ | ✅ (פרימיום) |
מה שבולט כאן הוא ש-Thunderbit יכול לחלץ טקסט מלא של כתבה דרך Subpage Scraping וגם להוסיף שדות מועשרי AI כמו סנטימנט באותו מעבר. גם Newsdata.io מציע סנטימנט וטקסט מלא, אבל דרך API חדשות ייעודי ולא דרך גרידת Google News. רוב ה-API-ים של SERP מחזירים רק את מה שגלוי בעמוד הרשימה של Google News - כותרות, תקצירים וקישורים.
עלות מנורמלת ל-1,000 תוצאות
זו הטבלה שרציתי כשהערכתי כלים ולא הצלחתי למצוא בשום מקום. כל ספק מתמחר אחרת, אז נירמלתי הכול לעלות ל-1,000 תוצאות מוצלחות במסלול בתשלום הזול ביותר.
| כלי | מסלול חינמי | המסלול הזול ביותר בתשלום | ~עלות ל-1,000 תוצאות | הערות |
|---|---|---|---|---|
| Thunderbit | 6 עמודים חינם / ניסיון: 10 עמודים | מתחיל בכ-9 דולר לחודש (מבוסס קרדיטים) | ~6–30 דולר | קרדיט אחד = שורה אחת; חילוץ AI כלול |
| SerpApi | 250 חיפושים בחודש | 75 דולר לחודש (5,000 חיפושים) | ~15 דולר | JSON מובנה, נקודת קצה של Google News |
| ScraperAPI | 5,000 קרדיטים (ניסיון 7 ימים) | 49 דולר לחודש (100 אלף קרדיטים) | ~0.49 דולר | אין פרסר ייעודי ל-Google News |
| Apify | מסלול חינמי (5 דולר קרדיט בחודש) | 29 דולר לחודש | משתנה | תלוי ב-Actor ובצריכת מחשוב |
| Bright Data | 5,000 קרדיטים בחודש חינם | תשלום לפי שימוש | ~1.30–2.50 דולר | ברמה ארגונית, קיימת גם אפשרות דאטהסט |
| Octoparse | מסלול חינמי (מוגבל) | 69 דולר לחודש | ~9–25 דולר | תבנית ענן: 0.1 דולר ל-1,000 שורות (בסיס) |
| ScrapingBee | קרדיטים לניסיון | 49 דולר לחודש | משתנה (JS עולה יותר) | מבוסס קרדיטים, אין פרסר ייעודי |
| Oxylabs | עד 2,000 תוצאות | מסלול Micro | ~1.00–2.35 דולר | מיקוד גיאוגרפי, JSON מובנה |
| Scrapingdog | 200 קרדיטים | 40 דולר לחודש | ~0.20 דולר | הבחירה התקציבית, נקודת קצה ייעודית לחדשות |
| Newsdata.io | 200 בקשות ביום | 199.99 דולר לחודש | משתנה לפי מסלול | לא גורד את Google ישירות; יכולות NLP |
כמה מסקנות. Scrapingdog הוא בפער האופציה הזולה ביותר לבקשה, אבל הוא מחזיר רק נתונים ברמת SERP (בלי טקסט מלא). Bright Data ו-Oxylabs נמצאים בטווח הביניים מבחינת עלות, אבל מציעים את תשתית האנטי-בוט החזקה ביותר. Thunderbit יקר יותר לשורה מה-API-ים הזולים ביותר, אבל הוא הכלי היחיד שנותן לכם חילוץ מלא של כתבות בתוספת העשרת AI - בלי לכתוב קוד.
איזה כלי גרידת Google News כדאי לכם לבחור?
ההמלצה שלי לפי תרחיש:
- צריכים רק כותרות לניטור, בתקציב נמוך? → המסלול החינמי של Scrapingdog או Newsdata.io
- משתמש לא טכני שצריך טקסט מלא של כתבות + העשרה? → Thunderbit
- מפתח שבונה פייפליין חדשות מובנה? → SerpApi (כיסוי השדות הטוב ביותר) או Scrapingdog (המחיר הטוב ביותר)
- ארגון, נפח גבוה, מיקוד גיאוגרפי? → Bright Data או Oxylabs
- רוצים תהליך עבודה ויזואלי בדסקטופ? → Octoparse
- צריכים נתוני חדשות מעבר ל-Google News עם יכולות NLP? → Newsdata.io
- צריכים את שכבת הפרוקסי/רינדור הזולה ביותר? → ScraperAPI
הכלי הנכון תלוי בשלושה גורמים: רמת המיומנות הטכנית שלכם, צורכי הנפח שלכם, והאם אתם צריכים כותרות בלבד או תוכן מלא של כתבות. אם אתם לא בטוחים, התחילו ממסלול חינמי - רוב הכלים האלה מציעים אחד - ותראו איך איכות הנתונים מחזיקה מעמד בתרחיש הספציפי שלכם.
אם אתם רוצים לנסות את המסלול המהיר ביותר ללא קוד, המסלול החינמי של Thunderbit מאפשר לכם לגרד תוצאות Google News בכמה קליקים ולייצא ישירות ל-Google Sheets או ל-Airtable. להדגמה מלאה, קפצו לערוץ היוטיוב שלנו או לתבנית גרידת החדשות.
ושיהיו הכותרות שלכם תמיד מובנות, הקאפצ'ות מעטות, והייצואים נקיים.
נסו את Thunderbit לגרידת Google News Get Started Free
שאלות נפוצות
האם ל-Google יש News API רשמי?
לא. Google הוציאה משימוש את ה-News API שלה ב-2011 ומעולם לא החליפה אותו. האפשרות הרשמית הקרובה ביותר היא Custom Search JSON API, שמספק 100 שאילתות חינם ביום וגובה 5 דולר לכל 1,000 שאילתות, אבל הוא דורש מנוע חיפוש מותאם מוגדר מראש ואינו מוצר ייעודי של Google News. כל כלי שקורא לעצמו היום "Google News API" הוא שירות של צד שלישי.
אפשר להשתמש בפידי RSS של Google News במקום בכלי גרידה?
כן, לתרחישים פשוטים. פידי ה-RSS של Google News מספקים כותרות וקישורים בחינם, אבל הם מוגבלים לכ-100 תוצאות, לא מציעים טקסט מלא של הכתבה, ויש להם אפשרויות סינון מינימליות. אם אתם צריכים נתונים עשירים יותר - תוכן מלא של כתבות, שמות כותבים, ניתוח סנטימנט או יותר מ-100 תוצאות - תצטרכו כלי גרידה או API ייעודי מהרשימה הזאת.
איך אני מקבל טקסט מלא של כתבה מתוצאות Google News?
רשימות ב-Google News מציגות רק כותרות ותקצירים. כדי לקבל תוכן מלא של כתבה, אתם צריכים כלי שעוקב אחרי הקישור לכתבה ומחלץ את תוכן העמוד. ה-Subpage Scraping של Thunderbit עושה את זה אוטומטית אחרי גרידת עמוד הרשימה של Google News. כלי API כמו Newsdata.io מציעים טקסט מלא במסלולי פרימיום. רוב ה-API-ים של SERP (SerpApi, Scrapingdog, Oxylabs) מחזירים רק את מה שגלוי בעמוד הרשימה.
האם זה חוקי לגרד את Google News?
גרידה של נתונים גלויים לציבור בדרך כלל אינה נחשבת לגישה בלתי מורשית לפי הדין האמריקאי (על פי התקדים של hiQ נגד LinkedIn), אבל זה לא הופך את זה לבטוח מבחינת מדיניות. תנאי השימוש של Google מרתיעים משאילתות אוטומטיות, ו-Google מגישה באופן פעיל קאפצ'ות וחסימות כשהיא מזהה תעבורה שנראית כמו בוט. משתמשים צריכים להישאר בתחום הנתונים הזמינים לציבור, לכבד זכויות יוצרים על טקסט של כתבות, ולהתייעץ עם ייעוץ משפטי לשימושים בקנה מידה מסחרי.
מה הכי מרבה לשבור כלי גרידת Google News?
האשמים הרגילים הם זיהוי שאילתות אוטומטיות (קאפצ'ות ושגיאות 429), סחיפת לוקליזציה (תוצאות שונות לפי מדינה/שפה), עמודי הסכמה ועמודי ביניים, שינויי מארקאפ במבנה כרטיסי החדשות, ונרמול של כתובות הפניה. שכבת הנתונים היציבה ביותר היא המטא-דאטה של הכתבה (כותרת, מקור, תאריך, URL). הכי פחות יציב הוא משטח התצוגה - אשכול הסיפורים, התמונות הממוזערות וארגון הסקציות משתנים לעיתים קרובות.
למידע נוסף
