Лучшие инструменты и ПО для веб-скрейпинга в 2025 году | Thunderbit

Последнее обновление: May 29, 2026
Лучшие инструменты и ПО для веб-скрейпинга в 2025 году | Thunderbit

Краткое резюме

Это исследование использует тот же корпус вакансий Hacker News за май 2025 и май 2026 года, что и отчет RTO Index, но смотрит на него под другим углом: как часто компании упоминают AI-инструменты, возможности LLM, agentic-рабочие процессы и связанные с ними требования в текстах вакансий.

Строгое проникновение AI-ключевых слов выросло с 23,5% в мае 2025 года до 35,6% в мае 2026 года. Проще говоря, год назад примерно каждая четвертая вакансия на HN называла конкретные AI-инструменты или LLM-концепции; к маю 2026 года это уже была более чем каждая третья.

hn-hiring-ai-mentions-growth.webp

Самое важное изменение — не только в частоте упоминаний. AI в разделе требований вырос с 1,7% до 4,1%, тогда как AI в разделе предпочтений почти не изменился. Это говорит о том, что AI-лексика постепенно переходит из категории «желательно иметь» в категорию обязательных требований в техническом найме.

Изменился и набор ключевых слов. В сэмпле 2026 года слово "agentic" стало главным ключом, а Claude вместе с Claude Code в сумме обошли Cursor и Copilot по числу упоминаний конкретных инструментов. Для developer marketing, рекрутинга и карьерного планирования это полезный сигнал: владение AI-рабочими процессами становится частью мейнстримного инженерного стека.

Попробуйте Thunderbit для AI-скрейпинга веб-страниц

Самые цитируемые выводы

  1. Строгие упоминания AI выросли с 23,5% до 35,6%, то есть на 12,1 процентного пункта.
  2. Более широкие упоминания AI выросли с 29,5% до 39,1%.
  3. AI в разделе обязательных требований более чем удвоился: с 1,7% до 4,1%.
  4. AI в разделе предпочтений почти не сдвинулся: с 3,0% до 3,5%, поэтому рост в разделе требований особенно показателен.
  5. "agentic" поднялся с 7 упоминаний до 30 и стал ключевым словом №1 в 2026 году.
  6. Claude встретился 18 раз, а Claude Code — 11 раз в 2026 году; вместе это 29 упоминаний.
  7. Основной рост обеспечили инженерные роли: проникновение AI-ключевых слов в них выросло с 22,1% до 36,3%.

ai-requirement-hierarchy-chart.webp

Есть разница между тем, что компания говорит «мы в восторге от AI», и тем, что она прямо вписывает AI-инструменты в вакансию как обязательный навык. Первое — это маркетинговая позиция. Второе — сигнал о реальном процессе работы. Этот отчет сосредоточен именно на втором типе доказательств: на словах, которые компании используют, когда нанимают технических специалистов в публичном, ориентированном на инженеров сообществе.

Это различие важно для читателей блога, потому что данные по внедрению AI часто шумные. LinkedIn и Indeed могут показывать взрывной рост AI-лексики, но доски вакансий также поощряют keyword stuffing. Корпоративные блоги могут звучать амбициозно, не доказывая почти ничего о ежедневной работе. Hacker News — выборка меньшая и более предвзятая, но язык там обычно менее отполированный и более прямой. Фаундер или инженер, публикующий вакансию там, как правило, пытается привлечь коллег, а не оптимизироваться под алгоритм поиска рекрутера.

Поэтому главный вывод не просто в том, что AI-слова стали встречаться чаще. Более точная история в том, что AI-лексика поднялась в иерархии текста вакансий: от общего интереса к названным инструментам, а затем к обязательным требованиям. Именно такой сдвиг полезен читателям, если они думают о карьере, developer tools, рекрутинге или следующей волне B2B-контента.

Hacker News каждый месяц первого числа публикует фиксированную hiring-тему — "Ask HN: Who is hiring?". Компании оставляют там комментарий в формате company | role | location | REMOTE/HYBRID/ONSITE | description. Мы взяли темы за май 2025 и май 2026 года, всего 619 вакансий, и просканировали их на упоминания конкретных AI-инструментов и ключевых слов, связанных с возможностями.

Главный результат прост: за двенадцать месяцев упоминания AI-инструментов в текстах вакансий выросли с 23,5% до 35,6%. Это абсолютный рост на 12 процентных пунктов, или примерно 51% в относительном выражении. Среди всех трендовых отчетов, которые мы делали, это одно из самых быстрых структурных изменений в сопоставимом временном окне — примерно в четыре раза быстрее, чем сдвиг +3,3 п.п. в сторону hybrid vs remote, зафиксированный в нашем соседнем отчете RTO Index 2026.

Но сами 12 п.п. — не самая интересная часть. Ниже важнее три наблюдения.

Во-первых, «Required AI» удвоился. Объявления, где прямо написано required / must have / experience with X AI tool, выросли с 1,7% в мае 2025 года до 4,1% в мае 2026 года — с 5 до 13 вакансий при том же знаменателе. Доля компаний, которые рассматривают AI как обязательное требование, более чем удвоилась. Позиция AI в описаниях вакансий смещается от «приятный бонус» к «жесткое требование с первого дня».

Во-вторых, "agentic" почти не существовал, а теперь стал №1. В теме мая 2025 года "agentic" встретился 7 раз и едва попал в топ-20. В мае 2026 года — уже 30 раз, что вывело его на первое место. "agentic" — то есть AI agent / agentic workflow — за 12 месяцев перешел из исследовательского жаргона в стандартный словарь вакансий. За последние четыре техно-волны (big data, blockchain, Web3, сами LLM) ни одна концепция не проходила этот переход так быстро. Причины видны невооруженным глазом: Anthropic переупаковывает Claude как «агента, который использует инструменты», OpenAI выпускает Computer Use и демонстрации agent GPT-5, а в батче Y Combinator W26 особенно много стартапов с агентным уклоном. Технический нарратив резко ускорился с конца 2024 до середины 2025 года, и тема мая 2026 года — это уже срез, где эта волна дошла до найма.

В-третьих, Claude лидирует среди названных инструментов и более чем вдвое обходит Cursor и Copilot. "Claude" встречается 18 раз в мае 2026 года (против 3 раз в мае 2025 года — рост в 4,5 раза). "Claude Code" отдельно встречается еще 11 раз; вместе это 29 упоминаний. Cursor — 8, Copilot — 6. Copilot в этой категории — старожил: GitHub запустил его в 2021 году, и пять лет присутствия должны были дать ему широкое узнавание среди инженеров. Но в текстах вакансий HN — то есть в срезе, где инженеры пишут для других инженеров, — Claude от Anthropic уже обогнал его. Если вы занимаетесь developer marketing, глубина проникновения Anthropic заметно выше, чем кажется на поверхности. Такой сигнал не виден в LinkedIn или Indeed (там выборки зашумлены SEO-вставками всех вендоров сразу); он проявляется только в человеческом языке HN.

Если сложить эти три наблюдения, данные складываются в одну историю: AI в вакансиях меняет формулу с «мы хотим делать AI» на «мы уже делаем AI, и вы должны в этом разбираться». Со стороны действий чаще встречаются формулировки вроде "build with", "automate via", "use"; формулировки "explore", "research", "prototype" отступают. Со стороны инструментов экосистема Anthropic — Claude + Claude Code + agentic frameworks — начинает теснить OpenAI в сознании разработчиков. Ниже разберем каждый слой.

1. В целом: с 24% до 36%

Мы просканировали весь текст 619 вакансий с помощью публичного словаря AI-ключевых слов (полный список ниже). Совпадения распределяются по четырем уровням — от более широкого к более строгому:

  • Loose: любое AI-связанное ключевое слово (включая широкие термины вроде "machine learning")
  • Strict: конкретные AI-инструменты (Claude / Cursor / Copilot / OpenAI / Midjourney) или термины категории LLM (GenAI / LLM / RAG / agentic)
  • Required: Strict-соответствие + в контексте есть required / must have / experience with
  • Preferred: Strict-соответствие + в контексте есть nice to have / preferred / bonus
Метрика2025-052026-05YoY (п.п.)
Упоминание AI в широком смысле29.5% (89)39.1% (124)+9.6
Строгое упоминание AI23.5% (71)35.6% (113)+12.1
AI как обязательное требование1.7% (5)4.1% (13)+2.4
AI как предпочтение3.0% (9)3.5% (11)+0.5

Самая информативная строка — Strict: она убирает ложные срабатывания от широких терминов вроде "machine learning". За 12 месяцев показатель вырос с 23,5% до 35,6%, то есть на 12,1 п.п. в абсолюте и примерно на 51% относительно. Если говорить простыми словами: год назад примерно 1 из 4 вакансий на HN явно называла AI-инструменты вроде Claude / Cursor / Copilot / LLM / RAG. Сейчас — уже более 1 из 3.

Строка Required показывает еще более точную версию той же истории. С 5 до 13 вакансий — в абсолюте немного, но по смыслу это много. Упоминать AI-инструмент в разделе must-have означает, что он уже встроен в рабочий процесс, а не просто желателен в перспективе. Required удвоился быстрее, чем Loose и Strict, и это самый чистый сигнал того, что AI-инструменты переходят из нарратива найма в реальное ожидание по процессу работы.

Preferred почти не сдвинулся, и это само по себе тоже сигнал. Если бы весь AI-бум сводился лишь к тому, чтобы «подмешать AI-слова в текст вакансии», Preferred должен был бы расти синхронно с Required — что-то вроде «нам бы хотелось, чтобы вы знали AI-инструменты, это плюс». Но Preferred вырос всего на +0,5 п.п., тогда как Required — на +2,4 п.п. То есть AI-инструменты не просто чаще упоминают; их поднимают вверх по иерархии требований — из приятного бонуса в обязательный навык.

2. Какие AI-слова называют по имени: агентность, Claude, LLM лидируют

Топ-12 AI-ключевых слов в теме 2026-05, ранжированных по числу упоминаний:

ai-keywords-mentions-2026.webp

МестоКлючевое слово2026-052025-05Тип
1agentic307Новая концепция
2LLM2416Возможность
3LLMs1923Возможность
4Claude183Инструмент / бренд
5AI agents1514Новая концепция
6AI-native124Новая концепция
7Claude Code110Инструмент / бренд
8RAG106Возможность
9AI tools85Возможность
10Cursor80Инструмент / бренд
11Copilot63Инструмент / бренд
12OpenAI68Инструмент / бренд

Несколько важных замечаний.

"agentic" вырос с 7 до 30 — победитель среди новых концепций. Год назад в HN-вакансиях его почти не использовали; сегодня это ключевое слово №1. "agentic" — то есть AI agent / agentic workflow — за 12 месяцев прошел путь от исследовательского жаргона до обычного словаря вакансий. За последние четыре техно-волны (big data, blockchain, Web3, сами LLM) такой скорости проникновения за один год не было. Движущие силы очевидны: Anthropic переосмысливает Claude как «агента, который использует инструменты», OpenAI выпускает Computer Use и agent-демо GPT-5, а батч Y Combinator W26 сильно смещен в сторону agentic-стартапов. Технический нарратив резко взлетел в период с конца 2024 до середины 2025 года, и тема мая 2026 года — это как раз тот срез, где он уже попадает в тексты вакансий.

Claude лидирует среди названных инструментов. 18 упоминаний плюс еще 11 у Claude Code — в сумме 29. У Cursor — 8, у Copilot — 6. Copilot — действующий лидер: GitHub запустил его в 2021 году, и пять лет присутствия на рынке должны были обеспечить доминирование. Но в текстах вакансий HN — где инженеры пишут для инженеров — экосистема Claude от Anthropic уже обогнала его. Если вы занимаетесь developer marketing, глубина проникновения Anthropic намного выше, чем кажется по поверхности. Такой сигнал не виден в LinkedIn или Indeed, где все вендоры одновременно зашумляют выборку SEO-формулировками; он проявляется только в общении между людьми, как на HN.

Суммарно "LLM" + "LLMs" — 43 упоминания. Это крупнейшая категория по возможностям с большим отрывом. Работа с LLM уже стала базовым контекстом, который больше не требует объяснений — для кандидата 2026 года это примерно то же, чем было "you need to know git" в 2018 году.

"AI-native" — 12, было 4. Это уже культурно-организационное ключевое слово: компании хотят не просто владение инструментами, а кандидатов, у которых AI-first заложен в саму модель мышления. Сам факт появления этого термина в вакансиях говорит о зрелости рынка: он прошел путь от «наймите человека, который знает AI» к «наймите человека, который воспринимает AI как рабочую норму».

RAG — 10, было 6. Retrieval-Augmented Generation в 2024 году еще был исследовательским жаргоном; к 2026 году он уже появляется в bullet points вакансий как прямое инженерное требование. Векторные базы и retrieval-пайплайны теперь присутствуют в production-системах многих компаний.

coding-tool-mentions-comparison.webp

3. Кто пишет «Required AI» на HN: список из 13 компаний

В теме 2026-05 13 компаний прямо связали required / must have / experience with с AI-ключевыми словами. Полный список есть на графике; вот репрезентативная выборка:

  • We The Flywheel (Роль: Eng) — в JD прямо требуется: Claude;Claude Code;Cursor
  • SEEKING FREELANCER (Роль: Eng) — в JD прямо требуется: Cursor;Lovable
  • Pathos AI (Роль: Eng) — в JD прямо требуется: OpenAI
  • Brandfetch (https://brandfetch.com) (Роль: Eng) — в JD прямо требуется: LLM;AI agent
  • Dablam (Роль: Eng) — в JD прямо требуется: AI agents
  • Starbridge (Роль: Eng) — в JD прямо требуется: Anthropic;OpenAI;Gemini;LangChain;LlamaIndex
  • INDATA (Роль: Eng) — в JD прямо требуется: Claude;Claude Code;Anthropic;OpenAI;Copilot;Cursor
  • BIT Capital (Роль: Eng) — в JD прямо требуется: LLM;RAG;agentic

ai-stacks-named-appearances.webp

Посмотрите на профиль. INDATA хочет Claude / Claude Code / Anthropic / OpenAI / Copilot / Cursor — полноценный AI-стек как ожидание с первого дня, а не просто «пожалуйста, будьте знакомы с AI». Starbridge перечисляет Anthropic / OpenAI / Gemini / LangChain / LlamaIndex — модельные API плюс retrieval-фреймворки. We The Flywheel просит Claude + Claude Code + Cursor — чистый стек coding-agent.

У этих компаний есть общий паттерн: они выбрали публичный канал вроде HN для найма и осознанно вынесли AI-инструменты в раздел обязательных требований. Оба решения важны. Публикация на HN сложнее, чем в LinkedIn: нужен аккаунт, вакансия видна коллегам публично, а любое преувеличение сразу же раскритикуют в комментариях. Самоотбор через такой фильтр означает, что компании, которые все же пишут Required AI, почти наверняка действительно зависят в процессе работы от названных инструментов, а не просто набивают текст ключевыми словами.

Для DTC-операторов, SaaS-маркетинга и специалистов по employer brand этот список полезен еще и как ориентир: нарратив «работодатель с AI-экспертизой» теперь можно проверить эмпирически. Сказать «мы используем AI» недостаточно — то, решаются ли ваши вакансии писать Required рядом с конкретными названиями инструментов, показывает реальную глубину использования AI в команде. Карьерная страница, где написано «мы AI-first компания», но в JD не указан стек инструментов, выглядит для кандидатов непоследовательно.

4. В инженерии проникновение AI-ключевых слов выросло с 22% до 36%

По категориям ролей, показатель попаданий AI в мае 2026 года (только категории с ≥3 вакансиями):

Категория ролиВсегоAI-попаданияУровень попаданийУровень 2025-05
Founding5480.0%100.0%
Ops6350.0%40.0%
Marketing8450.0%16.7%
AI/Research8337.5%33.3%
Eng2378636.3%22.1%
Other461123.9%21.1%
Sales300.0%0.0%

role-buckets-percentage-chart.webp

Несколько замечаний.

Инженерия — это и есть основная история. На нее приходится 74,8% выборки (237 вакансий). Уровень AI-попаданий в ней вырос с 22,1% в мае 2025 года до 36,3% в мае 2026 года — на 14 п.п. в абсолюте. Все макроутверждения в этом отчете об «AI-проникновении» в первую очередь опираются именно на эту строку. Примерно каждая третья вакансия software engineering теперь явно упоминает AI-ключевые слова — это самое крупное структурное изменение в тексте вакансий для разработки за последние 12 месяцев.

Категория AI/Research — всего 8 вакансий и 37,5% попаданий, то есть меньше, чем Engineering. На первый взгляд это выглядит нелогично. Теоретически «AI Research / AI Engineer» должны давать почти 100%. Причина в том, что в описаниях этих вакансий часто используется очень техническая лексика (например, "transformer architecture / attention mechanism / pretraining objective"), которую наш словарь не покрывает. Малый размер выборки тоже добавляет шум. Не стоит читать это как «AI research hiring реже использует AI-слова» — это пробел покрытия классификатора, а не рыночный феномен.

Founding bucket (founding engineer / Chief of Staff / VP-level) дает 80% в 2026 году — 4 из 5 вакансий в выборке. Это отражает то, как пишутся JD для фаундерских ролей: широко, с акцентом на «founding engineer должен уметь многое, включая AI tools». Но 5 наблюдений — слишком мало для серьезных выводов.

Marketing / Ops при 6-8 вакансиях и ~50% попаданий. Выглядит высоко; в основном это эффект маленькой выборки. В более крупном массиве эти категории, скорее всего, нормализовались бы к диапазону 30–40%. В выборке слишком мало вакансий Marketing / Sales / Ops / HR, чтобы делать выводы по самим ролям; не используйте эти категории для сильных role-level утверждений.

Единственный безопасный вывод по ролям: в инженерии проникновение AI-ключевых слов выросло с 22% до 36%. Выборка достаточно велика, изменение достаточно значимо; остальные категории слишком малы, чтобы делать жесткие выводы.

5. Почему это важно и где заканчиваются выводы

За последние 18 месяцев спор о том, «действительно ли AI меняет найм», разделился на два лагеря.

Оптимисты ссылаются на отчеты LinkedIn / Indeed — частота GenAI-ключевых слов взлетает (LinkedIn Economic Graph говорит о росте в 21 раз год к году; Indeed Hiring Lab — о +330% год к году). Скептики возражают, что это результат того, что компании просто набивают JD AI-ключами ради SEO, а не отражение реального использования AI на рабочих местах.

Ценность HN как выборки в том, что он не оптимизирован под SEO / алгоритмы job platform. Комментарии на HN пишут инженеры и фаундеры для своих коллег — без keyword padding как на LinkedIn, без CPC-игр как на Indeed и без шаблонов рекрутеров. Каждый комментарий читают, отвечают на него и оспаривают его в реальном времени. Любое преувеличение про AI-инструменты сразу же получают обратную связь. Этот публичный peer-review делает hiring-тексты HN относительно чистым срезом реального спроса со стороны работодателя.

Если такой отфильтрованный срез показывает рост Strict AI на 12 п.п. за двенадцать месяцев, это сильный сигнал реального спроса — а не артефакт платформенных алгоритмов.

Но границы выборки нужно называть честно. HN — это сообщество разработчиков, ранних engineering-команд и AI-friendly стартапов, то есть выборка сильно смещена в сторону early adopters. На инженерию приходится 74,8% выборки; репрезентативность для Sales / Marketing / HR / Finance / Legal слабая. Традиционные отрасли (крупные финансы, производство, ритейл, медицина, образование) показывают куда более низкое проникновение AI-ключевых слов; и большинство таких компаний вообще не нанимают на HN.

hn-posting-stats-2025-2026.webp

Поэтому этот отчет нельзя читать как «35,6% всего рынка труда США используют AI» — он говорит: «в самостоятельно отобранной выборке разработчиков и стартапов на HN проникновение AI-ключевых слов в текстах вакансий составляет 35,6%». Это очень разные вещи.

6. Практические выводы для ops, content и recruiting

Ниже — как превратить данные в действия для тех, чья работа связана с этими областями.

Developer marketing и employer brand. Перенесите фразу «знакомство с AI-инструментами» из раздела nice-to-have на карьерной странице в раздел ожиданий с первого дня. Показатель Strict на уровне 35,6% — это ваш peer baseline; если видимость AI-инструментов на вашей карьерной странице заметно ниже, вы проигрываете кандидатам, которые уже видят у конкурентов явный AI-fluency. Конкретное действие: в разделе "What you'll work with" перечисляйте AI-инструменты по имени (Claude + Cursor + LangChain + ...), а не общими словами вроде "modern AI tools".

SaaS / positioning инструментов. Окно рынка для продуктов, которые поддерживают AI-рабочие процессы, уже открывается. "agentic" вырос с 7 до 30 упоминаний, а значит, есть реальные подтверждения спроса на инфраструктуру, orchestration и observability для agentic-процессов в текстах вакансий. GTM-нарратив для этой категории продуктов теперь можно опираться на данные HN, а не только на vision-docs Anthropic и OpenAI.

B2B content и SEO. Поисковый интерес к запросам вроде "Claude vs Copilot vs Cursor" заметно вырос за последние 18 месяцев. Список топ-ключей из этого отчета — естественная база для планирования редакционного контента. "agentic" — это SEO-greenfield: в 2026 году еще достаточно рано, чтобы строить на эту тему авторитетные страницы («Как строить agentic workflows» / «Agentic vs traditional automation» и т. п.). Преимущество первого хода на этом поле все еще работает, потому что SERP пока не занят доминирующим контентом.

Практика найма. Берите стиль HN как ориентир — пишите Required и конкретные названия инструментов, а не «AI tool experience preferred». Сэмпл из 13 компаний в этом отчете (INDATA, Starbridge, We The Flywheel и др.) показывает качественный паттерн «Required + названный стек». Помимо точности сигнала для кандидатов, такой стиль позволяет быстро проверять людей на интервью — «Вы говорите, что используете Cursor; сколько production codebase вы с ним уже выпустили?»

Долгосрочный мониторинг. Список топ-ключей и список компаний с Required AI можно перезапускать ежеквартально — HN Firebase API полностью публичный, поддержка словаря дешевая, а результат работает как дашборд по проникновению AI на рынке найма. Ежеквартальный ритм позволяет публиковать свежий тренд-апдейт без больших затрат на покупку данных.

7. Проверки устойчивости и сопоставление с другими датасетами

Любой трендовый отчет вызывает у читателя вопрос: реален ли сдвиг на 12 п.п. или это шум? Три проверки.

Размер выборки стабилен. Общий объем в 2025-05: 302. В 2026-05: 317. Разница всего 15 вакансий. Стабильный знаменатель означает, что изменения долей отражают реальную перестройку числителя, а не дрейф базы.

Loose и Strict движутся в одном направлении, а Strict — быстрее. Loose +9,6 п.п., Strict +12,1 п.п. Один и тот же вектор, причем Strict растет быстрее, а значит, прирост — это не просто «больше AI-слов», а именно «больше упоминаний названных инструментов и названных LLM». Это снимает риск, что ложноположительные срабатывания на размытые слова искажают показатель Loose.

Required растет быстрее, чем Preferred. Required +2,4 п.п. (примерно x2,4), Preferred +0,5 п.п. (почти без изменений). AI-инструменты не просто упоминают чаще — их поднимают по иерархии с уровня nice-to-have до must-have. Это и есть самый чистый сигнал того, что AI из дополнительного навыка превращается в базовое ожидание.

Сопоставление с другими источниками:

ИсточникОхватТипичное чтение (2024-2025)
LinkedIn Economic GraphJD LinkedIn по всему мируРост ролей с GenAI-тегами примерно в 21 раз год к году (2023-2024)
Indeed Hiring LabJD Indeed в СШАЧастота GenAI-ключей +330% год к году во всех JD
Stanford AI Index 2025Глобальный свод по AI-наймуДоля AI-ролей 1,7% (2024) → 2,5% (2025)
Этот отчет (HN Who's Hiring)HN dev community, 619 вакансийСтрогое упоминание AI 23,5% → 35,6% (+12,1 п.п.)

Эти данные не противоречат друг другу. Рост GenAI в LinkedIn / Indeed в 21 раз / 330% относится к отдельным GenAI-ролям (AI Engineer / ML Engineer) — маленький знаменатель дает драматические мультипликаторы. Этот отчет измеряет широкое проникновение AI-ключевых слов во все вакансии — знаменатель шире, абсолютный сдвиг скромнее, но история намного шире по базе. Stanford AI Index 2025 с показателем «AI-class roles 1,7% → 2,5%» измеряет долю отдельных AI-ролей, что ближе к нашему «Required AI» (1,7% → 4,1%), но с другим знаменателем. Несколько независимых источников показывают один и тот же базовый тренд, просто под разными углами.


Методология

Источник данных: Hacker News Firebase API (https://hacker-news.firebaseio.com/v0/item/{id}.json). Сравнивались темы за май 2025 года (item id 43858554) и май 2026 года (item id 47975571). Каждый top-level comment считался одной вакансией (по конвенции HN). Тот же корпус из 619 вакансий, что и в отчете Return to Office Index 2026 — идентичные исходные данные, другой аналитический ракурс. Снимок данных: 2026-05-12 (UTC).

Смещение в сторону HN-сообщества — самое важное ограничение: hiring-сообщество HN состоит в основном из разработчиков, ранних engineering-команд и стартапов-early adopters AI. Этот отчет нельзя читать как тренд AI-найма в США или в мире в целом. Традиционные отрасли (крупные финансы, производство, ритейл, медицина, образование) показывают намного более низкое проникновение AI-ключевых слов; большинство из них вообще не нанимают через HN.

Engineering bucket доминирует на 74,8%: выводы по инженерным ролям хорошо подтверждены; выводы по Sales / Marketing / Ops / HR — нет (в каждой категории N < 10). Все role-specific выводы в этом отчете надежно применимы только к Engineering. Остальные категории слишком малы, чтобы делать сильные утверждения.

Текст вакансии ≠ реальные требования к работе: в JD много маркетинговой воды — например, "Copilot familiarity" может быть просто HR-заполнителем, а не реальной обязанностью с первого дня. Цифры описывают «наличие ключевых слов в тексте JD», а не прямое использование AI в работе. Они коррелируют, но это не одно и то же.

Точность Required vs Preferred примерно 75–85%: на основе контекстного окна ±120 символов крайние случаи иногда классифицируются неверно. Числа по Required/Preferred следует читать как «по нашим правилам», а не как абсолютную истину.

Риск ложных отрицаний в словаре v1: словарь привязан к экосистеме AI-инструментов на май 2026 года и может не учитывать инструменты или термины, появившиеся в конце 2026 года. Поэтому показанные уровни AI-попаданий — по сути «hit rate по словарю v1», то есть нижняя граница.

Компании с несколькими вакансиями не дедуплицируются: одна и та же компания может встречаться несколько раз (особенно если у нее 10+ вакансий). Мы используем в знаменателе именно «вакансии / postings», а не «уникальных работодателей», потому что повторное размещение одинаковых AI-требований — это значимый сигнал глубины внедрения AI на уровне компании, который дедупликация скрыла бы.

Юридические и авторские вопросы: HN API публичный, только на чтение, без авторизации. Текст комментариев принадлежит оригинальным авторам; в этом отчете используются только агрегированные подсчеты и краткий анализ частоты ключевых слов — без цитирования полных комментариев. Названные компании (13 фирм с Required AI) упоминаются только в позитивном или нейтральном контексте — они сами публично заявили AI как обязательный навык. Никакой сырой CSV/JSON-датасет не публикуется; каждое число можно воспроизвести через публичный HN API и публичный словарь.

Ограничения

Что этот отчет НЕ доказывает:

  • Не означает, что «все вакансии в США теперь требуют AI-инструменты» (это лишь подмножество HN, а не весь рынок труда США)
  • Не означает, что «Компания X не использует AI-инструменты» (мы не отслеживаем компании во времени)
  • Корректная формулировка: «В hiring-тредах HN за 2025-05 и 2026-05 строгое упоминание AI выросло с 23,5% до 35,6% (+12,1 п.п.)»

Источник данных и версионирование

Набор данных: ai_required_position_rate_2026/ (этот репозиторий). Дата снимка 2026-05-12 UTC, версия v1.0 (single-point YoY, dictionary v1). Использует те же данные HN, что и отчет Return to Office Index 2026 — оба отчета можно взаимно цитировать.

Что могут цитировать SEO- и контент-команды

Это исследование дает несколько удобных углов для цитирования в блоговых вступлениях, data callout, соцсетях, сравнительных страницах и follow-up explainers:

  • Строгое упоминание AI выросло с 23,5% до 35,6%, то есть на 12,1 процентного пункта.
  • Более широкие упоминания AI выросли с 29,5% до 39,1%.
  • AI в разделе обязательных требований более чем удвоился: с 1,7% до 4,1%.
  • AI в разделе предпочтений почти не изменился: с 3,0% до 3,5%, поэтому рост в разделе требований особенно показателен.
  • "agentic" вырос с 7 упоминаний до 30 и стал главным ключевым словом 2026 года.
  • Claude встретился 18 раз, а Claude Code — 11 раз в 2026 году; вместе это 29 упоминаний.
  • Основной рост обеспечили инженерные роли: проникновение AI-ключевых слов в них выросло с 22,1% до 36,3%.

К каждой цитате должен прилагаться caveat. Эти цифры описывают конкретную выборку и способ сбора данных, использованные в этом отчете. Их не следует переупаковывать как полный срез рынка, внутренний показатель внедрения или утверждение обо всех компаниях в категории.

Для редакционного использования самая сильная подача — это та, где headline-метрика идет вместе с границей выборки. Тогда формулировка выглядит честнее и вызывает больше доверия у читателя. Например, пишите «в этой выборке вакансий HN», «в этом скане статических данных DTC home page» или «в этой выборке YouTube-каналов» — и только после этого переводите число в разговор о более широком тренде.

Примечания к воспроизводимости

Папка доставки включает следующие process files, скопированные из исходных локальных пакетов отчета. Они добавлены для того, чтобы опубликованный отчет можно было сверить с реальными скриптами, промежуточными результатами, графиками и черновиками, использованными в рабочем процессе.

  • process_files/out/analysis_stats.json
  • process_files/out/hn_jobs_ai_parsed.csv
  • process_files/scripts/01_compute_stats.py
  • process_files/scripts/02_make_figs.py
  • process_files/scripts/03_build_data_brief.py
  • process_files/scripts/04_build_report_bilingual.py
  • process_files/scripts/05_module_i_check.py

Скачать все скрипты и датасеты

Исправления методологии, вопросы к датасету и предложения по дополнительному анализу можно присылать на support@thunderbit.com. Этот отчет основан на публичных веб-сигналах и данных публичного API, собранных в мае 2026 года, и его следует читать с учетом указанных выше границ выборки.

Попробуйте Thunderbit AI Web Scraper Get Started Free

Shuai Guan
Shuai Guan
Генеральный директор Thunderbit | Эксперт по автоматизации данных с помощью ИИ Shuai Guan — генеральный директор Thunderbit и выпускник инженерного факультета Мичиганского университета. Опираясь почти на десятилетний опыт в сфере технологий и SaaS-архитектуры, он специализируется на том, чтобы превращать сложные модели ИИ в практичные no-code инструменты для извлечения данных. В этом блоге он делится честными, проверенными в деле инсайтами о веб-скрейпинге и стратегиях автоматизации, чтобы помочь вам выстраивать более умные, data-driven рабочие процессы. Когда он не занимается оптимизацией потоков данных, тот же внимательный подход к деталям он переносит в своё увлечение фотографией.
Topics
Инструменты для веб-скрейпингаAI Web Scraper
Содержание

Собирай страницу, просто задав вопрос

Скажи, что тебе нужно, простыми словами. А ещё лучше — ничего не говори.

Попробовать Thunderbit бесплатно
Извлекай данные с помощью ИИ
Легко передавай данные в Google Sheets, Airtable или Notion
Chrome Store Rating
PRODUCT HUNT#1 Product of the Week