Короткий ответ: GDPR не запрещает веб-скрейпинг. Но если скрейпер собирает, хранит, структурирует или повторно использует информацию об идентифицируемых людях, это уже обработка персональные данные. Аргумент «это было в открытом доступе» сам по себе не считается стратегией соответствие GDPR.
Сегодня это различие особенно важно. В июле 2026 года Европейский совет по защите данных (EDPB) заявил, что GDPR применяется к скрейпингу, когда он включает операции по обработке персональные данные, и отдельно подчеркнул принцип ограничения цели и прозрачность как ключевые вопросы. Новые рекомендации по GDPR для веб-скрейпинга всё ещё находятся на этапе консультаций, но направление уже очевидно: технический факт сбора страницы — это только начало вопроса о соответствие GDPR. Обновление EDPB
Это руководство — практическая схема работы, а не юридическая консультация. Используй его, чтобы принимать более взвешенные продуктовые и инженерные решения, а затем подключай privacy counsel или вашего DPO, если речь идёт о случаях с реальным риском.
Сначала разделите «можно собрать» и «можно использовать»
Часто смешивают три разных вопроса:
| Вопрос | Что он означает |
|---|---|
| Доступ | Имеете ли вы право получить доступ к сайту и собрать материал? |
| Защита данных | Если людей можно идентифицировать, можете ли вы обрабатывать эти данные по GDPR? |
| Повторное использование | Можете ли вы хранить, обогащать, продавать, использовать для обучения, публиковать или связываться с людьми на их основе? |
Пройти один из этих тестов не значит пройти остальные. Страница может быть публично доступной, но данные на ней всё равно остаются персональные данные. Даже технически успешный обход сайта может создать риски по GDPR, договорному праву, интеллектуальной собственности, правам на базы данных, защите прав потребителей или правилам маркетинга.
Поэтому воспринимай соответствие требованиям как процесс, который нужно выстроить до начала работы, а не как абзац в политике конфиденциальности, добавленный потом.
1. Определите, подпадает ли задача под GDPR
Начните с двух вопросов.
Содержит ли набор данных персональные данные?
Персональные данные — это не только имя или email. Сюда относится любая информация, связанная с идентифицированным или идентифицируемым человеком: фото профиля, ник, который можно связать с конкретным лицом, геолокация, IP-адрес, профессиональная история, отзывы или сочетание обычных на первый взгляд полей. Определение EDPB
Данные на уровне компании в некоторых случаях могут быть безобидными. Но запись о «деловом контакте» очень быстро становится персональные данные, если в ней есть имя индивидуального предпринимателя, прямой email сотрудника, мобильный номер или связанный профиль. Проектируйте решение под реальный набор данных, а не под идеализированный.
Применяется ли GDPR к вашей организации и цели обработки?
GDPR может применяться, если обработка связана с подразделением в ЕС. Он также может распространяться на организацию за пределами ЕС, если она предлагает товары или услуги людям в ЕС или отслеживает их поведение. Обзор Европейской комиссии
Если на оба вопроса ответ «да», считай, что для скрейпа нужен документированный путь соответствие GDPR. Если ответ неочевиден, не воспринимай неопределённость как разрешение — эскалируй вопрос.
2. Составьте одностраничное описание сбора до запуска краулера
Самый простой контроль часто оказывается и самым полезным: заранее зафиксируйте, что именно вам нужно собрать.
В описании должны быть ответы на вопросы:
- Цель: какое конкретное решение, сервис или анализ требует этих данных?
- Люди и поля: какие категории людей могут встретиться в данных и какие именно поля действительно нужны?
- Источник и доступ: контент открыт свободно? Есть ли возражения в условиях использования, блокировки robots, авторизация или другие технические ограничения?
- Использование и получатели: кто увидит результат? Будут ли данные обогащаться, экспортироваться, передаваться, использоваться для прямого маркетинга или обучения моделей?
- Срок хранения: когда будут удалены или пересмотрены сырые данные, рабочие файлы и производные записи?
- Ответственность: кто является контролёром, кто обработчиком и кто отвечает на запросы субъектов данных?
Это не бюрократия ради бюрократии. Принципы GDPR требуют определённой цели и данных, которые являются адекватными, релевантными и ограниченными тем, что действительно необходимо. Принципы Европейской комиссии
3. Выберите и зафиксируйте законное основание — не предполагайте его автоматически
Любая обработка персональные данные должна иметь законное основание. Согласие может подойти для некоторых продуктов, но это не универсальный вариант для публичных веб-данных. Для некоторых частных организаций законный интерес может быть допустимым основанием для точечного скрейпинга при наличии реальных защитных мер. Но это не происходит автоматически.
Обоснованная оценка законного интереса отвечает на три вопроса:
- Является ли интерес законным, конкретным, реальным и актуальным?
- Действительно ли сбор необходим для этой цели, или есть менее инвазивный способ добиться результата?
- Не перевешивают ли интересы, права или разумные ожидания человека ваш интерес?
CNIL отмечает, что общедоступные данные, собранные через скрейпинг, обычно рассматриваются через призму законного интереса, но при этом требуется принять дополнительные меры для снижения воздействия на людей. Также регулятор подчёркивает необходимость анализа в каждом конкретном случае, а не общего разрешения «на всё». Руководство CNIL
Задокументируй анализ, допущения и выбранные меры снижения риска. «Профиль был публичным» — это контекст для баланса интересов, а не сам тест.
4. Сделайте минимизацию техническим требованием
Лучше всего соответствует требованиям тот набор данных, который ваш скрейпер вообще не собрал.
Встраивайте в процесс сбора такие ограничения:
- Белый список полей. Сразу определите нужные поля; не собирайте всё подряд только потому, что это легко.
- Блокировка чувствительных категорий. Исключайте данные о здоровье, политических взглядах, религии, профсоюзах, сексуальной жизни, биометрию и другие специальные категории, если только counsel не выстроил отдельный законный путь. Обычный текст может неожиданно раскрывать такие данные.
- Исключение рискованных источников. Поддерживайте список исключений по умолчанию для групп поддержки, форумов о здоровье, детских пространств и других контекстов, где повторное использование может быть неожиданным или вредным.
- Быстро удаляйте лишнее. Если был случайно собран нерелевантный персональный контент, изолируйте и удалите его, а не храните «на всякий случай».
- Фиксируйте происхождение данных. Сохраняйте URL источника, дату сбора и параметры конфигурации вместе с каждым набором данных. Это помогает с точностью, удалением и обработкой запросов.
CNIL прямо рекомендует заранее определять релевантные категории, отфильтровывать ненужные или чувствительные данные, удалять нерелевантную информацию и уважать технические или юридические возражения против сбора. Меры защиты CNIL
5. Воспринимайте прозрачность как часть продукта
Данные, собранные с сайта, обычно получены косвенно. Значит, могут применяться обязательства по прозрачности из статьи 14: нужно объяснить, кто вы, с какой целью обрабатываете данные, какие категории и из каких источников были получены, на каком правовом основании, сколько храните, кому передаёте и какие права есть у человека.
В кратком изложении Европейской комиссии указано, что если данные получены не от самого человека, информация обычно должна быть предоставлена в течение месяца, при первом контакте или при первом раскрытии — в зависимости от ситуации. Есть исключения, в том числе когда уведомление невозможно или потребует несоразмерных усилий, но они условны и должны быть оценены и задокументированы, а не просто предполагаться. Обязательства Европейской комиссии
Для широких сборов более полезными, чем скрытая юридическая страница, могут быть понятное публичное уведомление, отдельная страница с датасетом, выделенный канал связи и простые инструкции по возражению, доступу, исправлению и удалению. Формат зависит от типа обработки и уровня риска.
6. Подготовьте процесс удаления и обработки прав до запуска
При массовом скрейпинге последующая очистка становится дорогой. Присвой данным идентификатор, веди контролируемую карту соответствия «источник—запись» и убедись, что можешь найти и удалить или скрыть данные человека во всех сырых выгрузках, базах, экспортах, индексах и downstream-системах.
Минимально нужно определить:
- кто принимает и проверяет запрос на реализацию прав;
- как находят запись без запроса лишней информации;
- как удаление или возражение распространяется на downstream-системы;
- как блокировка предотвращает случайный повторный сбор;
- как долго логи и резервные копии хранят запись и какой процесс исключения применяется.
Если набор данных будет использоваться для модели, графа обогащения, профилирования или прямого маркетинга, этот план должен быть ещё строже. Чем дальше данные уходят по цепочке, тем сложнее по-настоящему соблюсти права человека.
7. Защитите набор данных и заранее оцените случаи с высоким риском
GDPR требует мер, соразмерных риску, включая защиту от несанкционированного доступа, потери, уничтожения и незаконной обработки. Privacy by design и by default означает, что эти меры нужно выбирать в самом начале, а не после инцидента. Обязательства Европейской комиссии
Полезный базовый набор контроля включает разграничение доступа по ролям, шифрование при передаче и хранении, управление секретами, журналы аудита, проверку поставщиков, контроль экспорта данных и отработанный процесс реагирования на инциденты. Псевдонимизация снижает риск, но это не то же самое, что анонимизация, и сама по себе обычно не снимает обязательства по GDPR.
DPIA стоит рассматривать до обработки, если она может создать высокий риск, особенно когда вы сочетаете несколько факторов:
- массовый сбор или мониторинг;
- профилирование или решения, влияющие на людей;
- специальные категории данных или особо чувствительные сведения;
- дети или другие уязвимые группы;
- объединение наборов данных для новых выводов;
- устойчивую идентификацию, данные о местоположении или повторное использование по модели data broker;
- обучение ИИ или модель, которая может запоминать либо раскрывать персональные данные.
Комиссия относит к случаям, требующим DPIA, систематическую и масштабную автоматизированную оценку, крупномасштабную обработку чувствительных данных и масштабный систематический мониторинг. Руководство по DPIA
Чек-лист запуска для команд, которые занимаются веб-скрейпингом
Перед запуском production-задачи проверь всё нижеследующее:
- Мы понимаем, содержит ли сбор персональные данные и почему GDPR применяется или не применяется.
- У нас есть точная письменная цель и белый список необходимых полей.
- Мы задокументировали законное основание и, если нужно, оценку законного интереса.
- Мы по умолчанию исключили чувствительные и высокорискованные источники и категории.
- Мы оценили ограничения источника и не обходим механизмы доступа.
- У нас есть прозрачное публичное объяснение и рабочий канал для запросов на реализацию прав и возражений.
- Мы понимаем роли контролёра/обработчика и имеем корректные договорные условия с подрядчиками.
- У нас есть процедуры хранения, удаления, блокировки и передачи требований дальше по цепочке.
- У нас есть соразмерные меры безопасности и ответственные за инциденты.
- Мы провели DPIA и оценку трансграничной передачи данных или сознательно задокументировали, почему они не нужны.
Практический вывод
соответствие GDPR для веб-скрейперов — это не поиск магической строки в robots.txt и не вставка дисклеймера в продукт. Это выстраивание сбора в соответствии с чётко сформулированной целью, предоставление людям понятной прозрачность данных и контроля, а также возможность позже доказать, почему вы приняли именно такие решения.
Начинай узко. Собирай меньше. Сохраняй источники и временные метки. Закладывай удаление в модель данных. А чувствительные, массовые, профилирующие и AI-тренировочные сценарии эскалируй до того, как данные уйдут дальше по цепочке. Такие привычки делают скрейпер более надёжным — и гораздо проще в эксплуатации, когда приходит первый вопрос о конфиденциальность данных.
Эта статья носит общий информационный характер и не является юридической консультацией. За рекомендациями по конкретным обстоятельствам, юрисдикциям, категориям данных и планируемому использованию обратитесь к квалифицированному специалисту.
Узнать больше
