Законно ли парсить сайты

Короткий ответ

Сам по себе автоматический сбор открытой информации — то есть того, что сайт показывает любому посетителю, — широко применяется в бизнесе. Риски возникают не из-за технологии, а из-за того, какие данные собираются, как это делается и как они потом используются.

Пять границ, которые важно соблюдать

1. Только открытые данные

Информация в личных кабинетах, платных разделах и за авторизацией не является общедоступной. Получать её в обход ограничений владельца сайта нельзя. Мы работаем только с данными, опубликованными для всех.

2. Персональные данные

Сведения о физических лицах — имена, телефоны, адреса — регулируются законодательством о персональных данных (в Казахстане — Закон РК «О персональных данных и их защите»). То, что информация где-то опубликована, не даёт права собирать её в базы. Поэтому добросовестный парсинг ограничивается сведениями о товарах, ценах и организациях.

3. Авторское право

Цена — это факт, а оригинальное описание товара и фотография — объекты авторского права. Использовать их для анализа — одно, а размещать на своём сайте без разрешения — другое. Для наполнения магазина безопаснее использовать материалы поставщика или создавать свои. Подробнее: как работать с поставщиками.

4. Нагрузка на сайт

Слишком частые запросы могут мешать работе сайта. Бережный сбор — паузы между запросами, сбор в непиковые часы, только нужные страницы — это и вопрос этики, и защита от блокировок.

5. Обход технической защиты

Если владелец сайта установил техническую защиту от автоматического доступа, её обход создаёт риски. Мы не обходим защиту сайтов и сразу говорим клиенту, если источник для сбора недоступен.

Что обычно считается допустимым

• сбор цен, наличия и характеристик товаров для мониторинга рынка;
• анализ ассортимента и продавцов на маркетплейсах;
• сбор публичных сведений об организациях — названия, рубрики, адреса, рейтинги;
• сбор параметров объявлений — цены, площадь, год — для анализа рынка;
• выгрузка собственного каталога со своего же сайта.

Чего лучше избегать

• сбор телефонов и e-mail физических лиц для рассылок и обзвона;
• копирование чужого контента на свой сайт без разрешения;
• доступ к закрытым разделам и обход защиты;
• интенсивные запросы, которые нарушают работу сайта.

Как мы работаем

Мы собираем только открытые данные, не работаем с персональными данными физических лиц и закрытыми разделами, бережно нагружаем источники. Если задача выходит за эти рамки, мы скажем об этом на этапе оценки. Подробнее об услуге — парсинг сайтов на заказ.