Как парсить сайт: пошаговый разбор

Шаг 1. Определить цель и поля

Всё начинается не с кода, а с вопроса «зачем». От цели зависят поля, объём и частота. Для мониторинга цен достаточно артикула, названия, цены и наличия. Для наполнения магазина — описаний, характеристик и фото. Для анализа рынка — продавцов, рейтингов и отзывов.

Хорошая практика — сразу нарисовать желаемую таблицу: какие колонки, в каком порядке, в каком формате цены и даты. Это экономит время на переделки.

Шаг 2. Изучить структуру сайта

Дальше нужно понять, как устроен источник:

• Где лежат нужные страницы. Каталог → категории → подкатегории → карточки. Есть ли карта сайта (sitemap.xml), через которую можно получить все ссылки сразу.
• Как устроена пагинация. Номера страниц, кнопка «Показать ещё» или бесконечная прокрутка.
• Откуда берутся данные. Сразу в HTML страницы или подгружаются скриптом после открытия. Во втором случае часто удобнее найти запрос, который возвращает данные в JSON.
• Есть ли варианты товара. Цвета и размеры с отдельными ценами и наличием.

Шаг 3. Собрать ссылки на все страницы

Парсер обходит категории и пагинацию и составляет список адресов карточек. На этом этапе важно проверить полноту: сравнить число собранных ссылок с количеством товаров, которое показывает сам сайт в категориях.

Шаг 4. Извлечь данные из страниц

Для каждого поля описывается правило, где его искать на странице. Обычно это CSS-селекторы или выражения XPath — «адреса» элементов внутри HTML. Например, цена может лежать в элементе с классом price, а артикул — в таблице характеристик в строке «Артикул».

Правила проверяют на десятке разных карточек: у товаров со скидкой, без наличия, с вариантами. Именно здесь ловится большинство ошибок.

Шаг 5. Очистить и привести к единому виду

• цены — к числам без пробелов и символа валюты;
• наличие — к понятным значениям «есть / нет / под заказ»;
• характеристики — по отдельным колонкам;
• дубли — удалить (один товар может встречаться в нескольких категориях).

Подробнее — в статье как удалить дубликаты.

Шаг 6. Сохранить результат

Данные записываются в нужный формат: Excel, CSV, Google Таблицу, JSON или базу данных. Для регулярных задач настраивается расписание и сравнение с прошлой выгрузкой — что подорожало, что появилось, что пропало. Форматы описаны на странице «Форматы выгрузки».

Правила бережного сбора

Добросовестный парсинг не мешает работе сайта и ограничивается открытыми данными:

• собирать только то, что опубликовано для всех посетителей;
• делать паузы между запросами и не создавать лишнюю нагрузку;
• не собирать персональные данные физических лиц;
• не копировать на свой сайт тексты и фото, защищённые авторским правом, без разрешения.

О правовой стороне — в статье «Законно ли парсить сайты».

Типичные ошибки

• не учтены товары в нескольких категориях — в таблице появляются дубли;
• не учтены варианты товара — теряются цены отдельных размеров;
• сайт поменял вёрстку — регулярный парсер молча начинает отдавать пустые поля;
• цена собрана как текст — с ней нельзя считать в Excel.

Если не хочется разбираться в технических деталях, сбор можно заказать под ключ: вы описываете задачу, а получаете готовую таблицу. См. парсинг сайтов на заказ.