Скрапінг електронної комерції за допомогою Scrapingdog: API, проксі та налаштування

Скрапінг електронної комерції за допомогою Scrapingdog: API, проксі та налаштування
20 жовтня 2026 р.
20 хв читання

Скрапінг електронної комерції за допомогою Scrapingdog: API, проксі та налаштування

Дані електронної комерції змінюються швидше, ніж будь-який ручний процес дослідження може за ними встигати. Ціни змінюються щогодини, запаси зникають, спонсоровані розміщення ротуються, а кількість відгуків зростає за ніч. Скрапінг електронної комерції за допомогою Scrapingdog — це один зі способів встигати: він обгортає ротаційні проксі, рендеринг безголовим браузером і обробку антибот-захисту в один виклик API, щоб ваш конвеєр продовжував повертати дані про товари, ціни та відгуки, а не збоїв на середині каталогу.

У цій статті пояснюється, що насправді пропонує Scrapingdog для електронної комерції, де загальний API скрапінгу зупиняється, а починається спеціалізована кінцева точка для електронної комерції, як працює модель кредитів і як команди, що керують багатьма акаунтами продавців або вітрин, повинні думати про рівень браузера та проксі, який оточує скрапер.

Для чого створено Scrapingdog

Scrapingdog — це API веб-скрапінгу. Замість того, щоб керувати власним пулом проксі та парком безголових Chrome, ви надсилаєте цільову URL-адресу й отримуєте структуровані дані назад. Платформа бере на себе частини, які зазвичай ламаються у виробництві:

  • Ротаційні проксі. Запити маршрутизуються через великий пул IP-адрес, країн і операторів, щоб один домен не обмежував вас до відмови.
  • Рендеринг справжнім браузером. Сторінки з великою кількістю JavaScript рендеряться в безголовому Chrome, що важливо для вітрин, які завантажують ціни або наявність після початкового HTML.
  • Обробка антибот-захисту. Ротація відбитків і людиноподібні шаблони запитів зменшують блокування на захищених сайтах.
  • Розв'язування CAPTCHA. Виклики обробляються у фоновому режимі, а не повертаються у ваш код.
  • Геотаргетинг. Запити можна маршрутизувати через конкретні країни, що важливо, коли роздрібний продавець показує різні ціни або запаси залежно від регіону.
  • Паралелізм. Ви можете масштабувати від кількох запитів до мільйонів без переписування інтеграції.

Ця комбінація є основною пропозицією: ви платите за успішні запити й пропускаєте інфраструктурну роботу.

Загальний API скрапінгу проти спеціалізованих API електронної комерції

Це перше рішення, яке більшість команд приймають неправильно. Scrapingdog пропонує як загальну кінцеву точку скрапінгу, так і набір спеціалізованих API електронної комерції, і вони вирішують різні проблеми.

Загальний API скрапінгу

Використовуйте його, коли вам потрібні довільні сторінки: нішова вітрина, регіональний маркетплейс, сторінка категорії з користувацькими фільтрами або сайт, для якого ніхто не створив парсер. Ви надаєте URL-адресу, а API повертає відрендерений вміст або Markdown/JSON, готовий для LLM. Логіка парсингу — на вашому боці.

Спеціалізовані API електронної комерції

Використовуйте їх, коли цільовим є великий маркетплейс, і ви хочете структуровані поля без написання парсерів. Scrapingdog публікує спеціалізовані кінцеві точки для кількох великих платформ, зокрема:

  • Amazon — сторінки товарів (назва, ціна, рейтинг, наявність), пропозиції купівлі та продавці, відгуки з рейтингами та значками підтвердження, а також рейтинги Best Sellers / New Releases за категоріями.
  • Walmart — дані про товари, включаючи ціну, ідентифікатор продавця, ім'я продавця, статус наявності та категорію.
  • eBay — лістинги з назвою, ціною, станом і продавцем.
  • App Store — лістинги додатків, сторінки продуктів і відгуки клієнтів.
  • Платформи швидкої комерції — кінцеві точки пошуку та деталей товарів, які повертають ціни, запаси, варіанти та спонсоровані лістинги за поштовим індексом або координатами.

Компроміс очевидний. Спеціалізовані кінцеві точки економлять час інженерів і повертають чистий JSON, але вони охоплюють платформи, для яких Scrapingdog створив підтримку. Усе, що поза цим списком, повертається до загального API, де ви самостійно підтримуєте логіку вилучення.

Якщо ваш каталог охоплює як великі маркетплейси, так і довгохвостові магазини, поширений підхід — запускати спеціалізовані кінцеві точки для великих платформ і загальний API для всього іншого, а потім нормалізувати обидва виводи в одну схему на вашому боці.

Як працює модель кредитів і ціноутворення

Scrapingdog використовує кредити за запити, а не сирі підрахунки сторінок, і точкою входу є безкоштовний рівень із 100 кредитами без потреби в кредитній картці. Платні плани масштабують запити, паралелізм і рівень підтримки разом — паралелізм зазвичай є обмеженням, яке першим дає про себе знати, оскільки він визначає, скільки запитів виконується паралельно.

Кілька практичних зауважень щодо планування:

  1. Оцінюйте запити, а не товари. Одна сторінка товару — це один запит, але повне завдання цінової аналітики може вимагати сторінки товару, сторінки пропозицій і сторінки відгуків — три запити на SKU за перевірку.
  2. Помножте на частоту перевірок. Щоденний моніторинг 10 000 SKU через три кінцеві точки — це приблизно 30 000 запитів на день, що є зовсім іншим планом, ніж щотижневий знімок.
  3. Слідкуйте за паралелізмом перед обсягом. Великий баланс кредитів із низьким паралелізмом усе одно означає повільні завдання. Узгодьте паралелізм із вашим вікном оновлення.
  4. Використовуйте геотаргетинг свідомо. Перевірки регіональних цін множать обсяг запитів, тому обмежте їх ринками, які справді важливі для ваших цінових рішень.

Де скрапінг блокується і чому

Сайти електронної комерції захищають свої дані з поважних комерційних причин. Три режими збоїв, які трапляються найчастіше:

  • Блокування на рівні IP. Діапазони дата-центрів швидко позначаються, тому резидентні та ротаційні проксі важливіші за сиру швидкість запитів.
  • Зміни макета та розмітки. Скрапер, прив'язаний до одного CSS-селектора, ламається в момент, коли вітрина випускає редизайн. Структуровані API поглинають більше цього, але не все.
  • Регіональна варіативність. Та сама URL-адреса може повертати різні ціни, валюти або наявність залежно від того, звідки надходить запит, тому скрапінг з одного регіону може давати оманливі дані.

Керований API вирішує всі три на рівні інфраструктури. Чого він не вирішує — це рівень акаунтів і браузера на вашому боці, який стає актуальним, щойно ваш робочий процес передбачає вхід.

Рівень акаунтів: коли скрапінг зустрічається з багатоакаунтністю

Публічні сторінки товарів можна скрапити без будь-якого входу. Але значна частка корисної інформації електронної комерції знаходиться за акаунтом: панелі продавців, звіти за ключовими словами реклами, рівні оптових цін, панелі замовлень і запасів, а також регіональні вітрини, які показують повні ціни лише авторизованим користувачам.

Це інша технічна проблема. Вхід у багато акаунтів з однієї машини, одного браузера й одного IP — це саме той шаблон, який платформи позначають як автоматизацію. Файли cookie конфліктують, відбитки повторюються, і одне блокування може каскадно поширитися на кожен акаунт, що використовує це середовище.

Саме тут антидетект-браузер природно вписується в робочий процес даних електронної комерції. AdsPower створює ізольовані профілі браузера, кожен зі своїм власним відбитком — параметрами Canvas, WebGL, мережі та user agent — у парі з власним проксі. Замість одного браузера, що жонглює десятками сесій, ви отримуєте десятки незалежних середовищ на одному комп'ютері. Для команд, які керують кількома акаунтами продавців, рекламними акаунтами або регіональними входами на вітрини поряд зі своїм конвеєром скрапінгу, саме ця ізоляція підтримує стабільність сесій.

Дві деталі особливо важливі для роботи, суміжної зі скрапінгом:

  • Прив'язка проксі до кожного профілю. Кожен профіль повинен мати власний проксі, щоб IP і відбиток залишалися узгодженими. Кроки налаштування описані в цьому посібнику з використання AdsPower з проксі.
  • Автоматизація. AdsPower підтримує пакетне керування профілями та автоматизацію, включаючи AI Agent із запланованими завданнями, що корисно, коли робочий процес із входом потрібно запускати за повторюваним розкладом, а не вручну.

Для ширшого огляду того, як ці інструменти порівнюються за відбитками, автоматизацією та ціноутворенням, дивіться це порівняння AdsPower, BitBrowser і Dolphin Anty.

Практичний робочий процес скрапінгу електронної комерції

Реалістичний конвеєр для цінової та каталожної аналітики виглядає так:

  1. Визначте поля, які вам насправді потрібні. Назва, ціна, валюта, статус наявності, продавець, рейтинг і кількість відгуків охоплюють більшість конкурентного аналізу. Скрапінг полів, які ви ніколи не запитуєте, — це марна витрата.
  2. Розділіть цілі за типом кінцевої точки. Спрямовуйте Amazon, Walmart і eBay через спеціалізовані API; довгохвостові магазини — через загальний API скрапінгу.
  3. Встановіть геотаргетинг для кожного ринку. Маршрутизуйте лише через країни, де ви приймаєте цінові рішення.
  4. Плануйте за волатильністю. Категорії, що швидко змінюються, потребують щоденних або внутрішньоденних перевірок; стабільні каталоги можна запускати щотижня.
  5. Зберігайте сирі відповіді перед парсингом. Коли парсер ламається, сирі дані дозволяють повторно обробити історію, а не скрапити її заново.
  6. Відокремлюйте публічний скрапінг від робочих процесів із входом. Публічні дані проходять через API; дані, закриті акаунтом, — через ізольовані профілі браузера з виділеними проксі.
  7. Слідкуйте за відсотком успішності, а не лише за обсягом. Падіння відсотка успішності — найраніший сигнал, що ціль змінила свій захист.

Вибір між DIY та керованим API

Фактор DIY (Python/Node + проксі + безголовий браузер) API Scrapingdog
Зусилля на налаштування Високі: пул проксі, парк браузерів, повторні спроби Низькі: один HTTP-виклик
Обслуговування Ви виправляєте поломки при кожній зміні макета Платформа поглинає більшість інфраструктурних змін
Форма витрат Фіксовані сервери плюс контракти на проксі Кредити за запит
Масштабування Потребує інженерних ресурсів Паралелізм масштабується разом із планом
Контроль Повний контроль над рендерингом і парсингом Обмежений поведінкою API
Найкраще для Унікальні цілі, суворі контракти даних Стандартні маркетплейси, швидкий час до даних

Більшість команд зрештою обирають гібрид: керовані API для найважливіших платформ і невеликий власний скрапер для однієї-двох цілей, які ніхто інший не покриває.

Поширені помилки, яких слід уникати

  • Скрапінг без геотаргетингу й довіра до ціни. Ви повідомите неправильне число для кожного регіону, через який не маршрутизували.
  • Ігнорування обмежень паралелізму. Планування обсягу без планування паралелізму створює завдання, які ніколи не завершуються в межах вікна оновлення.
  • Запуск робочих процесів із входом у звичайному браузері. Спільні cookie та відбитки між акаунтами — найшвидший шлях до хвилі блокувань.
  • Повторне використання одного проксі для багатьох профілів. Це пов'язує акаунти, які мають бути незалежними.
  • Відсутність перевірки виводу. Вибірково перевіряйте розібрані поля на живій сторінці; тихе відхилення парсера гірше за жорсткий збій.

Пов'язане читання

Джерела та додаткове читання

Часті запитання

Чи законно використовувати Scrapingdog для даних електронної комерції?

Скрапінг загальнодоступних даних зазвичай дозволений у багатьох юрисдикціях, але правила відрізняються залежно від країни та умов сайту. Ознайомтеся з умовами обслуговування цільового сайту та застосовним законодавством і уникайте скрапінгу персональних даних або вмісту за автентифікацією без дозволу.

Чи потрібні мені проксі, якщо я використовую Scrapingdog?

Ні. Ротація проксі, геотаргетинг і обробка антибот-захисту є частиною сервісу. Вам потрібні власні проксі лише якщо ви запускаєте окремі робочі процеси браузера з входом поза API.

Яка різниця між загальним API та API електронної комерції?

Загальний API повертає відрендерений вміст для будь-якої URL-адреси й залишає парсинг вам. Спеціалізовані API електронної комерції повертають структуровані поля — ціну, запас, продавця, рейтинг, відгуки — для конкретних великих маркетплейсів, тому парсер не потрібен.

Скільки кредитів використовує типове завдання моніторингу цін?

Рахуйте запити, а не товари. Сторінка товару, сторінка пропозицій і сторінка відгуків — це три запити на SKU за перевірку. Помножте на кількість SKU та частоту перевірок, щоб визначити розмір плану.

Чи можу я скрапити ціни для конкретних регіонів?

Так, геотаргетинг маршрутизує запити через проксі в обраних країнах, що дозволяє захоплювати локалізовані ціни та наявність. Закладайте додаткові запити для кожного додаткового ринку.

Де вписується антидетект-браузер, якщо API обробляє блокування?

API охоплює публічні сторінки. Антидетект-браузери охоплюють роботу, закриту акаунтом — панелі продавців, звіти реклами, оптові портали — де кожен вхід потребує власного ізольованого відбитка та проксі.

Висновок

Скрапінг електронної комерції Scrapingdog найсильніший там, де робота повторювана, а цілі — мейнстрім: Amazon, Walmart, eBay та інші великі платформи, де структуровані кінцеві точки знімають тягар обслуговування парсера, а ротаційні проксі усувають цикл блокування й повторних спроб. Безкоштовний рівень із 100 кредитами достатній, щоб перевірити якість виводу перед зобов'язанням за планом, а модель кредитів легко оцінити, коли ви рахуєте запити на SKU за перевірку, а не товари.

Частина, яку API не може охопити, — це все, що за входом. Якщо ваша операція електронної комерції включає кілька акаунтів продавців, рекламних акаунтів або регіональних сесій вітрин, рівень браузера потребує тієї ж дисципліни, що й рівень скрапінгу: один ізольований профіль, один відбиток, один проксі на акаунт. Саме цю прогалину покликаний закрити антидетект-браузер, як-от AdsPower, і його варто налаштувати до того, як хвиля блокувань змусить це зробити.

Drive revenue with AdsPower

Start free