Парсинг Amazon — повний гайд + топ-5 проксі
Amazon має один з найжорсткіших rate-limit і bot-detection серед e-commerce. Розповідаємо як обрати проксі під різні сценарії: моніторинг цін, dropshipping research, ASIN tracking.
Топ-5 провайдерів для цієї задачі
Оцінка PROXYDECK редакції на основі тестів за останні 6 місяців. Враховували success rate саме на цьому таргеті, ціну, толерантність до use-case і compliance-питання.
ⓘ Кнопки переходу можуть бути партнерськими посиланнями: ціна для вас не змінюється, комісія не впливає на оцінки. Як ми заробляємо
Як налаштувати — покроково
1. Налаштуйте rotation per request
Amazon має агресивний rate-limit на IP — не більше 50-100 requests на годину з однієї адреси. Тому ротуйте кожен запит:
import requests, random
PROXIES = [...] # ваш residential pool
def fetch_amazon(asin):
proxy = random.choice(PROXIES)
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)',
'Accept-Language': 'en-US,en;q=0.9'
}
return requests.get(
f'https://amazon.com/dp/{asin}',
proxies={'http': proxy, 'https': proxy},
headers=headers,
timeout=15
)2. Заблокуйте image/CSS — економія 70-80% bandwidth
Картки товарів у Amazon важать ~300-500 KB. Без images і CSS — 50-80 KB. Економія 4-6× на bandwidth = різниця $200/міс vs $50/міс на residential.
3. Додайте retry-logic на 503/429
На retry — берить новий IP. На 5 послідовних 503 з різних IP — це знак що ваш fingerprint detected. Зміняйте User-Agent rotation на більш широкий пул.
4. Поважайте robots.txt і ToS
Amazon забороняє scraping у ToS, але юридично це contractual breach а не злочин (прецедент hiQ vs LinkedIn). Не парсите авторизовані сторінки і не використовуйте дані для прямого ре-продажу.