Как одновременно чередовать пользовательские агенты и прокси

Танец теней: гармоничное чередование пользовательских агентов и прокси

Сказка о многих лицах: зачем чередовать пользовательские агенты и прокси-серверы?

В северных лесах заяц меняет свою шерсть в зависимости от сезона, а лиса тихонько бродит между берёзами, никогда не следуя дважды по одному и тому же следу. Точно так же, собирая данные в бескрайней паутине, приходится менять и лицо, и путь — пользовательский агент и прокси, — чтобы оставаться незамеченным и не подвергаться беспокойству со стороны бдительных цифровых надзорных органов.

Чередовать только один из них — всё равно что надеть новый плащ, но идти по старой дороге. Истинная анонимность и устойчивость достигаются, когда сплетаешь их вместе, не позволяя ни узору, ни следу укорениться.

---

Что такое пользовательский агент?

Пользовательский агент — это голос, который ваш браузер или бот использует для представления себя веб-серверу. Он сообщает серверу: “Я — Chrome на Windows” или “Я — Safari на iPhone”. Изменение этого голоса позволяет вашему поисковому роботу выглядеть как множество разных посетителей, у каждого из которых своя история.

Примеры пользовательских агентов:

Браузер	Пример строки пользовательского агента
Chrome (Windows)	Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36
Firefox (Linux)	Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:109.0) Gecko/20100101 Firefox/117.0
Сафари (iOS)	Mozilla/5.0 (iPhone; CPU iPhone OS 17_0 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.0 Mobile/15E148 Safari/604.1

---

Что такое прокси?

Прокси-сервер — это мост через реку: ваши запросы пересекают реку, а на другом берегу сайт видит только след моста, а не ваш. Меняя прокси-серверы, вы пересекаете множество разных мостов, каждый раз создавая впечатление, что вы с другого берега.

Типы прокси:

Тип прокси	Описание	Вариант использования
HTTP/HTTPS	Для веб-трафика, самый простой в использовании	Большинство задач по веб-скрапингу
SOCKS5	Поддерживает различные протоколы, более гибкий	Расширенный трафик, не являющийся HTTP
Жилой	Реальные IP-адреса реальных устройств	Высокая скрытность, но более высокая стоимость
Центр обработки данных	Быстро, но легко обнаружить	Большой объем сбора данных, низкая скрытность

• Для бесплатных HTTP-прокси посетите ProxyRoller, ухоженная поляна, где можно бесплатно собрать свежих прокси.

---

Шаблон: Зачем вращать оба?

Если менять только юзерагентов, лиса носит новую маску, но следует по тому же следу. Если менять только прокси, лиса следует по новым следам, но всегда носит одну и ту же маску. Любая из этих закономерностей быстро заметна.

Вращая их одновременно, при этом каждый запрос сочетает новую маску с новым следом, вы можете передвигаться по лесу незамеченным, как говорится в старых сказках — оборотень, никогда не становящийся прежним и никогда не найденный.

---

Подходы к ротации

1. Синхронизированное вращение (спаривание)

Для каждого запроса выбирайте новый прокси и новый пользовательский агент, не придерживаясь шаблона. Это самый эффективный способ маскировки.

Пример Python с использованием Requests и ProxyRoller:

import requests
import random

# Fetch free proxies from ProxyRoller
proxy_list = requests.get('https://proxyroller.com/api/proxies?protocol=http').json()['proxies']

user_agents = [
    # Add a variety of user agent strings here
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
    'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:109.0) Gecko/20100101 Firefox/117.0',
    # ... more user agents
]

for _ in range(10):  # For 10 requests, for example
    proxy = random.choice(proxy_list)
    user_agent = random.choice(user_agents)

    proxies = {
        'http': f"http://{proxy['ip']}:{proxy['port']}",
        'https': f"http://{proxy['ip']}:{proxy['port']}",
    }
    headers = {'User-Agent': user_agent}

    try:
        response = requests.get('https://httpbin.org/ip', headers=headers, proxies=proxies, timeout=8)
        print(response.json(), user_agent)
    except Exception as e:
        print(f"Failed with proxy {proxy['ip']}: {e}")

• Соберите свежие прокси, используя API ProxyRoller.

2. Круговая система (Round Robin)

Создайте два списка — один для прокси-серверов, другой для пользовательских агентов — и чередуйте их по кругу или случайным образом. Главное — не повторять одно и то же сочетание слишком часто.

3. Использование промежуточного программного обеспечения (пример Scrapy)

В Scrapy вы можете реализовать промежуточное программное обеспечение для ротации:

# settings.py
DOWNLOADER_MIDDLEWARES = {
   'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
   'myproject.middlewares.RotateUserAgentAndProxyMiddleware': 400,
}

# middlewares.py
import random

class RotateUserAgentAndProxyMiddleware:
    def __init__(self):
        self.user_agents = [ ... ]  # List of user agents
        self.proxies = [ ... ]      # List of proxies from ProxyRoller

    def process_request(self, request, spider):
        request.headers['User-Agent'] = random.choice(self.user_agents)
        proxy = random.choice(self.proxies)
        request.meta['proxy'] = f"http://{proxy['ip']}:{proxy['port']}"

• Видеть Документация по промежуточному программному обеспечению Scrapy.

---

Сравнительная таблица: подходы к ротации

Подход	Анонимность	Сложность	Обработка отказов	Пригодность
Одиночный поворот UA	Низкий	Низкий	Легкий	Базовый соскоб, низкий риск
Единый прокси	Низкий	Низкий	Легкий	Не рекомендуется
Синхронизированный	Высокий	Середина	Необходимо обрабатывать сбои	Производство, скрытность
Ротация пула	Середина	Середина	Необходимо обрабатывать сбои	Умеренный масштаб

---

Справиться с неизбежным: управление ошибками

Подобно тому, как мудрый лесник ожидает, что на его пути случайно окажется упавшее дерево, так и вы должны ожидать сбоев прокси-серверов и обнаружения пользовательских агентов. Всегда:

• Перехватите исключения и повторите попытку с новыми парами.
• Удалите неработающие прокси из вашего пула.
• Следите за кодами ответов (403, 429 — признаки того, что вас заметили).

---

Инструменты и ресурсы

• ProxyRoller – Для свежих, бесплатных HTTP-прокси.
• UserAgents.me – Полный список строк пользовательских агентов.
• Скрепи – Для расширенного сбора данных и управления промежуточным программным обеспечением.
• Запросы документации – Для HTTP-запросов в Python.

---

Последнее слово из леса

В духе старых шведских сказок, путешествуйте налегке и мудро. Меняйте свой облик и путь с каждым шагом, и стражи паутины будут видеть лишь мимолетные тени, каждая из которых отличается от предыдущей. А если вам понадобится новый мост, ищите поляну ПроксиРоллера, где мостов много, и они доступны всем путникам.