Como alternar agentes de usuário e proxies simultaneamente

A Dança das Sombras: Rotacionando Agentes de Usuário e Proxies em Harmonia

A História das Muitas Faces: Por que Alternar Agentes de Usuário e Proxies em Conjunto?

Nas florestas do norte, a lebre troca de pelagem com as estações do ano, e a raposa se move silenciosamente entre os vidoeiros, nunca seguindo o mesmo rastro duas vezes. Da mesma forma, ao coletar dados da vasta internet, é preciso mudar tanto a aparência quanto o caminho — o agente do usuário e o proxy — para permanecer invisível e não ser incomodado pelos olhos vigilantes dos guardiões digitais.

Alternar apenas uma ou outra é como vestir uma capa nova, mas percorrer a mesma estrada de sempre. O verdadeiro anonimato e a resiliência vêm da combinação de ambas, sem jamais deixar que um padrão ou uma pegada se estabeleçam.

---

O que é um agente de usuário?

Um agente de usuário é a voz que seu navegador ou bot usa para se apresentar a um servidor web. Ele diz ao servidor: "Eu sou o Chrome no Windows" ou "Eu sou o Safari no iPhone". Alterar essa voz faz com que seu rastreador pareça ser vários visitantes diferentes, cada um com sua própria história.

Exemplos de agentes de usuário:

Navegador	Exemplo de string do agente do usuário
Chrome (Windows)	Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36
Firefox (Linux)	Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:109.0) Gecko/20100101 Firefox/117.0
Safari (iOS)	Mozilla/5.0 (iPhone; CPU iPhone OS 17_0 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.0 Mobile/15E148 Safari/604.1

---

O que é um proxy?

Um proxy é como uma ponte sobre um rio — suas solicitações atravessam a ponte e, do outro lado, o site vê apenas a área de cobertura da ponte, não a sua. Ao trocar de proxy, você atravessa várias pontes diferentes, dando a impressão de vir de uma margem diferente a cada vez.

Tipos de Proxies:

Tipo de proxy	Descrição	Caso de uso
HTTP/HTTPS	Para tráfego web, o mais simples de usar.	A maioria das tarefas de web scraping
SOCKS5	Suporta diversos protocolos, oferecendo maior flexibilidade.	Tráfego avançado, não HTTP
residencial	IPs reais de dispositivos reais	Alto nível de furtividade, porém mais caro.
Centro de dados	Rápido, mas facilmente detectável	Raspagem em grande volume, baixa discrição

• Para obter proxies HTTP gratuitos, visite Rolo de Proxy, uma clareira bem cuidada onde você pode coletar proxies frescos sem custo algum.

---

O padrão: por que rotacionar ambos?

Se você alternar apenas os agentes de usuário, a raposa usa uma máscara diferente, mas segue o mesmo rastro. Se você alternar apenas os proxies, a raposa segue novos rastros, mas sempre usa a mesma máscara. Qualquer um dos padrões é percebido rapidamente.

Alternando entre as duas em conjunto, com cada solicitação combinando uma nova máscara com um novo rastro, você consegue se mover pela floresta sem ser notado, como dizem os contos antigos — um metamorfo, nunca exatamente o mesmo, nunca completamente encontrado.

---

Abordagens para Rotação

1. Rotação Sincronizada (Emparelhamento)

Para cada requisição, selecione um novo proxy e um novo agente de usuário, garantindo que não haja um padrão fixo. Essa é a camuflagem mais eficaz.

Exemplo em Python usando Requests e ProxyRoller:

import requests
import random

# Fetch free proxies from ProxyRoller
proxy_list = requests.get('https://proxyroller.com/api/proxies?protocol=http').json()['proxies']

user_agents = [
    # Add a variety of user agent strings here
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
    'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:109.0) Gecko/20100101 Firefox/117.0',
    # ... more user agents
]

for _ in range(10):  # For 10 requests, for example
    proxy = random.choice(proxy_list)
    user_agent = random.choice(user_agents)

    proxies = {
        'http': f"http://{proxy['ip']}:{proxy['port']}",
        'https': f"http://{proxy['ip']}:{proxy['port']}",
    }
    headers = {'User-Agent': user_agent}

    try:
        response = requests.get('https://httpbin.org/ip', headers=headers, proxies=proxies, timeout=8)
        print(response.json(), user_agent)
    except Exception as e:
        print(f"Failed with proxy {proxy['ip']}: {e}")

• Obtenha novos proxies usando API do ProxyRoller.

2. Grupos Rotativos (Round Robin)

Configure duas listas — uma de proxies e outra de agentes de usuário — e alterne entre elas de forma rotativa ou aleatória. O importante é nunca repetir uma combinação com muita frequência.

3. Utilizando Middleware (Exemplo com Scrapy)

No Scrapy, você pode implementar um middleware para rotacionar ambos:

# settings.py
DOWNLOADER_MIDDLEWARES = {
   'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
   'myproject.middlewares.RotateUserAgentAndProxyMiddleware': 400,
}

# middlewares.py
import random

class RotateUserAgentAndProxyMiddleware:
    def __init__(self):
        self.user_agents = [ ... ]  # List of user agents
        self.proxies = [ ... ]      # List of proxies from ProxyRoller

    def process_request(self, request, spider):
        request.headers['User-Agent'] = random.choice(self.user_agents)
        proxy = random.choice(self.proxies)
        request.meta['proxy'] = f"http://{proxy['ip']}:{proxy['port']}"

• Ver Documentação do Middleware Scrapy.

---

Tabela comparativa: abordagens de rotação

Abordagem	Anonimato	Complexidade	Tratamento de falhas	Adequação
Rotação única UA	Baixo	Baixo	Fácil	Raspagem básica, baixo risco
Proxy Único	Baixo	Baixo	Fácil	Não recomendado
Sincronizado	Alto	Médio	Deve lidar com falhas	Produção, sigilosa
Rotação da piscina	Médio	Médio	Deve lidar com falhas	Escala moderada

---

Lidando com o Inevitável: Gestão de Erros

Assim como o lenhador experiente espera encontrar uma árvore caída em seu caminho, você também deve esperar que os proxies falhem e que os agentes de usuário sejam detectados. Sempre:

• Capturar exceções e tentar novamente com novos pares.
• Remova proxies inativos do seu pool.
• Monitore os códigos de resposta (403, 429 indicam que você foi detectado).

---

Ferramentas e recursos

• Rolo de Proxy – Para proxies HTTP novos e gratuitos.
• UserAgents.me – Para obter uma lista completa de strings de agente de usuário.
• Raspado – Para raspagem avançada de dados e controle de middleware.
• Solicitações de Documentação – Para requisições HTTP em Python.

---

Uma última palavra da floresta

No espírito dos antigos contos suecos, viaje leve e com sabedoria. Mude seu rosto e seu caminho a cada passo, e os guardiões da teia verão apenas sombras passageiras, cada uma diferente da anterior. E se precisar de outra ponte, procure o bosque de ProxyRoller, onde as pontes são muitas e gratuitas para todos os viajantes.