Cómo rotar agentes de usuario y proxies simultáneamente

La danza de las sombras: Agentes de usuario y proxies en armonía

La historia de las muchas caras: ¿Por qué rotar agentes de usuario y proxies juntos?

En los bosques boreales, la liebre muda de pelaje con las estaciones, y el zorro se mueve sigilosamente entre los abedules, sin repetir jamás el mismo rastro. Del mismo modo, al recopilar datos de la vasta web, es necesario cambiar tanto de identidad como de ruta —agente de usuario y proxy— para permanecer invisible y a salvo de la atenta mirada de los guardianes digitales.

Optar solo por una u otra es como estrenar capa pero seguir siempre por el mismo camino. El verdadero anonimato y la resiliencia surgen de combinarlas, sin dejar que el patrón o la huella se asienten.

---

¿Qué es un agente de usuario?

Un agente de usuario es la voz que tu navegador o bot utiliza para presentarse ante un servidor web. Le dice al servidor: “Soy Chrome en Windows” o “Soy Safari en un iPhone”. Cambiar esta voz hace que tu rastreador se identifique como muchos visitantes diferentes, cada uno con su propia historia.

Ejemplos de agentes de usuario:

Navegador	Ejemplo de cadena de agente de usuario
Chrome (Windows)	Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36
Firefox (Linux)	Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:109.0) Gecko/20100101 Firefox/117.0
Safari (iOS)	Mozilla/5.0 (iPhone; CPU iPhone OS 17_0 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.0 Mobile/15E148 Safari/604.1

---

¿Qué es un proxy?

Un proxy es como un puente sobre un río: tus solicitudes lo cruzan y, al otro lado, el sitio web solo ve la huella del puente, no la tuya. Al cambiar de proxy, cruzas muchos puentes diferentes, y cada vez parece que vienes de una orilla distinta.

Tipos de Proxies:

Tipo de proxy	Descripción	Caso de uso
HTTP/HTTPS	Para el tráfico web, lo más sencillo de usar	La mayoría de las tareas de web scraping
SOCKS5	Admite varios protocolos, más flexible	Tráfico avanzado no HTTP
Residencial	Direcciones IP reales de dispositivos reales	Alta discreción, pero más costosa.
Centro de datos	Rápido, pero fácilmente detectable	Gran volumen de raspado, baja discreción

• Para obtener proxies HTTP gratuitos, visite Rodillo proxy, un claro bien cuidado donde puedes reunir proxies frescos sin costo alguno.

---

El patrón: ¿Por qué rotar ambos?

Si solo se rotan los agentes de usuario, el zorro cambia de máscara pero sigue el mismo rastro. Si solo se rotan los proxies, el zorro sigue nuevos rastros pero siempre usa la misma máscara. Cualquiera de los dos patrones se detecta rápidamente.

Al alternar ambas opciones simultáneamente, de modo que cada petición asocie una nueva máscara con un nuevo sendero, puedes moverte por el bosque sin ser detectado, como dicen los viejos cuentos: un cambiaformas, nunca el mismo, nunca del todo encontrado.

---

Enfoques de rotación

1. Rotación sincronizada (emparejamiento)

Para cada solicitud, seleccione un nuevo proxy y un nuevo agente de usuario, evitando así cualquier patrón fijo. Esta es la técnica de enmascaramiento más eficaz.

Ejemplo en Python usando Requests y ProxyRoller:

import requests
import random

# Fetch free proxies from ProxyRoller
proxy_list = requests.get('https://proxyroller.com/api/proxies?protocol=http').json()['proxies']

user_agents = [
    # Add a variety of user agent strings here
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
    'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:109.0) Gecko/20100101 Firefox/117.0',
    # ... more user agents
]

for _ in range(10):  # For 10 requests, for example
    proxy = random.choice(proxy_list)
    user_agent = random.choice(user_agents)

    proxies = {
        'http': f"http://{proxy['ip']}:{proxy['port']}",
        'https': f"http://{proxy['ip']}:{proxy['port']}",
    }
    headers = {'User-Agent': user_agent}

    try:
        response = requests.get('https://httpbin.org/ip', headers=headers, proxies=proxies, timeout=8)
        print(response.json(), user_agent)
    except Exception as e:
        print(f"Failed with proxy {proxy['ip']}: {e}")

• Obtén proxies nuevos usando API de ProxyRoller.

2. Piscinas rotatorias (Round Robin)

Crea dos listas —una de proxies y otra de agentes de usuario— y ve rotándolas de forma aleatoria o por turnos. Lo importante es no repetir nunca una misma combinación con demasiada frecuencia.

3. Uso de middleware (ejemplo de Scrapy)

En Scrapy, puedes implementar middleware para rotar ambos:

# settings.py
DOWNLOADER_MIDDLEWARES = {
   'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
   'myproject.middlewares.RotateUserAgentAndProxyMiddleware': 400,
}

# middlewares.py
import random

class RotateUserAgentAndProxyMiddleware:
    def __init__(self):
        self.user_agents = [ ... ]  # List of user agents
        self.proxies = [ ... ]      # List of proxies from ProxyRoller

    def process_request(self, request, spider):
        request.headers['User-Agent'] = random.choice(self.user_agents)
        proxy = random.choice(self.proxies)
        request.meta['proxy'] = f"http://{proxy['ip']}:{proxy['port']}"

• Ver Documentación del middleware de Scrapy.

---

Tabla comparativa: Métodos de rotación

Acercarse	Anonimato	Complejidad	Gestión de fallos	Idoneidad
Rotación UA única	Bajo	Bajo	Fácil	Raspamiento básico, bajo riesgo
Proxy único	Bajo	Bajo	Fácil	No recomendado
Sincronizado	Alto	Medio	Debe manejar los fallos	Producción, sigilo
Rotación de piscina	Medio	Medio	Debe manejar los fallos	escala moderada

---

Gestionar lo inevitable: Gestión de errores

Así como el leñador experimentado espera encontrarse ocasionalmente con un árbol caído en su camino, también debes esperar que los proxies fallen y que se detecten los agentes de usuario. Siempre:

• Captura las excepciones y vuelve a intentarlo con nuevos pares.
• Elimina los proxies inactivos de tu grupo.
• Monitorea los códigos de respuesta (403, 429 son señales de que te han detectado).

---

Herramientas y recursos

• Rodillo proxy – Para obtener proxies HTTP nuevos y gratuitos.
• UserAgents.me – Para obtener una lista completa de cadenas de agente de usuario.
• Scrapy – Para un control avanzado de la extracción de datos y del middleware.
• Solicita documentación – Para solicitudes HTTP en Python.

---

Unas últimas palabras desde el bosque

Siguiendo el espíritu de los antiguos cuentos suecos, viaja ligero y con prudencia. Cambia de rostro y de camino a cada paso, y los guardianes de la red solo verán sombras pasajeras, cada una distinta de la anterior. Y si necesitas otro puente, busca la arboleda de ProxyRoller, donde abundan los puentes y son gratuitos para todos los viajeros.