Come ruotare insieme gli user agent e i proxy

La danza delle ombre: rotazione di user agent e proxy in armonia

La storia dai molti volti: perché far ruotare insieme user agent e proxy?

Nelle foreste settentrionali, la lepre cambia il suo mantello con le stagioni e la volpe si muove silenziosamente tra le betulle, senza mai seguire due volte la stessa pista. Allo stesso modo, quando si raccolgono dati dal vasto web, è necessario cambiare sia il volto che il percorso – user agent e proxy – per rimanere invisibili e indisturbati dagli occhi vigili delle guardie digitali.

Alternare solo l'uno o l'altro è come indossare un nuovo mantello ma percorrere la stessa vecchia strada. Il vero anonimato e la vera resilienza nascono dall'intrecciare entrambi, senza mai lasciare che un modello o un'impronta si sedimentino.

---

Che cos'è uno User Agent?

Uno user agent è la voce che il tuo browser o bot usa per presentarsi a un server web. Dice al server: "Sono Chrome su Windows" o "Sono Safari su un iPhone". Cambiando questa voce, il tuo crawler apparirà come tanti visitatori diversi, ognuno con la propria storia.

Esempi di User Agent:

Navigatore	Esempio di stringa dell'agente utente
Chrome (Windows)	Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36
Firefox (Linux)	Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:109.0) Gecko/20100101 Firefox/117.0
Safari (iOS)	Mozilla/5.0 (iPhone; CPU iPhone OS 17_0 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.0 Mobile/15E148 Safari/604.1

---

Che cos'è un proxy?

Un proxy è un ponte sul fiume: le tue richieste attraversano il ponte e, dall'altra parte, il sito web vede solo l'impronta del ponte, non la tua. Cambiando proxy, attraversi molti ponti diversi, che ogni volta sembrano provenire da una sponda diversa.

Tipi di proxy:

Tipo di proxy	Descrizione	Caso d'uso
HTTP/HTTPS	Per il traffico web, il più semplice da usare	La maggior parte delle attività di web scraping
SOCKS5	Supporta vari protocolli, più flessibile	Traffico avanzato non HTTP
Residenziale	IP reali da dispositivi reali	Alta furtività, ma più costosa
Centro dati	Veloce, ma facilmente rilevabile	Raschiatura ad alto volume, bassa furtività

• Per proxy HTTP gratuiti, visita ProxyRoller, una radura ben curata dove è possibile raccogliere nuovi proxy senza alcun costo.

---

Lo schema: perché ruotare entrambi?

Se si ruotano solo gli user agent, la volpe indossa una nuova maschera ma segue la stessa traccia. Se si ruotano solo i proxy, la volpe segue nuove tracce ma indossa sempre la stessa maschera. Entrambi gli schemi vengono notati rapidamente.

Ruotando entrambi contemporaneamente, con ogni richiesta che abbina una nuova maschera a una nuova traccia, ti consente di muoverti nella foresta senza essere notato, come dicono le vecchie storie: un mutaforma, mai del tutto uguale, mai del tutto ritrovato.

---

Approcci alla rotazione

1. Rotazione sincronizzata (accoppiamento)

Per ogni richiesta, seleziona un nuovo proxy e un nuovo user agent, assicurandoti che non ci sia uno schema fisso. Questo è il metodo di mascheramento più efficace.

Esempio Python utilizzando Requests e ProxyRoller:

import requests
import random

# Fetch free proxies from ProxyRoller
proxy_list = requests.get('https://proxyroller.com/api/proxies?protocol=http').json()['proxies']

user_agents = [
    # Add a variety of user agent strings here
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
    'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:109.0) Gecko/20100101 Firefox/117.0',
    # ... more user agents
]

for _ in range(10):  # For 10 requests, for example
    proxy = random.choice(proxy_list)
    user_agent = random.choice(user_agents)

    proxies = {
        'http': f"http://{proxy['ip']}:{proxy['port']}",
        'https': f"http://{proxy['ip']}:{proxy['port']}",
    }
    headers = {'User-Agent': user_agent}

    try:
        response = requests.get('https://httpbin.org/ip', headers=headers, proxies=proxies, timeout=8)
        print(response.json(), user_agent)
    except Exception as e:
        print(f"Failed with proxy {proxy['ip']}: {e}")

• Raccogli nuovi proxy utilizzando API di ProxyRoller.

2. Piscine rotanti (Round Robin)

Imposta due liste, una di proxy e una di user agent, e ruotale in entrambe in modo casuale o a rotazione. Il segreto è non ripetere mai un abbinamento troppo spesso.

3. Utilizzo di middleware (esempio Scrapy)

In Scrapy, puoi implementare un middleware per ruotare entrambi:

# settings.py
DOWNLOADER_MIDDLEWARES = {
   'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
   'myproject.middlewares.RotateUserAgentAndProxyMiddleware': 400,
}

# middlewares.py
import random

class RotateUserAgentAndProxyMiddleware:
    def __init__(self):
        self.user_agents = [ ... ]  # List of user agents
        self.proxies = [ ... ]      # List of proxies from ProxyRoller

    def process_request(self, request, spider):
        request.headers['User-Agent'] = random.choice(self.user_agents)
        proxy = random.choice(self.proxies)
        request.meta['proxy'] = f"http://{proxy['ip']}:{proxy['port']}"

• Vedere Documentazione di Scrapy Middleware.

---

Tabella comparativa: approcci di rotazione

Approccio	Anonimato	Complessità	Gestione dei guasti	Idoneità
Rotazione UA singola	Basso	Basso	Facile	Raschiatura di base, basso rischio
Proxy singolo	Basso	Basso	Facile	Non consigliato
Sincronizzato	Alto	Medio	Deve gestire i fallimenti	Produzione, stealth
Rotazione della piscina	Medio	Medio	Deve gestire i fallimenti	Scala moderata

---

Gestire l'inevitabile: gestione degli errori

Proprio come il saggio boscaiolo si aspetta di trovare ogni tanto un albero caduto sul suo cammino, allo stesso modo devi aspettarti che i proxy falliscano e che gli user agent vengano rilevati. Sempre:

• Rileva le eccezioni e riprova con nuove coppie.
• Rimuovi i proxy non funzionanti dal tuo pool.
• Controlla i codici di risposta (403, 429 sono segnali che sei stato individuato).

---

Strumenti e risorse

• ProxyRoller – Per proxy HTTP nuovi e gratuiti.
• UserAgents.me – Per un elenco completo delle stringhe dell'agente utente.
• Scartato – Per il controllo avanzato di scraping e middleware.
• Richieste Documentazione – Per richieste HTTP in Python.

---

Un'ultima parola dalla foresta

Nello spirito delle antiche fiabe svedesi, viaggia leggero e saggio. Cambia volto e percorso a ogni passo, e i guardiani della ragnatela vedranno solo ombre passeggere, ognuna diversa dalla precedente. E se hai bisogno di un altro ponte, cerca la radura di ProxyRoller, dove i ponti sono numerosi e liberi per tutti i viaggiatori.