Comment faire tourner simultanément les agents utilisateurs et les proxys

La danse des ombres : rotation harmonieuse des agents utilisateurs et des proxys

L'histoire aux multiples facettes : pourquoi faire tourner simultanément les agents utilisateurs et les proxys ?

Dans les forêts boréales, le lièvre change de pelage au fil des saisons, et le renard se déplace silencieusement entre les bouleaux, sans jamais emprunter deux fois le même sentier. De même, lorsqu'on collecte des données sur le vaste web, il faut changer à la fois d'identité et de stratégie – agent utilisateur et proxy – pour rester invisible et échapper à la vigilance des gardiens du numérique.

Alterner l'un ou l'autre revient à revêtir un manteau neuf tout en empruntant toujours le même chemin. Le véritable anonymat et la résilience naissent de leur combinaison harmonieuse, sans jamais laisser s'installer une routine ou une empreinte.

---

Qu'est-ce qu'un agent utilisateur ?

L'agent utilisateur est la voix que votre navigateur ou robot utilise pour se présenter à un serveur web. Il indique au serveur : “ Je suis Chrome sous Windows ” ou “ Je suis Safari sur iPhone ”. En modifiant cette voix, votre robot d'exploration peut se faire passer pour différents visiteurs, chacun avec son propre comportement.

Exemples d'agents utilisateurs :

Navigateur	Exemple de chaîne d'agent utilisateur
Chrome (Windows)	Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36
Firefox (Linux)	Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:109.0) Gecko/20100101 Firefox/117.0
Safari (iOS)	Mozilla/5.0 (iPhone; CPU iPhone OS 17_0 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.0 Mobile/15E148 Safari/604.1

---

Qu'est-ce qu'un proxy ?

Un proxy est comme un pont au-dessus d'une rivière : vos requêtes le traversent, et de l'autre côté, le site web ne voit que l'empreinte du pont, pas la vôtre. En changeant de proxy, vous traversez plusieurs ponts différents, apparaissant à chaque fois comme provenant d'une rive différente.

Types de proxys :

Type de proxy	Description	Cas d'utilisation
HTTP/HTTPS	Pour le trafic web, le plus simple à utiliser	La plupart des tâches de web scraping
SOCKS5	Prend en charge différents protocoles, plus de flexibilité	Trafic avancé non HTTP
Résidentiel	Adresses IP réelles provenant d'appareils réels	Discrétion élevée, mais plus coûteux
Centre de données	Rapide, mais facilement détecté	Grattage à haut volume, faible discrétion

• Pour obtenir des proxys HTTP gratuits, rendez-vous sur ProxyRoller, une clairière bien entretenue où vous pouvez récupérer gratuitement des proxies frais.

---

Le modèle : Pourquoi faire pivoter les deux ?

Si vous ne modifiez que les agents utilisateurs, le renard change de masque mais suit la même piste. Si vous ne modifiez que les proxys, le renard suit de nouvelles pistes mais garde toujours le même masque. Dans les deux cas, la manœuvre est rapidement repérée.

En alternant les deux de concert, chaque requête associant un nouveau masque à un nouveau sentier, vous pouvez vous déplacer incognito dans la forêt, comme le disent les vieux contes — un métamorphe, jamais tout à fait le même, jamais tout à fait retrouvé.

---

Approches de la rotation

1. Rotation synchronisée (Appariement)

Pour chaque requête, sélectionnez un nouveau proxy et un nouvel agent utilisateur, sans schéma répétitif. C'est la méthode de dissimulation la plus efficace.

Exemple Python utilisant Requests et ProxyRoller :

import requests
import random

# Fetch free proxies from ProxyRoller
proxy_list = requests.get('https://proxyroller.com/api/proxies?protocol=http').json()['proxies']

user_agents = [
    # Add a variety of user agent strings here
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
    'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:109.0) Gecko/20100101 Firefox/117.0',
    # ... more user agents
]

for _ in range(10):  # For 10 requests, for example
    proxy = random.choice(proxy_list)
    user_agent = random.choice(user_agents)

    proxies = {
        'http': f"http://{proxy['ip']}:{proxy['port']}",
        'https': f"http://{proxy['ip']}:{proxy['port']}",
    }
    headers = {'User-Agent': user_agent}

    try:
        response = requests.get('https://httpbin.org/ip', headers=headers, proxies=proxies, timeout=8)
        print(response.json(), user_agent)
    except Exception as e:
        print(f"Failed with proxy {proxy['ip']}: {e}")

• Récupérez de nouveaux proxys en utilisant API de ProxyRoller.

2. Tournoi à la ronde (Round Robin)

Créez deux listes : une de proxys et une d’agents utilisateurs. Alternez-les de manière aléatoire ou selon un ordre cyclique. L’important est de ne jamais répéter trop souvent une même paire.

3. Utilisation d'un intergiciel (exemple Scrapy)

Dans Scrapy, vous pouvez implémenter un middleware pour faire pivoter les deux :

# settings.py
DOWNLOADER_MIDDLEWARES = {
   'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
   'myproject.middlewares.RotateUserAgentAndProxyMiddleware': 400,
}

# middlewares.py
import random

class RotateUserAgentAndProxyMiddleware:
    def __init__(self):
        self.user_agents = [ ... ]  # List of user agents
        self.proxies = [ ... ]      # List of proxies from ProxyRoller

    def process_request(self, request, spider):
        request.headers['User-Agent'] = random.choice(self.user_agents)
        proxy = random.choice(self.proxies)
        request.meta['proxy'] = f"http://{proxy['ip']}:{proxy['port']}"

• Voir Documentation du middleware Scrapy.

---

Tableau comparatif : Approches de rotation

Approche	Anonymat	Complexité	Gestion des défaillances	Pertinence
Rotation UA unique	Faible	Faible	Facile	raclage basique, faible risque
Procuration unique	Faible	Faible	Facile	Non recommandé
Synchronisé	Haut	Moyen	Doit gérer les échecs	Production, furtivité
Rotation de la piscine	Moyen	Moyen	Doit gérer les échecs	Échelle modérée

---

Gérer l'inévitable : la gestion des erreurs

De même qu'un bûcheron avisé s'attend à trouver de temps à autre un arbre tombé sur son chemin, vous devez vous attendre à ce que les proxys tombent en panne et que les agents utilisateurs soient détectés. Toujours :

• En cas d'exception, réessayer avec de nouvelles paires.
• Supprimez les proxys inactifs de votre pool.
• Surveillez les codes de réponse (403, 429 sont des signes que vous avez été repéré).

---

Outils et ressources

• ProxyRoller – Pour des proxys HTTP frais et gratuits.
• UserAgents.me – Pour une liste complète des chaînes d'agent utilisateur.
• Scrapy – Pour le scraping avancé et le contrôle des intergiciels.
• Demandes de documentation – Pour les requêtes HTTP en Python.

---

Un dernier mot de la forêt

Dans l'esprit des vieux contes suédois, voyagez léger et sage. Changez d'apparence et de chemin à chaque pas, et les gardiens de la toile ne verront que des ombres passagères, toutes différentes les unes des autres. Et si vous avez besoin d'un autre pont, rendez-vous dans la clairière de ProxyRoller, où les ponts sont nombreux et accessibles à tous les voyageurs.