Wie man Benutzeragenten und Proxys gleichzeitig rotiert

Der Tanz der Schatten: Rotierende Benutzeragenten und Proxys in Harmonie

Die Geschichte der vielen Gesichter: Warum Benutzeragenten und Proxys gemeinsam rotieren?

In den nördlichen Wäldern wechselt der Hase sein Fell mit den Jahreszeiten, und der Fuchs bewegt sich lautlos zwischen den Birken, ohne jemals zweimal denselben Weg zu gehen. Ebenso muss man beim Sammeln von Daten aus dem riesigen Internet sowohl sein Gesicht als auch seinen Weg – Benutzeragent und Proxy – ändern, um von den wachsamen Augen der digitalen Wächter ungesehen und unbehelligt zu bleiben.

Sich nur auf das eine oder das andere zu beschränken, ist, als würde man einen neuen Mantel anlegen, aber denselben alten Weg gehen. Wahre Anonymität und Widerstandsfähigkeit entstehen erst, wenn man beides miteinander verwebt und niemals ein Muster oder eine Spur entstehen lässt.

---

Was ist ein User-Agent?

Der User-Agent ist die Stimme, mit der sich Ihr Browser oder Bot einem Webserver vorstellt. Er teilt dem Server mit: “Ich bin Chrome unter Windows” oder “Ich bin Safari auf einem iPhone”. Durch Ändern dieser Stimme erscheint Ihr Crawler als viele verschiedene Besucher, jeder mit seiner eigenen Geschichte.

Beispielhafte Benutzeragenten:

Browser	Beispiel für eine User-Agent-Zeichenfolge
Chrome (Windows)	Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36
Firefox (Linux)	Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:109.0) Gecko/20100101 Firefox/117.0
Safari (iOS)	Mozilla/5.0 (iPhone; CPU iPhone OS 17_0 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.0 Mobile/15E148 Safari/604.1

---

Was ist ein Proxy?

Ein Proxy ist wie eine Brücke über den Fluss – Ihre Anfragen werden darüber geleitet, und auf der anderen Seite sieht die Website nur die Spuren der Brücke, nicht Ihre eigenen. Durch den Wechsel des Proxys überqueren Sie viele verschiedene Brücken und scheinen jedes Mal von einem anderen Ufer zu kommen.

Arten von Proxys:

Proxy-Typ	Beschreibung	Anwendungsfall
HTTP/HTTPS	Für Web-Traffic am einfachsten zu verwenden	Die meisten Web-Scraping-Aufgaben
SOCKS5	Unterstützt verschiedene Protokolle, flexibler	Erweiterter, nicht-HTTP-Datenverkehr
Wohnen	Echte IPs von tatsächlichen Geräten	Hohe Tarnung, aber kostspieliger
Rechenzentrum	Schnell, aber leicht zu erkennen	Hohes Abkratzvolumen, geringe Unauffälligkeit

• Kostenlose HTTP-Proxys finden Sie unter ProxyRoller, eine gepflegte Lichtung, wo man kostenlos frische Proxys sammeln kann.

---

Das Muster: Warum beide drehen?

Wenn man nur die User-Agents ändert, trägt der Fuchs zwar eine neue Maske, folgt aber derselben Spur. Wenn man nur die Proxys ändert, folgt der Fuchs zwar neuen Spuren, trägt aber immer dieselbe Maske. Beide Muster fallen schnell auf.

Indem man beides gleichzeitig rotiert und jede Anfrage eine neue Maske mit einer neuen Spur verknüpft, kann man sich unbemerkt durch den Wald bewegen, wie es in alten Sagen heißt – ein Gestaltwandler, nie ganz derselbe, nie ganz gefunden.

---

Ansätze zur Rotation

1. Synchronisierte Rotation (Paarung)

Wählen Sie für jede Anfrage einen neuen Proxy und einen neuen User-Agent, um ein festes Muster zu vermeiden. Dies ist die effektivste Verschleierungsmethode.

Python-Beispiel mit Requests und ProxyRoller:

import requests
import random

# Fetch free proxies from ProxyRoller
proxy_list = requests.get('https://proxyroller.com/api/proxies?protocol=http').json()['proxies']

user_agents = [
    # Add a variety of user agent strings here
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
    'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:109.0) Gecko/20100101 Firefox/117.0',
    # ... more user agents
]

for _ in range(10):  # For 10 requests, for example
    proxy = random.choice(proxy_list)
    user_agent = random.choice(user_agents)

    proxies = {
        'http': f"http://{proxy['ip']}:{proxy['port']}",
        'https': f"http://{proxy['ip']}:{proxy['port']}",
    }
    headers = {'User-Agent': user_agent}

    try:
        response = requests.get('https://httpbin.org/ip', headers=headers, proxies=proxies, timeout=8)
        print(response.json(), user_agent)
    except Exception as e:
        print(f"Failed with proxy {proxy['ip']}: {e}")

• Sammeln Sie neue Proxys mit ProxyRollers API.

2. Rotierende Pools (Round Robin)

Erstellen Sie zwei Listen – eine mit Proxys, eine mit User-Agents – und verwenden Sie diese abwechselnd im Round-Robin-Verfahren oder nach dem Zufallsprinzip. Wichtig ist, dass Sie eine Kombination nicht zu oft wiederholen.

3. Verwendung von Middleware (Beispiel Scrapy)

In Scrapy können Sie Middleware implementieren, um beides zu rotieren:

# settings.py
DOWNLOADER_MIDDLEWARES = {
   'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
   'myproject.middlewares.RotateUserAgentAndProxyMiddleware': 400,
}

# middlewares.py
import random

class RotateUserAgentAndProxyMiddleware:
    def __init__(self):
        self.user_agents = [ ... ]  # List of user agents
        self.proxies = [ ... ]      # List of proxies from ProxyRoller

    def process_request(self, request, spider):
        request.headers['User-Agent'] = random.choice(self.user_agents)
        proxy = random.choice(self.proxies)
        request.meta['proxy'] = f"http://{proxy['ip']}:{proxy['port']}"

• Sehen Scrapy Middleware-Dokumentation.

---

Vergleichstabelle: Rotationsansätze

Ansatz	Anonymität	Komplexität	Fehlerbehandlung	Eignung
Einzelne UA-Rotation	Niedrig	Niedrig	Einfach	Einfaches Abschaben, geringes Risiko
Einzelner Proxy	Niedrig	Niedrig	Einfach	Nicht empfehlenswert
Synchronisiert	Hoch	Medium	Fehlerbehandlung erforderlich	Produktion, Stealth
Poolrotation	Medium	Medium	Fehlerbehandlung erforderlich	Mittlere Skala

---

Umgang mit dem Unvermeidlichen: Fehlermanagement

So wie ein erfahrener Holzfäller mit dem einen oder anderen umgestürzten Baum auf seinem Weg rechnet, so muss man auch damit rechnen, dass Proxys ausfallen und User-Agents erkannt werden. Immer.

• Ausnahmen abfangen, mit neuen Paaren erneut versuchen.
• Entfernen Sie inaktive Proxys aus Ihrem Pool.
• Überwachen Sie die Antwortcodes (403, 429 sind Anzeichen dafür, dass Sie entdeckt wurden).

---

Werkzeuge und Ressourcen

• ProxyRoller – Für aktuelle, kostenlose HTTP-Proxys.
• UserAgents.me – Eine vollständige Liste der User-Agent-Strings finden Sie hier.
• Scrapy – Für fortgeschrittenes Web-Scraping und Middleware-Steuerung.
• Fordert Dokumentation an – Für HTTP-Anfragen in Python.

---

Ein letztes Wort aus dem Wald

Im Geiste alter schwedischer Sagen: Reise leicht und weise. Verändere mit jedem Schritt dein Gesicht und deinen Weg, und die Wächter des Netzes werden nur flüchtige Schatten sehen, jeder anders als der vorherige. Und falls du eine weitere Brücke benötigst, suche ProxyRollers Lichtung auf, wo es viele Brücken gibt, die allen Reisenden frei zugänglich sind.