如何轮换用户代理和代理

阴影之舞：用户代理与代理服务器的和谐轮换

多面性的故事：为什么要轮换使用用户代理和代理服务器？

在北方的森林里，野兔会随着季节变换皮毛，狐狸则在白桦林间悄然穿梭，从不重复同样的路线。同样，从浩瀚的网络世界收集数据时，人们也必须变换身份和路径——用户身份和代理身份——才能不被数字管理员的监视目光发现和骚扰。.

只选择其中之一，就像披上新斗篷却走同一条老路。真正的匿名性和韧性来自于将两者融合，永不让任何模式或足迹定型。.

---

什么是用户代理？

用户代理是浏览器或机器人用来向网络服务器介绍自己的“声音”。它告诉服务器“我是 Windows 上的 Chrome 浏览器”或“我是 iPhone 上的 Safari 浏览器”。改变这个“声音”可以让你的爬虫看起来像是许多不同的访客，每个访客都有自己的故事。.

用户代理示例：

浏览器	用户代理字符串示例
Chrome（Windows）	Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36
Firefox（Linux）	Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:109.0) Gecko/20100101 Firefox/117.0
Safari（iOS）	Mozilla/5.0 (iPhone; CPU iPhone OS 17_0 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.0 Mobile/15E148 Safari/604.1

---

什么是代理？

代理就像一座横跨河流的桥梁——你的请求通过这座桥，到达对岸后，网站只能看到桥梁留下的痕迹，而看不到你的真实信息。通过更换代理，你相当于跨越了许多不同的桥梁，每次都像是从不同的河岸发出请求。.

代理类型：

代理类型	描述	用例
HTTP/HTTPS	对于网络流量而言，最简单易用	大多数网络爬虫任务
SOCKS5	支持多种协议，更加灵活	高级非HTTP流量
住宅	来自实际设备的真实 IP 地址	隐蔽性强，但成本较高。
数据中心	速度快，但容易被发现	大批量刮削，低隐蔽性

• 如需免费 HTTP 代理，请访问 ProxyRoller, 一片精心维护的林间空地，你可以在那里免费收集新鲜的代理人。.

---

规律：为什么要同时旋转两者？

如果只轮换用户代理，狐狸会戴上新的面具，但追踪的路线却是一样的。如果只轮换代理，狐狸会追踪新的路线，但始终戴着同样的面具。这两种模式很快就会被识破。.

将两者同步旋转，每次请求都会将新的面具与新的路径配对，让你能够像古老的传说中那样，悄无声息地穿过森林——一个变形者，永远不会完全一样，也永远不会被完全找到。.

---

旋转方法

1. 同步旋转（配对）

对于每个请求，都选择一个新的代理和一个新的用户代理，确保没有固定的模式。这是最有效的伪装。.

使用 Requests 和 ProxyRoller 的 Python 示例：

import requests
import random

# Fetch free proxies from ProxyRoller
proxy_list = requests.get('https://proxyroller.com/api/proxies?protocol=http').json()['proxies']

user_agents = [
    # Add a variety of user agent strings here
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
    'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:109.0) Gecko/20100101 Firefox/117.0',
    # ... more user agents
]

for _ in range(10):  # For 10 requests, for example
    proxy = random.choice(proxy_list)
    user_agent = random.choice(user_agents)

    proxies = {
        'http': f"http://{proxy['ip']}:{proxy['port']}",
        'https': f"http://{proxy['ip']}:{proxy['port']}",
    }
    headers = {'User-Agent': user_agent}

    try:
        response = requests.get('https://httpbin.org/ip', headers=headers, proxies=proxies, timeout=8)
        print(response.json(), user_agent)
    except Exception as e:
        print(f"Failed with proxy {proxy['ip']}: {e}")

• 使用以下方式收集新的代理： ProxyRoller 的 API.

2. 轮换分组（循环赛）

创建两个列表——一个包含代理，一个包含用户代理——然后以循环或随机的方式轮换使用这两个列表。关键在于不要过于频繁地重复使用同一对代理。.

3. 使用中间件（Scrapy 示例）

在 Scrapy 中，你可以实现中间件来轮换两者：

# settings.py
DOWNLOADER_MIDDLEWARES = {
   'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
   'myproject.middlewares.RotateUserAgentAndProxyMiddleware': 400,
}

# middlewares.py
import random

class RotateUserAgentAndProxyMiddleware:
    def __init__(self):
        self.user_agents = [ ... ]  # List of user agents
        self.proxies = [ ... ]      # List of proxies from ProxyRoller

    def process_request(self, request, spider):
        request.headers['User-Agent'] = random.choice(self.user_agents)
        proxy = random.choice(self.proxies)
        request.meta['proxy'] = f"http://{proxy['ip']}:{proxy['port']}"

• 看 Scrapy 中间件文档.

---

比较表：旋转方法

方法	匿名	复杂	故障处理	适应性
单个 UA 旋转	低的	低的	简单的	基础数据抓取，低风险
单代理	低的	低的	简单的	不推荐
同步	高的	中等的	必须处理失败	生产，隐蔽
泳池轮换	中等的	中等的	必须处理失败	中等规模

---

应对不可避免的情况：错误管理

就像经验丰富的樵夫会预料到路上偶尔会有倒下的树木一样，你也必须预料到代理服务器会失效，用户代理会被检测到。始终如此：

• 捕获异常，并使用新的配对重试。.
• 从代理池中移除失效代理。.
• 监控响应代码（403、429 表示您已被发现）。.

---

工具和资源

• ProxyRoller – 用于全新的、免费的 HTTP 代理。.
• UserAgents.me – 有关用户代理字符串的完整列表。.
• Scrapy – 用于高级抓取和中间件控制。.
• 请求文档 – 用于 Python 中的 HTTP 请求。.

---

来自森林的最后寄语

谨记古老的瑞典传说，轻装上阵，谨慎前行。每一步都变换面貌和路线，网络的守护者只会看到掠过的影子，一个个都与前一个不同。如果你需要另一座桥梁，那就去ProxyRoller的林间空地吧，那里桥梁众多，对所有旅人免费开放。.