实时更新的顶级代理列表

实时更新的顶级代理列表

为什么实时代理列表很重要

想象一下,你正身处邦迪海滩,准备迎接完美的海浪——然而每次你划桨前行,海浪都已停歇。这就是用过时的代理服务器爬取网页的感受。实时代理服务器列表就像一份实时冲浪报告,为你提供最新、可用的代理服务器,而不是那些让你不知所措的劣质代理服务器。

当您爬取网站、自动执行任务或规避地理封锁时,过时的代理将无济于事。实时更新的动态列表意味着更少的故障、更少的故障排除时间,以及更多的时间获取所需的数据。


评估代理名单的关键标准

让我们直奔主题——这就是好的代理列表与无用的代理列表的区别:

标准 为什么重要 如何检查
更新频率 新的代理不断出现 检查时间戳、API 文档
延迟 更低=更快的抓取或浏览 使用 ping 或爬虫进行测试
类型 (HTTP/SOCKS4/SOCKS5) 某些网站会阻止某些协议 列表应指定代理类型
匿名级别 透明、匿名、精英 名单应声明或测试匿名性
正常运行时间/存活率 损坏的代理是无用的负担 按上次检查/工作进行过滤
地理多样性 更多地点=更多选择 检查国家/城市字段
访问方法 Web、API、CSV 或纯文本 应该适合您的工作流程

顶级实时代理列表(包含实用细节)

1. ProxyScrape

故事时间: 我曾经有个朋友叫 Jacko,他以为用静态代理列表挖到宝了——结果一月份的时候,它就比死水潭还快地枯竭了。ProxyScrape 来了:永远新鲜,永远免费。

特征:
– 每分钟更新
– HTTP、SOCKS4、SOCKS5 代理
– 下载为 TXT、CSV 或通过 API

API 使用示例:

curl 'https://api.proxyscrape.com/v2/?request=getproxies&protocol=http&timeout=10000&country=all&ssl=all&anonymity=all'

优点:
– 无需注册
– 轻松按协议和国家/地区进行过滤

缺点:
– 空闲列表可能被破坏,代理很快就会被烧毁


2. 间谍一号

澳大利亚类比: 浏览 Spys.one 有点像阅读潮汐图——看起来很复杂,但一旦你掌握了诀窍,你就成功了。

特征:
– 实时代理更新(每分钟刷新)
– HTTP、HTTPS、SOCKS4、SOCKS5
– 国家、港口和正常运行时间过滤器

如何抓取代理:

import requests
from bs4 import BeautifulSoup

url = "http://spys.one/en/http-proxy-list/"
headers = {'User-Agent': 'Mozilla/5.0'}
r = requests.get(url, headers=headers)
soup = BeautifulSoup(r.text, 'html.parser')
# Extract proxies from the table to your heart's content

优点:
– 数量巨大,统计数据详细
– 显示正常运行时间和延迟

缺点:
– 没有官方 API(您需要抓取 HTML)
– 界面有点老旧


3. 免费代理列表.cc

特征:
– 每10秒更新一次
– HTTP、HTTPS、SOCKS4、SOCKS5
– 国家、港口和匿名过滤器

直接下载:
– 提供 CSV 和 TXT 格式

快速使用示例:

wget https://freeproxylist.cc/proxylist.txt -O proxies.txt

优点:
– 快速更新
– 简洁、干净的界面

缺点:
– 没有用于编程访问的 API


4. 代理列表.下载

有点像当地的鱼市——选择变化很快,你必须快速抢到最新鲜的鱼。

特征:
– HTTP、HTTPS、SOCKS4、SOCKS5 的单独列表
– 每5分钟更新一次
– 下载为 TXT、CSV 或 JSON

API示例:

curl 'https://www.proxy-list.download/api/v1/get?type=http'

优点:
– 多种格式,简单的 API
– 按协议排序

缺点:
– 免费代理很快就会用完


5. OpenProxy.space

特征:
– 实时更新,每分钟检查代理
– HTTP、HTTPS、SOCKS4、SOCKS5
– 国家、港口和状态过滤器

API 代码片段:

curl 'https://openproxy.space/list/http'

优点:
– 高存活率
– 多种访问方式

缺点:
– 一些代理被标记为有潜在风险


比较表:最佳实时代理列表

姓名 协议 更新频率 API 访问 格式 过滤器 自由的?
ProxyScrape HTTP,SOCKS4/5 1 分钟 是的 TXT、CSV 国家、协议 是的
间谍一号 HTTP,SOCKS 1 分钟 HTML 国家/地区、正常运行时间 是的
免费代理列表.cc HTTP、HTTPS… 10秒 TXT、CSV 国家,匿名 是的
代理列表.下载 HTTP,SOCKS 5 分钟 是的 TXT、CSV 协议 是的
OpenProxy.space HTTP,SOCKS 1 分钟 是的 TXT 国家、地位 是的

使用实时代理列表:可操作步骤

步骤 1:获取新的代理列表

假设您需要一个用于网页抓取的 HTTP 代理列表:

import requests

url = "https://api.proxyscrape.com/v2/?request=getproxies&protocol=http&timeout=5000"
proxies = requests.get(url).text.splitlines()
print(proxies[:5])  # Show first 5 proxies

第 2 步:测试代理有效性

在平静的日子里划船毫无意义。在信任代理之前,务必先测试一下:

import requests

def test_proxy(proxy):
    try:
        r = requests.get('https://httpbin.org/ip', proxies={'http': f'http://{proxy}'}, timeout=5)
        return r.status_code == 200
    except:
        return False

working_proxies = [p for p in proxies if test_proxy(p)]
print(f"{len(working_proxies)} working proxies found.")

步骤 3:自动旋转代理

为了避免被阻塞,请在代码中旋转代理:

import random

def get_random_proxy(proxies):
    return random.choice(proxies)

for url in urls_to_scrape:
    proxy = get_random_proxy(working_proxies)
    r = requests.get(url, proxies={'http': f'http://{proxy}'})
    # ... process response ...

安全和使用提示

  • 始终验证您所在国家/地区的代理合法性。
  • 切勿通过免费代理发送个人数据。
  • 监控代理性能——快速删除无效代理。
  • 使用旋转用户代理与代理一起实现隐身。

快速参考:代理协议

协议 用例 示例格式
HTTP 网页抓取、浏览 123.45.67.89:8080
HTTPS 安全的网页抓取 123.45.67.89:443
SOCKS4 一般的非 SSL 流量 socks4://123.45.67.89:1080
SOCKS5 所有流量,支持授权 socks5://user:[email protected]:1080

当您在互联网上畅游时,实时代理列表是您值得信赖的保障。请保持更新,经常测试,切勿轻信一个措手不及的代理服务器能帮您渡过下一个难关。

阿尔维德·沃拉尔

阿尔维德·沃拉尔

首席网络架构师

Arvid Warral 是土生土长的印度人,也是 ProxyRoller 强大而敏捷的网络架构的幕后推手。凭借在数字安全和代理管理领域超过 20 年的经验,他在开发满足隐私和数据安全动态需求的系统方面发挥了重要作用。Arvid Warral 在 ProxyRoller 的旅程始于一位充满热情的技术专家,他的创新解决方案将公司推向了行业的前沿。在他的职位上,他致力于确保 ProxyRoller 的产品对全球用户来说始终是尖端和可靠的。

评论 (0)

这里还没有评论,你可以成为第一个评论者!

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注