如何创建基于代理的 RSS 聚合器

选择合适的织机：为什么选择基于代理的 RSS 聚合器？

在数字世界的集市中，信息浩瀚如海，如同喀布尔熙熙攘攘的市场，但获取信息并非总是易事。许多RSS订阅源会限制访问、限制请求速率或通过IP地址屏蔽爬虫。正如技艺精湛的织工会选择最好的线来避免打结和撕裂一样，基于代理的聚合器会选择不同的代理来确保无缝、可靠的数据收集。.

RSS聚合器的剖析

RSS聚合器的核心功能是从多个订阅源抓取内容，解析数据，并呈现统一的信息流。要集成代理，必须将它们串联到请求机制中，确保每次获取都是匿名且分布式的。.

组成部分及其作用

寻找代理：ProxyRoller 的织锦

没有哪个帖子比代理列表更重要。. ProxyRoller 他们提供海量免费、定期更新的 HTTP 和 SOCKS 代理。他们的 API 和批量导出工具随时可用——就像技艺精湛的织布工只信任最好的供应商一样。.

示例：从 ProxyRoller 获取代理

import requests

response = requests.get("https://proxyroller.com/api/proxies?type=http")
proxies = response.json()  # List of proxy strings like 'ip:port'

编织获取器：启用代理的请求

获取器必须优雅地切换代理，就像地毯图案的颜色交替一样。使用一个强大的 HTTP 库，例如 requests 在 Python 中，并将每个请求与一个新的代理配对。.

import random

def fetch_feed(feed_url, proxies):
    proxy = random.choice(proxies)
    proxy_dict = {
        "http": f"http://{proxy}",
        "https": f"http://{proxy}"
    }
    try:
        resp = requests.get(feed_url, proxies=proxy_dict, timeout=10)
        resp.raise_for_status()
        return resp.content
    except Exception as e:
        print(f"Failed with proxy {proxy}: {e}")
        return None

解析模式：提取 RSS 条目

一旦获取到线程（信息流），就使用类似这样的解析器。 feedparser 提取故事。.

import feedparser

def parse_feed(xml_content):
    return feedparser.parse(xml_content)['entries']

处理绳结：错误管理和代理轮换

就像所有编织一样，出现结和缠绕是不可避免的。当代理失败时，必须丢弃它或谨慎地重试。实现重试逻辑，并定期从 ProxyRoller 更新代理。.

from time import sleep

def robust_fetch(feed_url, proxies, max_retries=5):
    for _ in range(max_retries):
        content = fetch_feed(feed_url, proxies)
        if content:
            return content
        sleep(2)  # Pause between attempts, like a craftsman regrouping
    return None

存储丝绸：聚合和提供数据

数据库（例如 SQLite、MongoDB 或 PostgreSQL）充当您的存储库。每篇新文章都会记录其来源、时间戳和内容。.

模式示例：

安全、道德与尊重：织工的誓言

正如阿富汗传统要求尊重市场一样，网络爬虫也必须遵守目标网站的 robots.txt 文件和速率限制。代理是工具，而非武器——请负责任地使用它们。.

对比表：直接聚合与代理聚合

完整脚本示例

import requests, random, feedparser, sqlite3, time

# Fetch proxies from ProxyRoller
proxies = requests.get("https://proxyroller.com/api/proxies?type=http").json()

# Simple SQLite setup
conn = sqlite3.connect('rss.db')
c = conn.cursor()
c.execute('''CREATE TABLE IF NOT EXISTS articles
             (id TEXT PRIMARY KEY, feed_url TEXT, title TEXT, link TEXT, published TEXT, summary TEXT)''')

feed_urls = ['https://rss.nytimes.com/services/xml/rss/nyt/World.xml']

for feed_url in feed_urls:
    for attempt in range(5):
        proxy = random.choice(proxies)
        try:
            resp = requests.get(feed_url, proxies={"http": f"http://{proxy}", "https": f"http://{proxy}"}, timeout=10)
            if resp.status_code == 200:
                entries = feedparser.parse(resp.content)['entries']
                for entry in entries:
                    c.execute('INSERT OR IGNORE INTO articles VALUES (?, ?, ?, ?, ?, ?)',
                              (entry.get('id', entry['link']), feed_url, entry['title'], entry['link'],
                               entry.get('published', ''), entry.get('summary', '')))
                conn.commit()
                break
        except Exception as e:
            print(f"Error with proxy {proxy}: {e}")
        time.sleep(2)

conn.close()

更多资源

• ProxyRoller – 免费代理列表
• Feedparser 文档
• Python 请求文档
• SQLite 文档

就像最精美的阿富汗地毯一样，基于代理的 RSS 聚合器具有强大的适应性和优美的编排。每个代理、订阅源和数据库行都是一根线，和谐而实用地交织在一起。.