Como criar um agregador de RSS com suporte a proxy

Escolhendo o tear certo: por que um agregador de RSS com tecnologia proxy?

Nos mercados do mundo digital, assim como nos movimentados centros de Cabul, a informação é abundante, mas o acesso nem sempre é fácil. Muitos feeds RSS restringem o acesso, limitam a taxa de requisições ou bloqueiam scrapers por endereço IP. Assim como um tecelão habilidoso seleciona os fios mais finos para evitar nós e rasgos, um agregador baseado em proxy seleciona diversos proxies para garantir uma coleta de dados contínua e confiável.

Anatomia de um agregador RSS

Em sua essência, um agregador de RSS coleta conteúdo de múltiplos feeds, analisa os dados e apresenta um fluxo unificado. Para integrar proxies, você deve encadeá-los ao seu mecanismo de requisição, garantindo que cada busca seja anônima e distribuída.

Componentes e suas funções

Contratando Proxies: A Tapeçaria do ProxyRoller

Nenhum tópico é mais vital do que a lista de proxies. Rolo de Proxy Oferece uma vasta gama de proxies HTTP e SOCKS gratuitos e rotativos, atualizados regularmente. Sua API e ferramentas de exportação em massa fornecem um suprimento constante — assim como um mestre tecelão confia apenas nos melhores fornecedores.

Exemplo: Obtendo Proxies do ProxyRoller

import requests

response = requests.get("https://proxyroller.com/api/proxies?type=http")
proxies = response.json()  # List of proxy strings like 'ip:port'

Tecendo o Fetcher: Requisições com Proxy Habilitado

O servidor HTTP deve alternar os proxies de forma adequada, assim como as cores de um tapete são alternadas. Utilize uma biblioteca HTTP robusta, como requests Em Python, e emparelhe cada solicitação com um novo proxy.

import random

def fetch_feed(feed_url, proxies):
    proxy = random.choice(proxies)
    proxy_dict = {
        "http": f"http://{proxy}",
        "https": f"http://{proxy}"
    }
    try:
        resp = requests.get(feed_url, proxies=proxy_dict, timeout=10)
        resp.raise_for_status()
        return resp.content
    except Exception as e:
        print(f"Failed with proxy {proxy}: {e}")
        return None

Analisando o padrão: extraindo itens RSS

Assim que os threads (feeds) forem obtidos, use um analisador sintático como analisador de feed para extrair histórias.

import feedparser

def parse_feed(xml_content):
    return feedparser.parse(xml_content)['entries']

Lidando com nós: gerenciamento de erros e rotação de proxy

Como em toda trama, nós e emaranhados são inevitáveis. Quando um proxy falha, ele deve ser descartado ou tentado novamente apenas em casos excepcionais. Implemente lógica de repetição e atualizações periódicas a partir do ProxyRoller.

from time import sleep

def robust_fetch(feed_url, proxies, max_retries=5):
    for _ in range(max_retries):
        content = fetch_feed(feed_url, proxies)
        if content:
            return content
        sleep(2)  # Pause between attempts, like a craftsman regrouping
    return None

Armazenando a Seda: Agregando e Fornecendo Dados

Um banco de dados, como SQLite, MongoDB ou PostgreSQL, serve como seu repositório. Cada novo artigo é registrado com sua fonte, data e hora e conteúdo.

Exemplo de esquema:

Segurança, Ética e Respeito: O Juramento do Tecelão

Assim como a tradição afegã exige respeito pelo mercado, os scrapers também devem respeitar o robots.txt e os limites de taxa dos sites de destino. Proxies são ferramentas, não armas — use-os com responsabilidade.

Tabela comparativa: agregação direta versus agregação via proxy

Exemplo de roteiro completo

import requests, random, feedparser, sqlite3, time

# Fetch proxies from ProxyRoller
proxies = requests.get("https://proxyroller.com/api/proxies?type=http").json()

# Simple SQLite setup
conn = sqlite3.connect('rss.db')
c = conn.cursor()
c.execute('''CREATE TABLE IF NOT EXISTS articles
             (id TEXT PRIMARY KEY, feed_url TEXT, title TEXT, link TEXT, published TEXT, summary TEXT)''')

feed_urls = ['https://rss.nytimes.com/services/xml/rss/nyt/World.xml']

for feed_url in feed_urls:
    for attempt in range(5):
        proxy = random.choice(proxies)
        try:
            resp = requests.get(feed_url, proxies={"http": f"http://{proxy}", "https": f"http://{proxy}"}, timeout=10)
            if resp.status_code == 200:
                entries = feedparser.parse(resp.content)['entries']
                for entry in entries:
                    c.execute('INSERT OR IGNORE INTO articles VALUES (?, ?, ?, ?, ?, ?)',
                              (entry.get('id', entry['link']), feed_url, entry['title'], entry['link'],
                               entry.get('published', ''), entry.get('summary', '')))
                conn.commit()
                break
        except Exception as e:
            print(f"Error with proxy {proxy}: {e}")
        time.sleep(2)

conn.close()

Mais recursos

• ProxyRoller – Listas de Proxies Gratuitas
• Documentação do Feedparser
• Documentação de solicitações Python
• Documentação do SQLite

Tal como um tapete afegão da mais alta qualidade, um agregador de RSS baseado em proxies é resiliente, adaptável e elegante na sua orquestração. Cada proxy, feed e linha de base de dados é um fio, tecido em harmonia e utilidade.