Come creare un aggregatore RSS basato su proxy

Scegliere il telaio giusto: perché un aggregatore RSS basato su proxy?

Nei bazar del mondo digitale, proprio come nei vivaci mercati di Kabul, le informazioni abbondano, ma l'accesso non è sempre immediato. Molti feed RSS limitano l'accesso, limitano la velocità delle richieste o bloccano gli scraper in base all'IP. Proprio come un abile tessitore seleziona i fili più fini per evitare nodi e strappi, un aggregatore basato su proxy seleziona diversi proxy per garantire una raccolta dati fluida e affidabile.

L'anatomia di un aggregatore RSS

In sostanza, un aggregatore RSS raccoglie contenuti da più feed, analizza i dati e presenta un flusso unificato. Per integrare i proxy, è necessario inserirli nel meccanismo di richiesta, assicurandosi che ogni recupero sia anonimo e distribuito.

Componenti e loro ruoli

Ricerca di proxy: l'arazzo ProxyRoller

Nessun thread è più vitale dell'elenco dei proxy. ProxyRoller Offre un telaio completo di proxy HTTP e SOCKS gratuiti e a rotazione, aggiornati regolarmente. Le loro API e gli strumenti di esportazione in blocco forniscono una fornitura pronta all'uso, proprio come un maestro tessitore si affida solo ai migliori fornitori.

Esempio: recupero dei proxy da ProxyRoller

import requests

response = requests.get("https://proxyroller.com/api/proxies?type=http")
proxies = response.json()  # List of proxy strings like 'ip:port'

Tessitura del Fetcher: richieste abilitate tramite proxy

Il fetcher deve alternare elegantemente i proxy, proprio come il motivo di un tappeto alterna i colori. Utilizza una libreria HTTP robusta, come requests in Python e associa ogni richiesta a un nuovo proxy.

import random

def fetch_feed(feed_url, proxies):
    proxy = random.choice(proxies)
    proxy_dict = {
        "http": f"http://{proxy}",
        "https": f"http://{proxy}"
    }
    try:
        resp = requests.get(feed_url, proxies=proxy_dict, timeout=10)
        resp.raise_for_status()
        return resp.content
    except Exception as e:
        print(f"Failed with proxy {proxy}: {e}")
        return None

Analisi del modello: estrazione di elementi RSS

Una volta recuperati i thread (feed), utilizzare un parser come parser di feed per estrarre storie.

import feedparser

def parse_feed(xml_content):
    return feedparser.parse(xml_content)['entries']

Gestione dei nodi: gestione degli errori e rotazione dei proxy

Come in ogni intreccio, nodi e grovigli sono inevitabili. Quando un proxy fallisce, deve essere scartato o riprovato con parsimonia. Implementare una logica di ripetizione e aggiornamenti periodici da ProxyRoller.

from time import sleep

def robust_fetch(feed_url, proxies, max_retries=5):
    for _ in range(max_retries):
        content = fetch_feed(feed_url, proxies)
        if content:
            return content
        sleep(2)  # Pause between attempts, like a craftsman regrouping
    return None

Conservazione della seta: aggregazione e distribuzione dei dati

Un database, come SQLite, MongoDB o PostgreSQL, funge da magazzino. Ogni nuovo articolo viene registrato con la sua fonte, la marca temporale e il contenuto.

Esempio di schema:

Sicurezza, etica e rispetto: il giuramento del tessitore

Proprio come la tradizione afghana esige rispetto per il mercato, così gli scraper devono rispettare i robots.txt e i limiti di velocità dei siti target. I proxy sono strumenti, non armi: usateli responsabilmente.

Tabella comparativa: aggregazione diretta vs. proxy

Esempio di script completo

import requests, random, feedparser, sqlite3, time

# Fetch proxies from ProxyRoller
proxies = requests.get("https://proxyroller.com/api/proxies?type=http").json()

# Simple SQLite setup
conn = sqlite3.connect('rss.db')
c = conn.cursor()
c.execute('''CREATE TABLE IF NOT EXISTS articles
             (id TEXT PRIMARY KEY, feed_url TEXT, title TEXT, link TEXT, published TEXT, summary TEXT)''')

feed_urls = ['https://rss.nytimes.com/services/xml/rss/nyt/World.xml']

for feed_url in feed_urls:
    for attempt in range(5):
        proxy = random.choice(proxies)
        try:
            resp = requests.get(feed_url, proxies={"http": f"http://{proxy}", "https": f"http://{proxy}"}, timeout=10)
            if resp.status_code == 200:
                entries = feedparser.parse(resp.content)['entries']
                for entry in entries:
                    c.execute('INSERT OR IGNORE INTO articles VALUES (?, ?, ?, ?, ?, ?)',
                              (entry.get('id', entry['link']), feed_url, entry['title'], entry['link'],
                               entry.get('published', ''), entry.get('summary', '')))
                conn.commit()
                break
        except Exception as e:
            print(f"Error with proxy {proxy}: {e}")
        time.sleep(2)

conn.close()

Ulteriori risorse

• ProxyRoller – Elenchi proxy gratuiti
• Documentazione di Feedparser
• Documentazione sulle richieste Python
• Documentazione SQLite

Come il più pregiato tappeto afghano, un aggregatore RSS basato su proxy è resiliente, adattabile e splendidamente orchestrato. Ogni proxy, feed e riga del database è un filo conduttore, intrecciato in armonia e utilità.