Proxy Destekli RSS Toplayıcı Nasıl Oluşturulur

Doğru Tezgahı Seçmek: Neden Proxy Destekli Bir RSS Toplayıcı?

Dijital dünyanın çarşılarında, tıpkı Kabil'in hareketli pazarları gibi, bilgi bol miktarda bulunur, ancak erişim her zaman kolay değildir. Birçok RSS akışı erişimi kısıtlar, istek hızlarını sınırlar veya IP üzerinden veri toplayıcıları engeller. Tıpkı yetenekli bir dokumacının düğüm ve kopmaları önlemek için en iyi iplikleri seçmesi gibi, proxy destekli bir toplayıcı da kesintisiz ve güvenilir veri toplama sağlamak için çeşitli proxy'ler seçer.

Bir RSS Toplayıcının Anatomisi

Bir RSS toplayıcısı, özünde birden fazla akıştan içerik toplar, verileri ayrıştırır ve birleşik bir akış sunar. Proxy'leri entegre etmek için, bunları istek mekanizmanızdan geçirmeniz ve her bir alımın hem anonim hem de dağıtılmış olmasını sağlamanız gerekir.

Bileşenler ve Rolleri

Proxy Kaynağı: ProxyRoller Dokuması

Hiçbir konu proxy listesinden daha hayati değildir. ProxyRoller Düzenli olarak yenilenen, ücretsiz, dönüşümlü HTTP ve SOCKS proxy'leriyle dolu bir dokuma tezgahı sunar. API ve toplu dışa aktarma araçları, tıpkı usta bir dokumacının yalnızca en iyi tedarikçilere güvenmesi gibi, hazır bir tedarik sağlar.

Örnek: ProxyRoller'dan Proxy'leri Getirme

import requests

response = requests.get("https://proxyroller.com/api/proxies?type=http")
proxies = response.json()  # List of proxy strings like 'ip:port'

Getiriciyi Örmek: Proxy Etkinleştirilmiş İstekler

Getirici, tıpkı bir halının deseninin renkleri değiştirmesi gibi, proxy'leri zarif bir şekilde değiştirmelidir. Güçlü bir HTTP kütüphanesi kullanın, örneğin: requests Python'da ve her isteği yeni bir proxy ile eşleştirin.

import random

def fetch_feed(feed_url, proxies):
    proxy = random.choice(proxies)
    proxy_dict = {
        "http": f"http://{proxy}",
        "https": f"http://{proxy}"
    }
    try:
        resp = requests.get(feed_url, proxies=proxy_dict, timeout=10)
        resp.raise_for_status()
        return resp.content
    except Exception as e:
        print(f"Failed with proxy {proxy}: {e}")
        return None

Deseni Ayrıştırma: RSS Öğelerini Çıkarma

İş parçacıkları (beslemeler) alındıktan sonra, aşağıdaki gibi bir ayrıştırıcı kullanın: besleme ayrıştırıcısı hikayeleri çıkarmak için.

import feedparser

def parse_feed(xml_content):
    return feedparser.parse(xml_content)['entries']

Düğümlerin Yönetimi: Hata Yönetimi ve Proxy Rotasyonu

Her dokumada olduğu gibi, düğümler ve karışıklıklar kaçınılmazdır. Bir proxy başarısız olduğunda, atılmalı veya seyrek olarak yeniden denenmelidir. Yeniden deneme mantığını ve ProxyRoller'dan periyodik güncellemeleri uygulayın.

from time import sleep

def robust_fetch(feed_url, proxies, max_retries=5):
    for _ in range(max_retries):
        content = fetch_feed(feed_url, proxies)
        if content:
            return content
        sleep(2)  # Pause between attempts, like a craftsman regrouping
    return None

İpek Depolama: Verilerin Toplanması ve Sunulması

SQLite, MongoDB veya PostgreSQL gibi bir veritabanı, depolama alanınız olarak hizmet eder. Her yeni makale, kaynağı, zaman damgası ve içeriğiyle birlikte kaydedilir.

Şema Örneği:

Güvenlik, Etik ve Saygı: Dokuyucunun Yemini

Afgan geleneği pazara saygıyı gerektirdiği gibi, veri toplayıcılar da hedef sitelerin robots.txt ve hız sınırlarına uymak zorundadır. Proxy'ler silah değil, araçtır; onları sorumlu bir şekilde kullanın.

Karşılaştırma Tablosu: Doğrudan ve Vekil Destekli Toplama

Tam Komut Dosyası Örneği

import requests, random, feedparser, sqlite3, time

# Fetch proxies from ProxyRoller
proxies = requests.get("https://proxyroller.com/api/proxies?type=http").json()

# Simple SQLite setup
conn = sqlite3.connect('rss.db')
c = conn.cursor()
c.execute('''CREATE TABLE IF NOT EXISTS articles
             (id TEXT PRIMARY KEY, feed_url TEXT, title TEXT, link TEXT, published TEXT, summary TEXT)''')

feed_urls = ['https://rss.nytimes.com/services/xml/rss/nyt/World.xml']

for feed_url in feed_urls:
    for attempt in range(5):
        proxy = random.choice(proxies)
        try:
            resp = requests.get(feed_url, proxies={"http": f"http://{proxy}", "https": f"http://{proxy}"}, timeout=10)
            if resp.status_code == 200:
                entries = feedparser.parse(resp.content)['entries']
                for entry in entries:
                    c.execute('INSERT OR IGNORE INTO articles VALUES (?, ?, ?, ?, ?, ?)',
                              (entry.get('id', entry['link']), feed_url, entry['title'], entry['link'],
                               entry.get('published', ''), entry.get('summary', '')))
                conn.commit()
                break
        except Exception as e:
            print(f"Error with proxy {proxy}: {e}")
        time.sleep(2)

conn.close()

Ek Kaynaklar

• ProxyRoller – Ücretsiz Proxy Listeleri
• Feedparser Belgeleri
• Python İstekleri Belgeleri
• SQLite Belgeleri

En iyi Afgan halısı gibi, proxy destekli bir RSS toplayıcısı da esnek, uyarlanabilir ve orkestrasyonuyla güzeldir. Her proxy, besleme ve veritabanı satırı, uyum ve fayda içinde birbirine örülmüş bir ipliktir.