Kullanıcı Aracıları ve Proxy'ler Birlikte Nasıl Döndürülür?

Gölgelerin Dansı: Kullanıcı Aracılarını ve Vekilleri Uyum İçinde Döndürme

Çok Yüzlü Hikaye: Kullanıcı Aracıları ve Proxy'ler Neden Birlikte Döndürülür?

Kuzey ormanlarında tavşan mevsimlere göre tüylerini değiştirir ve tilki huş ağaçları arasında sessizce dolaşır, aynı izi asla iki kez takip etmez. Benzer şekilde, uçsuz bucaksız ağdan veri toplarken, dijital bekçilerin dikkatli gözleri tarafından görülmemek ve rahatsız edilmemek için hem yüzünüzü hem de yolunuzu -kullanıcı aracınızı ve proxy'nizi- değiştirmeniz gerekir.

Sadece birini veya diğerini döndürmek, yeni bir pelerin giyip aynı eski yolda yürümeye benzer. Gerçek anonimlik ve dayanıklılık, ikisini bir arada örmekten, desenin veya ayak izinin asla yerleşmesine izin vermemekten gelir.

---

Kullanıcı Aracısı Nedir?

Kullanıcı aracısı, tarayıcınızın veya botunuzun kendisini bir web sunucusuna tanıtmak için kullandığı sestir. Sunucuya "Windows'ta Chrome'um" veya "iPhone'da Safari'yim" der. Bu sesi değiştirmek, tarayıcınızın her biri kendine özgü bir hikayeye sahip birçok farklı ziyaretçi olarak görünmesini sağlar.

Örnek Kullanıcı Aracıları:

Tarayıcı	Örnek Kullanıcı Aracısı Dizesi
Chrome (Windows)	Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36
Firefox (Linux)	Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:109.0) Gecko/20100101 Firefox/117.0
Safari (iOS)	Mozilla/5.0 (iPhone; CPU iPhone OS 17_0 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.0 Mobile/15E148 Safari/604.1

---

Proxy Nedir?

Proxy, nehrin üzerindeki bir köprüdür; istekleriniz karşıya geçer ve diğer tarafta web sitesi yalnızca köprünün izini görür, sizinkini değil. Proxy'leri değiştirerek, her seferinde farklı bir kıyıdan geliyormuş gibi görünen birçok farklı köprüden geçersiniz.

Proxy Türleri:

Proxy Türü	Tanım	Kullanım Örneği
HTTP/HTTPS	Web trafiği için kullanımı en basit olanıdır	Çoğu web kazıma görevi
SOCKS5	Çeşitli protokolleri destekler, daha esnektir	Gelişmiş, HTTP olmayan trafik
yerleşim	Gerçek cihazlardan gerçek IP'ler	Yüksek gizlilik, ancak daha pahalı
Veri merkezi	Hızlı, ancak kolayca tespit edilebilir	Yüksek hacimli kazıma, düşük gizlilik

• Ücretsiz HTTP proxy'leri için ziyaret edin ProxyRoller, hiçbir maliyet ödemeden taze proxy'ler toplayabileceğiniz bakımlı bir açıklık.

---

Desen: Neden Her İkisini de Döndürmeliyiz?

Yalnızca kullanıcı aracılarını döndürürseniz, tilki yeni bir maske takar ancak aynı izi takip eder. Yalnızca vekilleri döndürürseniz, tilki yeni izleri takip eder ancak her zaman aynı maskeyi takar. Her iki model de kısa sürede fark edilir.

Her ikisini de uyumlu bir şekilde döndürerek, her istekle yeni bir maskeyi yeni bir iz ile eşleştirerek, eski masallarda söylendiği gibi, fark edilmeden ormanda hareket etmenizi sağlar - bir şekil değiştiren, asla aynı olmayan, asla tam olarak bulunamayan.

---

Rotasyona Yaklaşımlar

1. Senkronize Rotasyon (Eşleştirme)

Her istek için yeni bir proxy ve yeni bir kullanıcı aracısı seçin, böylece sabit bir düzen olmasın. Bu en etkili gizleme yöntemidir.

Requests ve ProxyRoller'ı kullanan Python Örneği:

import requests
import random

# Fetch free proxies from ProxyRoller
proxy_list = requests.get('https://proxyroller.com/api/proxies?protocol=http').json()['proxies']

user_agents = [
    # Add a variety of user agent strings here
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
    'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:109.0) Gecko/20100101 Firefox/117.0',
    # ... more user agents
]

for _ in range(10):  # For 10 requests, for example
    proxy = random.choice(proxy_list)
    user_agent = random.choice(user_agents)

    proxies = {
        'http': f"http://{proxy['ip']}:{proxy['port']}",
        'https': f"http://{proxy['ip']}:{proxy['port']}",
    }
    headers = {'User-Agent': user_agent}

    try:
        response = requests.get('https://httpbin.org/ip', headers=headers, proxies=proxies, timeout=8)
        print(response.json(), user_agent)
    except Exception as e:
        print(f"Failed with proxy {proxy['ip']}: {e}")

• Kullanarak yeni proxy'ler toplayın ProxyRoller'ın API'si.

2. Döner Havuzlar (Round Robin)

İki liste oluşturun (biri proxy, diğeri kullanıcı aracılarından oluşan) ve her ikisi arasında dönüşümlü veya rastgele bir şekilde geçiş yapın. Önemli olan, bir eşleştirmeyi asla çok sık tekrarlamamaktır.

3. Ara Yazılım Kullanımı (Scrapy Örneği)

Scrapy'de, her ikisini de döndürmek için ara yazılım uygulayabilirsiniz:

# settings.py
DOWNLOADER_MIDDLEWARES = {
   'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
   'myproject.middlewares.RotateUserAgentAndProxyMiddleware': 400,
}

# middlewares.py
import random

class RotateUserAgentAndProxyMiddleware:
    def __init__(self):
        self.user_agents = [ ... ]  # List of user agents
        self.proxies = [ ... ]      # List of proxies from ProxyRoller

    def process_request(self, request, spider):
        request.headers['User-Agent'] = random.choice(self.user_agents)
        proxy = random.choice(self.proxies)
        request.meta['proxy'] = f"http://{proxy['ip']}:{proxy['port']}"

• Görmek Scrapy Ara Yazılım Belgeleri.

---

Karşılaştırma Tablosu: Rotasyon Yaklaşımları

Yaklaşmak	Anonimlik	Karmaşıklık	Arıza Yönetimi	Uygunluk
Tek UA Döndür	Düşük	Düşük	Kolay	Temel kazıma, düşük risk
Tek Proxy	Düşük	Düşük	Kolay	Tavsiye edilmez
Senkronize edilmiş	Yüksek	Orta	Başarısızlıklarla başa çıkmak zorundayım	Üretim, gizlilik
Havuz Rotasyonu	Orta	Orta	Başarısızlıklarla başa çıkmak zorundayım	Orta ölçekli

---

Kaçınılmazla Başa Çıkmak: Hata Yönetimi

Akıllı bir ormancının yolunun üzerinde ara sıra devrilen bir ağaç görmeyi beklemesi gibi, siz de proxy'lerin başarısız olmasını ve kullanıcı aracılarının tespit edilmesini beklemelisiniz. Her zaman:

• İstisnaları yakalayın, yeni çiftlerle tekrar deneyin.
• Havuzunuzdan ölü proxy'leri kaldırın.
• Yanıt kodlarını izleyin (403, 429 fark edildiğinizin işaretleridir).

---

Araçlar ve Kaynaklar

• ProxyRoller – Yeni, ücretsiz HTTP proxy’leri için.
• UserAgents.me – Kullanıcı aracı dizelerinin kapsamlı bir listesi için.
• Scrapy – Gelişmiş kazıma ve ara yazılım kontrolü için.
• İstekler Belgeler – Python’da HTTP istekleri için.

---

Ormandan Son Bir Söz

Eski İsveç masallarının ruhuna uygun olarak, hafif ve akıllıca seyahat edin. Her adımda yüzünüzü ve yolunuzu değiştirin; ağın koruyucuları yalnızca, her biri bir öncekinden farklı, gelip geçen gölgeler görecektir. Başka bir köprüye ihtiyacınız olursa, köprülerin çok olduğu ve tüm gezginler için ücretsiz olduğu ProxyRoller korusunu arayın.