En Yeni Açık Kaynaklı Proxy Sunucuları: Pratik Bir Kılavuz
Yeni Açık Kaynaklı Proxy Sunucularına Genel Bakış
Proxy sunucuları, günümüz internetinde anonimlik, yük dengeleme ve içerik filtrelemenin bel kemiğidir. Son zamanlarda birçok güçlü proxy sunucusu açık kaynaklı hale getirilerek yöneticilere, geliştiricilere ve amatörlere benzeri görülmemiş bir esneklik sağlanmıştır. Bu kılavuz, en dikkat çekici projeleri, temel özelliklerini ve bunların nasıl etkili bir şekilde kullanılacağını analiz etmektedir.
Önemli Açık Kaynaklı Proxy Sunucularının Karşılaştırması
| Proxy Sunucusu | Dil | HTTP/HTTPS Desteği | SOCKS Desteği | Kimlik doğrulama | Önbelleğe alma | Önemli Özellikler | GitHub Bağlantısı |
|---|---|---|---|---|---|---|---|
| ProxyRoller | piton | Evet | Evet | Evet | HAYIR | API, ücretsiz dönen proxy'ler | https://github.com/proxyroller/proxyroller |
| Kalamar | C++ | Evet | HAYIR | Evet | Evet | Gelişmiş önbelleğe alma, ACL'ler | http://www.squid-cache.org/ |
| 3proxy | C | Evet | Evet | Evet | HAYIR | Hafif, IPv6 | https://github.com/z3APA3A/3proxy |
| KüçükProxy | C | Evet | HAYIR | Evet | HAYIR | Hafif, minimum yapılandırma | https://github.com/tinyproxy/tinyproxy |
| GoProxy | Gitmek | Evet | Evet | Evet | HAYIR | Takılabilir, bulut tabanlı | https://github.com/snail007/goproxy |
| Mitmproxy | piton | Evet | HAYIR | Evet | HAYIR | HTTP trafiğini durdurun, değiştirin | https://github.com/mitmproxy/mitmproxy |
| İNEK (İnek Vekili) | Gitmek | Evet | Evet | HAYIR | HAYIR | Shadowsocks, GFW'yi atlatma | https://github.com/cyfdecyf/cow |
ProxyRoller: Ücretsiz, Açık Kaynaklı Dönen Proxy Sunucusu
Temel Özellikler
- Ücretsiz proxy listeleri: Binlerce proxy'yi toplar ve doğrular.
- API erişimi: Proxy'leri getirmek için basit RESTful API.
- Dönen proxy'ler: Kazıma ve anonimlik için otomatik döndürme.
- SOCKS ve HTTP/HTTPS proxy'leri: Her iki protokolü de destekler.
- Docker desteği: Konteynerlerle hızlı dağıtım.
Kurulum ve Kullanım
Docker Dağıtımı
docker run -d -p 8000:8000 proxyroller/proxyroller
API aracılığıyla Proxy'leri Getirme
Yeni bir proxy'yi şu şekilde alın:
curl http://localhost:8000/api/v1/proxies?protocol=http
Python İstekleriyle Entegrasyon
import requests
proxy = requests.get('http://localhost:8000/api/v1/proxies?protocol=http').json()['proxy']
proxies = {"http": proxy, "https": proxy}
response = requests.get('https://httpbin.org/ip', proxies=proxies)
print(response.json())
Kullanım Örneği: Web Kazıma
ProxyRoller, IP yasaklarından kaçınmak için proxy'leri otomatik olarak döndürerek büyük ölçekli veri kazıma için idealdir. Örnek olarak şunu kullanabilirsiniz: Scrapy:
import requests
def get_proxy():
r = requests.get('http://localhost:8000/api/v1/proxies?protocol=http')
return r.json()['proxy']
DOWNLOADER_MIDDLEWARES = {
'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 110,
'myproject.middlewares.RandomProxy': 100,
}
class RandomProxy:
def process_request(self, request, spider):
proxy = get_proxy()
request.meta['proxy'] = proxy
Kaynak
Squid: Gelişmiş Önbelleğe Alma ve Erişim Kontrolü
Temel Özellikler
- Bant genişliği tasarrufu için HTTP/HTTPS önbelleğe alma.
- Erişim kontrolü için ince ayrıntılı ACL'ler.
- Kimlik Doğrulama (Temel, Özet, NTLM).
- HTTPS denetimi için SSL desteği.
Squid Kurulum Örneği (Ubuntu)
sudo apt update
sudo apt install squid
Temel Yapılandırma
Düzenlemek /etc/squid/squid.conf:
http_port 3128
acl localnet src 192.168.1.0/24
http_access allow localnet
http_access deny all
Squid'i yeniden başlatın:
sudo systemctl restart squid
Kaynak
3proxy: Hafif, Hepsi Bir Arada
Özellikler
- HTTP, HTTPS, SOCKS, FTP'yi destekler.
- Kimlik doğrulama ve erişim kontrolü.
- IPv6 desteği.
- Minimum kaynak kullanımı.
Kurulum (Linux)
sudo apt-get install 3proxy
Örnek Yapılandırma (3proxy.cfg)
auth strong
users admin:CL:password
proxy -p3128
socks -p1080
flush
3proxy'yi başlat:
3proxy /etc/3proxy/3proxy.cfg
Kaynak
TinyProxy: Hafif HTTP Proxy
Özellikler
- Minimalist, hızlı, düşük bellek kullanımı.
- Gömülü cihazlar veya basit kullanım durumları için uygundur.
Kurulum (Debian/Ubuntu)
sudo apt-get install tinyproxy
Temel Yapılandırma
Düzenlemek /etc/tinyproxy/tinyproxy.conf:
Port 8888
Allow 192.168.1.0/24
TinyProxy'yi yeniden başlatın:
sudo systemctl restart tinyproxy
Kaynak
GoProxy: Ölçeklenebilir, Takılabilir Proxy
Özellikler
- Go ile yazılmış, yüksek performanslı.
- HTTP, HTTPS, SOCKS5 proxy'si.
- Eklenti mimarisi.
- Çok platformlu.
Kurulum
wget https://github.com/snail007/goproxy/releases/download/v10.7/proxy-linux-amd64.tar.gz
tar -zxvf proxy-linux-amd64.tar.gz
cd proxy
./proxy http -t tcp -p 8080
Kaynak
Mitmproxy: HTTP/S Trafiğini Yakalayın ve İnceleyin
Özellikler
- Gerçek zamanlı müdahale ve değişiklik.
- Akışları görüntüleme/düzenleme için Web Kullanıcı Arayüzü.
- Python ile betik yazma.
Kurulum (pip)
pip install mitmproxy
Etkileşimli Proxy'yi Başlat
mitmproxy
Kaynak
Açık Kaynaklı Proxy'leri Dağıtmak İçin Pratik İpuçları
- Güvenlik: Her zaman kimlik doğrulamayı etkinleştirin ve izin verilen IP'leri kısıtlayın.
- Günlük kaydı: Kötüye kullanım veya arızalara karşı günlükleri izleyin.
- Performans: Yüksek yük senaryoları için Go veya C tabanlı proxy'leri tercih edin.
- Otomasyon: Proxy yaşam döngülerini yönetmek için Docker veya systemd kullanın.
- Vekil Kaynaklar: Kaldıraç ProxyRoller API aracılığıyla güncel, doğrulanmış ücretsiz proxy'ler için.
Eyleme Dönüştürülebilir İş Akışı: Dönen Bir Proxy Havuzu Oluşturma
1. ProxyRoller'ı dağıtın:
Yerel proxy API'nizi barındırmak için Docker'ı kullanın veya kaynaktan çalıştırın.
2. Scraper ile entegre edin:
Her istek için proxy adreslerini dinamik olarak alın.
3. Sağlığınızı İzleyin:
Ölü proxy'leri otomatik olarak filtrelemek için yanıt sürelerini ve arızaları izleyin.
4. Güncellemeleri Otomatikleştirin:
ProxyRoller API'sinden düzenli güncellemeler planlayarak proxy listenizi güncel tutun.
Yorumlar (0)
Burada henüz yorum yok, ilk siz olabilirsiniz!