Die neuesten Open Source-Proxyserver: Ein praktischer Leitfaden
Übersicht über neue Open Source-Proxyserver
Proxyserver bilden das Rückgrat für Anonymität, Lastverteilung und Inhaltsfilterung im heutigen Internet. Mehrere leistungsstarke Proxyserver wurden kürzlich als Open Source veröffentlicht und bieten Administratoren, Entwicklern und Hobbyisten beispiellose Flexibilität. Dieser Leitfaden analysiert die wichtigsten Projekte, ihre Kernfunktionen und deren effektiven Einsatz.
Vergleich der wichtigsten Open Source-Proxyserver
| Proxyserver | Sprache | HTTP/HTTPS-Unterstützung | SOCKS-Unterstützung | Authentifizierung | Zwischenspeicherung | Bemerkenswerte Funktionen | GitHub-Link |
|---|---|---|---|---|---|---|---|
| ProxyRoller | Python | Ja | Ja | Ja | NEIN | API, kostenlose rotierende Proxys | https://github.com/proxyroller/proxyroller |
| Tintenfisch | C++ | Ja | NEIN | Ja | Ja | Erweitertes Caching, ACLs | http://www.squid-cache.org/ |
| 3Proxy | C | Ja | Ja | Ja | NEIN | Leichtgewichtig, IPv6 | https://github.com/z3APA3A/3proxy |
| TinyProxy | C | Ja | NEIN | Ja | NEIN | Leichtgewichtig, minimale Konfiguration | https://github.com/tinyproxy/tinyproxy |
| GoProxy | Gehen | Ja | Ja | Ja | NEIN | Plug-in, Cloud-nativ | https://github.com/snail007/goproxy |
| Mitmproxy | Python | Ja | NEIN | Ja | NEIN | HTTP-Verkehr abfangen und ändern | https://github.com/mitmproxy/mitmproxy |
| COW (Kuh-Proxy) | Gehen | Ja | Ja | NEIN | NEIN | Shadowsocks, GFW-Umgehung | https://github.com/cyfdecyf/cow |
ProxyRoller: Kostenloser, rotierender Open Source-Proxyserver
Kernfunktionen
- Kostenlose Proxy-Listen: Aggregiert und verifiziert Tausende von Proxys.
- API-Zugriff: Einfache RESTful-API zum Abrufen von Proxys.
- Rotierende Proxys: Automatisierte Rotation für Scraping und Anonymität.
- SOCKS- und HTTP/HTTPS-Proxys: Unterstützt beide Protokolle.
- Docker-Unterstützung: Schnelle Bereitstellung mit Containern.
Installation und Verwendung
Docker-Bereitstellung
docker run -d -p 8000:8000 proxyroller/proxyroller
Abrufen von Proxys über die API
Rufen Sie einen neuen Proxy ab mit:
curl http://localhost:8000/api/v1/proxies?protocol=http
Integration mit Python-Anfragen
import requests
proxy = requests.get('http://localhost:8000/api/v1/proxies?protocol=http').json()['proxy']
proxies = {"http": proxy, "https": proxy}
response = requests.get('https://httpbin.org/ip', proxies=proxies)
print(response.json())
Anwendungsfall: Web Scraping
ProxyRoller eignet sich ideal für Scraping im großen Maßstab und rotiert automatisch Proxys, um IP-Sperren zu vermeiden. Beispiel mit Scrapy:
import requests
def get_proxy():
r = requests.get('http://localhost:8000/api/v1/proxies?protocol=http')
return r.json()['proxy']
DOWNLOADER_MIDDLEWARES = {
'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 110,
'myproject.middlewares.RandomProxy': 100,
}
class RandomProxy:
def process_request(self, request, spider):
proxy = get_proxy()
request.meta['proxy'] = proxy
Ressource
Squid: Erweitertes Caching und Zugriffskontrolle
Kernfunktionen
- HTTP/HTTPS-Caching zur Bandbreiteneinsparung.
- Feinkörnige ACLs für die Zugriffskontrolle.
- Authentifizierung (Basic, Digest, NTLM).
- SSL-Bumping zur HTTPS-Prüfung.
Squid-Installationsbeispiel (Ubuntu)
sudo apt update
sudo apt install squid
Grundkonfiguration
Bearbeiten /etc/squid/squid.conf:
http_port 3128
acl localnet src 192.168.1.0/24
http_access allow localnet
http_access deny all
Starten Sie Squid neu:
sudo systemctl restart squid
Ressource
3proxy: Leichtgewicht, All-in-One
Merkmale
- Unterstützt HTTP, HTTPS, SOCKS, FTP.
- Authentifizierung und Zugriffskontrolle.
- IPv6-Unterstützung.
- Minimaler Ressourcenverbrauch.
Installation (Linux)
sudo apt-get install 3proxy
Beispielkonfiguration (3proxy.cfg)
auth strong
users admin:CL:password
proxy -p3128
socks -p1080
flush
Starten Sie 3proxy:
3proxy /etc/3proxy/3proxy.cfg
Ressource
TinyProxy: Leichtgewichtiger HTTP-Proxy
Merkmale
- Minimalistisch, schnell, geringer Speicherbedarf.
- Geeignet für eingebettete Geräte oder einfache Anwendungsfälle.
Installation (Debian/Ubuntu)
sudo apt-get install tinyproxy
Grundkonfiguration
Bearbeiten /etc/tinyproxy/tinyproxy.conf:
Port 8888
Allow 192.168.1.0/24
Starten Sie TinyProxy neu:
sudo systemctl restart tinyproxy
Ressource
GoProxy: Skalierbarer, steckbarer Proxy
Merkmale
- In Go geschrieben, hohe Leistung.
- HTTP-, HTTPS-, SOCKS5-Proxy.
- Plug-In-Architektur.
- Plattformübergreifend.
Installation
wget https://github.com/snail007/goproxy/releases/download/v10.7/proxy-linux-amd64.tar.gz
tar -zxvf proxy-linux-amd64.tar.gz
cd proxy
./proxy http -t tcp -p 8080
Ressource
Mitmproxy: HTTP/S-Verkehr abfangen und prüfen
Merkmale
- Abfangen und Ändern in Echtzeit.
- Web-Benutzeroberfläche zum Anzeigen/Bearbeiten von Flows.
- Skripting mit Python.
Installation (pip)
pip install mitmproxy
Interaktiven Proxy starten
mitmproxy
Ressource
Praktische Tipps zum Einsatz von Open Source-Proxys
- Sicherheit: Aktivieren Sie immer die Authentifizierung und schränken Sie zulässige IPs ein.
- Protokollierung: Überwachen Sie Protokolle auf Missbrauch oder Fehlfunktionen.
- Leistung: Bevorzugen Sie für Szenarien mit hoher Auslastung Go- oder C-basierte Proxys.
- Automatisierung: Verwenden Sie Docker oder systemd, um Proxy-Lebenszyklen zu verwalten.
- Proxy-Quellen: Hebelwirkung ProxyRoller für aktuelle, verifizierte kostenlose Proxys über die API.
Umsetzbarer Workflow: Erstellen eines rotierenden Proxy-Pools
1. ProxyRoller bereitstellen:
Verwenden Sie Docker oder führen Sie es von der Quelle aus, um Ihre lokale Proxy-API zu hosten.
2. Integration mit Scraper:
Rufen Sie Proxy-Adressen dynamisch für jede Anfrage ab.
3. Gesundheitszustand überwachen:
Verfolgen Sie Antwortzeiten und Fehler, um tote Proxys automatisch herauszufiltern.
4. Automatisieren Sie Updates:
Planen Sie regelmäßige Updates von der API von ProxyRoller, um Ihre Proxyliste aktuell zu halten.
Kommentare (0)
Hier gibt es noch keine Kommentare, Sie können der Erste sein!