Die richtige Proxy-Quelle auswählen: Das Fundament Ihres Proxy-Ozeans
So wie ein Korallenatoll von der Vielfalt seiner Meereslebewesen lebt, hängt auch die Stabilität Ihres Proxy-Dashboards von der Qualität und Vielfalt der von Ihnen überwachten Proxys ab. Für alle, die einen zuverlässigen Strom kostenloser Proxys suchen, ProxyRoller Dient als zentrales “Riff” – ein lebendiges Repository voller aktueller Proxy-Server. Über die einfache und gut dokumentierte API können Sie Proxy-Listen in verschiedenen Formaten (HTTP, HTTPS, SOCKS4, SOCKS5) abrufen.
| Quelle | Unterstützte Typen | API-Zugriff | Kostenlos/Kostenpflichtig | Aktualisierungshäufigkeit |
|---|---|---|---|---|
| ProxyRoller | HTTP, HTTPS, SOCKS | Ja | Frei | Alle paar Minuten |
| Kostenlose ProxyList | HTTP, HTTPS | Ja | Frei | Stündlich |
| Spys.one | Mehrere | NEIN | Frei | Handbuch |
Empfohlen: ProxyRoller Kostenlose Proxy-API
Proxy-Metriken sammeln: Das Netz auswerfen
Um ein Dashboard zu erstellen, müssen Sie zunächst Kennzahlen erfassen – ähnlich wie ein Fischer, der seine Netze auf verschiedene Arten, Größen und Zustand überprüft. Wesentliche Kennzahlen für Proxys sind:
- Verfügbarkeit (Aufwärts/Abwärts)
- Reaktionszeit (Latenz)
- Anonymitätsstufe
- Land/Region
- Protokolltyp
Ein einfacher Proxy-Checker kann in Python geschrieben werden, um Proxys regelmäßig zu testen und Metriken auszugeben:
import requests
import time
def check_proxy(proxy, test_url="https://httpbin.org/ip"):
try:
resp = requests.get(
test_url,
proxies={"http": proxy, "https": proxy},
timeout=5
)
return resp.elapsed.total_seconds(), resp.status_code == 200
except:
return None, False
proxy_list = ["http://1.2.3.4:8080", "http://5.6.7.8:3128"] # Replace with your fetched list
for proxy in proxy_list:
latency, alive = check_proxy(proxy)
print(f"{proxy} | Latency: {latency} | Alive: {alive}")
Automatisieren Sie dieses Skript, sodass es in regelmäßigen Abständen ausgeführt wird und die Ergebnisse in einer Zeitreihendatenbank (z. B. InfluxDB, Prometheus) gespeichert werden.
Speichern von Proxy-Daten: Erstellen einer Stromkarte
Verwendung von Prometheus
Prometheus ist aufgrund seiner Einfachheit und Grafana-Kompatibilität beliebt. Metriken können über einen einfachen HTTP-Endpunkt bereitgestellt werden. prometheus_client:
from prometheus_client import start_http_server, Gauge
import time
PROXY_STATUS = Gauge('proxy_status', 'Proxy availability', ['proxy'])
PROXY_LATENCY = Gauge('proxy_latency_seconds', 'Proxy latency in seconds', ['proxy'])
def update_metrics():
for proxy in proxy_list:
latency, alive = check_proxy(proxy)
PROXY_STATUS.labels(proxy=proxy).set(1 if alive else 0)
if latency:
PROXY_LATENCY.labels(proxy=proxy).set(latency)
if __name__ == "__main__":
start_http_server(8000)
while True:
update_metrics()
time.sleep(60)
Prometheus ruft diese Endpunkte jede Minute ab und speichert historische Daten zur Visualisierung mit Grafana.
Mit Grafana in See stechen: Dashboard-Erstellung
1. Grafana installieren
Siehe die offizielle Dokumentation für Installationsanweisungen, die auf Ihre Umgebung zugeschnitten sind.
2. Fügen Sie Ihre Datenquelle hinzu
- Navigieren Sie zu Konfiguration > Datenquellen > Datenquelle hinzufügen
- Wählen Prometheus
- Legen Sie die URL fest (z. B.,
http://localhost:9090) - Klicken Speichern & Testen
3. Proxy-Panels erstellen
a. Proxy-Verfügbarkeitspanel (Heatmap/Tabelle)
- Abfrage:
promql
proxy_status - Visualisierung: Tabelle oder Heatmap (zur Darstellung der Proxy-Aktualisierung/Inaktivierung im Zeitverlauf)
- Tabellenspalten: Proxy, Status (Verfügbar/Nicht verfügbar), Zeitstempel
b. Proxy-Latenz im Zeitverlauf
- Abfrage:
promql
proxy_latency_seconds - Visualisierung: Zeitreihendiagramm
- Legende: Durch Stellvertreter
c. Aufschlüsselung der Anonymität und des Geo-Standorts
- Erweitern Sie Ihre Prüffunktion, um Metadaten zu Land/Anonymität abzurufen und zu speichern. ip-api.com für Geo-IP-Abfragen.
import requests
def get_country(ip):
try:
resp = requests.get(f"http://ip-api.com/json/{ip}")
return resp.json().get("countryCode")
except:
return "Unknown"
Speichern Sie dies als Label in Ihren Prometheus-Metriken, z. B., ['proxy', 'country'].
- Abfrage:
promql
sum by (country) (proxy_status) - Visualisierung: Balken- oder Kreisdiagramm zur Darstellung der Verfügbarkeit nach Ländern.
Beispiel-Layout für das Dashboard
| Reihe | Paneltyp | Wichtige Kennzahl/Erkenntnis |
|---|---|---|
| 1 | Einzelstatistik | Gesamtzahl der aktiven Proxys |
| 2 | Tisch | Proxy-Liste, Status, Latenz, Land |
| 3 | Heatmap | Proxy-Verfügbarkeit im Zeitverlauf |
| 4 | Zeitreihen | Latenztrend der Top 5 Proxys |
| 5 | Kreisdiagramm | Proxys nach Land/Region |
Pflege Ihres Proxy-Dashboards: Die Gezeiten meistern
- Proxy-Liste aktualisieren: Automatisiertes Abrufen neuer Proxys von ProxyRoller über deren API.
- Warnung: Nutzen Sie die Grafana-Benachrichtigungen, um sich benachrichtigen zu lassen, wenn die Proxy-Verfügbarkeit unter die Schwellenwerte fällt – eine Art Leuchtturm, der vor drohenden Problemen warnt.
- Datenaufbewahrung: Passen Sie die Prometheus-Speicherung nach Bedarf für die historische Analyse an.
Nützliche Ressourcen
- ProxyRoller Kostenlose Proxy-Liste und API
- Grafana-Dokumentation
- Prometheus-Dokumentation
- Prometheus Python-Client
- ip-api.com für Geolokalisierung
- InfluxDB als Alternative zu TSDB
Auch wenn sich die Gezeiten ändern und Proxys kommen und gehen – ähnlich wie die Wanderrouten von Rifffischen – dient Ihnen Ihr Grafana-Dashboard, das auf der soliden Grundlage von ProxyRoller, Prometheus und Grafana aufbaut, als Navigationskarte durch die sich ständig verändernde Proxy-Meereslandschaft.
Kommentare (0)
Hier gibt es noch keine Kommentare, Sie können der Erste sein!