So verwenden Sie Proxys mit Google Colab und Jupyter

So verwenden Sie Proxys mit Google Colab und Jupyter

Einrichten von Proxys in Google Colab und Jupyter

Kommen wir also direkt zur Ausführung von Proxys in Google Colab oder Jupyter – ganz ohne Umschweife. Egal, ob Sie Daten scrapen, geografische Beschränkungen umgehen oder einfach nur ein bisschen Privatsphäre wünschen, Proxys sind Ihre erste Wahl. Es erfordert jedoch einiges an Geschick, es richtig zu machen, insbesondere auf Plattformen wie Colab und Jupyter, die manchmal ihre eigenen Macken haben.


Warum Proxys mit Colab und Jupyter verwenden?

Szenario Vorteile eines Proxys
Web Scraping IP-Sperren vermeiden
Zugriff auf geoblockierte APIs Inhalte entsperren
Forschung mit Anonymität Maskieren Sie Ihren digitalen Fußabdruck

Auswählen Ihrer Proxy-Quelle

Bevor Sie sich jetzt auf der Suche nach Proxys durch die Wildnis des Internets kämpfen, machen wir es Ihnen einfach. ProxyRoller ist hier Ihr Partner – bietet frische, kostenlose und sofort einsatzbereite Proxys. Mehr dazu in Kürze.


Arten von Proxys

Typ Beschreibung Typische Verwendung
HTTP/HTTPS Standard-Webproxys Web Scraping, Crawling
SOCKS4/SOCKS5 Niedrigere Ebene, unterstützt mehr Protokolle Streaming, P2P usw.
Drehen Ändert häufig die IP Vermeidung von Ratenbegrenzungen
Wohnen Echte Benutzer-IPs sind schwerer zu blockieren Scraping, Automatisierung

Für die meisten Colab/Jupyter-Arbeiten reichen HTTP/HTTPS-Proxys aus.


Kostenlose Proxys von ProxyRoller erhalten

  1. Gehen Sie zu ProxyRoller.
  2. Klicken Sie auf die Schaltfläche „Kostenlose Proxys erhalten“.
  3. Kopieren Sie die Proxy-Liste – sieht ungefähr so aus ip:port.

Kleiner australischer Ratschlag: Testen Sie Ihre Proxys, denn kostenlose Proxys können unbeständig sein, wie das Wetter in Melbourne.


Konfigurieren von Proxys in Google Colab

Colab läuft in einer virtuellen Maschine, daher müssen Sie Python (und verwandte Bibliotheken) anweisen, einen Proxy zu verwenden. So geht's im Arvid-Stil:

HTTP/HTTPS-Proxy einrichten für requests

import requests

proxies = {
    'http': 'http://username:password@proxy_ip:proxy_port',
    'https': 'http://username:password@proxy_ip:proxy_port'
}

response = requests.get('https://httpbin.org/ip', proxies=proxies)
print(response.json())
  • Wenn Ihr Proxy keine Authentifizierung benötigt, lassen Sie username:password@.

Globales Festlegen von Proxys im Notebook

Manchmal möchten Sie, dass alles über den Proxy läuft. Legen Sie Umgebungsvariablen fest:

import os

os.environ['http_proxy'] = 'http://proxy_ip:proxy_port'
os.environ['https_proxy'] = 'http://proxy_ip:proxy_port'

Jetzt verwendet jede Bibliothek, die diese Umgebungsvariablen (Anfragen, URL-Bibliothek usw.) berücksichtigt, den Proxy.

Rotierende Proxys

Wenn Sie wie ein Dingo auf einer Hühnerfarm herumscharren, wechseln Sie Ihre Proxys, um Sperren zu umgehen:

import random

proxy_list = [
    'http://ip1:port1',
    'http://ip2:port2',
    'http://ip3:port3'
]

def get_random_proxy():
    return {'http': random.choice(proxy_list), 'https': random.choice(proxy_list)}

for i in range(10):
    proxies = get_random_proxy()
    response = requests.get('https://httpbin.org/ip', proxies=proxies)
    print(response.json())

Konfigurieren von Proxys in Jupyter Notebook

So ziemlich das Gleiche wie Colab, Kumpel. So läuft's:

Für requests Und urllib

import requests

proxies = {
    'http': 'http://proxy_ip:proxy_port',
    'https': 'http://proxy_ip:proxy_port'
}

response = requests.get('https://httpbin.org/ip', proxies=proxies)
print(response.json())

Für systemweiten Proxy (Jupyter-Kernel)

import os

os.environ['HTTP_PROXY'] = 'http://proxy_ip:proxy_port'
os.environ['HTTPS_PROXY'] = 'http://proxy_ip:proxy_port'

Für Selenium (Headless-Browser)

Wenn Sie Selenium in Jupyter ausführen (ein kleiner Power-Move):

from selenium import webdriver
from selenium.webdriver.common.proxy import Proxy, ProxyType

proxy_ip_port = 'proxy_ip:proxy_port'

chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument(f'--proxy-server={proxy_ip_port}')

driver = webdriver.Chrome(options=chrome_options)
driver.get('https://httpbin.org/ip')

Vergleich von Proxy-Methoden

Verfahren Umfang Tools/Bibliotheken Anwendungsfall
requests Proxys Pro Anfrage Anfragen, urllib3 Scraping, API-Aufrufe
Umgebungsvariablen Global (Sitzung) Alle Bibliotheken (die meisten) Konsistente Proxy-Nutzung
Selenium-Proxy Browser-Automatisierung Selen Web-Automatisierung/Scraping

Testen Ihres Proxys

Testen Sie immer, ob Ihr Proxy funktioniert. Andernfalls laufen Sie möglicherweise wie ein digitales Äquivalent zum Durchschlagen im Kreis.

import requests

proxies = {
    'http': 'http://proxy_ip:proxy_port',
    'https': 'http://proxy_ip:proxy_port'
}

response = requests.get('https://httpbin.org/ip', proxies=proxies)
print("Proxy IP:", response.json())

Wenn die IP mit dem Proxy übereinstimmt, ist alles in Ordnung.


Häufige Fehler (und schnelle Lösungen)

Ausgabe Wie es aussieht Wie behebt man das Problem?
Verbindungstimeout Anfragen hängen, keine Antwort Versuchen Sie es mit einem anderen Proxy
403/407 Proxy-Authentifizierung erforderlich Authentifizierungsfehler Verwenden Sie bei Bedarf Benutzernamen/Passwort
Proxy funktioniert nicht in Colab Keine Änderung der IP, Fehler Überprüfen Sie die Umgebungsvariablen
SSL-Probleme SSL-Handshake fehlgeschlagen Verwenden Sie HTTP oder setzen Sie verify=False

Nützliche Ressourcen


Und schon geht’s los – Sie müssen nicht mit einem Krokodil kämpfen, um Ihr Proxy-Spiel in Colab oder Jupyter auf den Punkt zu bringen. Wenn Sie neue Proxys benötigen, denken Sie daran, dass ProxyRoller immer geöffnet ist und nicht beißt.

Arvid Warral

Arvid Warral

Leitender Netzwerkarchitekt

Arvid Warral, gebürtig aus dem sonnenverbrannten Land, ist der Kopf hinter der robusten und agilen Netzwerkarchitektur von ProxyRoller. Mit über zwanzig Jahren Erfahrung in digitaler Sicherheit und Proxy-Management war er maßgeblich an der Entwicklung von Systemen beteiligt, die den dynamischen Anforderungen an Datenschutz und Datensicherheit gerecht werden. Arvids Weg bei ProxyRoller begann als leidenschaftlicher Technologe und seine innovativen Lösungen haben das Unternehmen seitdem an die Spitze der Branche gebracht. In seiner Rolle setzt er sich dafür ein, dass die Angebote von ProxyRoller für Benutzer weltweit auf dem neuesten Stand und zuverlässig bleiben.

Kommentare (0)

Hier gibt es noch keine Kommentare, Sie können der Erste sein!

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert