Google Colab ve Jupyter'da Proxy Kurulumu
Tamam, şimdi Google Colab veya Jupyter'da proxy çalıştırmanın özüne geçelim - hiç uğraşmaya gerek yok. İster veri topluyor olun, ister coğrafi kısıtlamaları aşıyor olun, ister sadece biraz gizlilik istiyor olun, proxy'ler sizin en iyi dostunuz. Ancak, özellikle Colab ve Jupyter gibi bazen kendine has tuhaflıkları olan platformlarda, bunu doğru yapmanın bir püf noktası var.
Colab ve Jupyter ile Neden Proxy Kullanmalıyız?
Senaryo | Vekalet Faydası |
---|---|
Web kazıma | IP yasaklarından kaçınma |
Coğrafi olarak engellenen API'lere erişim | İçeriğin engellemesini kaldırma |
Anonimlik ile araştırma | Dijital ayak izinizi maskeleme |
Proxy Kaynağınızı Seçme
Şimdi, internetin vahşi doğasında proxy aramak için uğraşmadan önce, bunu kolaylaştıralım. ProxyRoller İşte karşınızda, kullanıma hazır, yeni ve ücretsiz proxy'ler. Birazdan daha fazlası.
Proxy Türleri
Tip | Tanım | Tipik Kullanım |
---|---|---|
HTTP/HTTPS | Standart web proxy'leri | Web kazıma, tarama |
SOCKS4/SOCKS5 | Alt düzey, daha fazla protokolü destekler | Streaming, P2P, vb. |
Döndürme | IP'yi sık sık değiştirir | Oran sınırlamalarından kaçınmak |
yerleşim | Gerçek kullanıcı IP'lerini engellemek daha zor | Kazıma, otomasyon |
Çoğu Colab/Jupyter işi için HTTP/HTTPS proxy'leri işinizi görecektir.
ProxyRoller'dan Ücretsiz Proxy'ler Edinme
- Şuraya doğru git ProxyRoller.
- “Ücretsiz Proxy Al” butonuna tıklayın.
- Proxy listesini kopyalayın; aşağıdaki gibi bir şeye benziyor
ip:port
.
Avustralyalılara küçük bir tavsiye: Proxy'lerinizi test edin, çünkü ücretsiz proxy'ler Melbourne'deki hava durumu gibi değişken olabilir.
Google Colab'da Proxy'leri Yapılandırma
Colab sanal bir makinede çalıştığından, Python'a (ve ilgili kütüphanelere) bir proxy kullanma talimatı vermeniz gerekir. Bunu Arvid tarzında şu şekilde yapabilirsiniz:
HTTP/HTTPS Proxy'sini Ayarlama requests
import requests
proxies = {
'http': 'http://username:password@proxy_ip:proxy_port',
'https': 'http://username:password@proxy_ip:proxy_port'
}
response = requests.get('https://httpbin.org/ip', proxies=proxies)
print(response.json())
- Proxy'nizin kimlik doğrulamasına ihtiyacı yoksa, şunu bırakın:
username:password@
.
Defterde Genel Olarak Proxy Ayarlama
Bazen her şeyin proxy üzerinden gitmesini istersiniz. Ortam değişkenlerini ayarlayın:
import os
os.environ['http_proxy'] = 'http://proxy_ip:proxy_port'
os.environ['https_proxy'] = 'http://proxy_ip:proxy_port'
Artık bu ortam değişkenlerine (requests, urllib, vs.) saygı duyan herhangi bir kütüphane proxy'yi kullanacaktır.
Dönen Proxy'ler
Eğer bir tavuk çiftliğindeki dingo gibi sürünüyorsanız, yasaklardan kaçınmak için proxy'lerinizi döndürün:
import random
proxy_list = [
'http://ip1:port1',
'http://ip2:port2',
'http://ip3:port3'
]
def get_random_proxy():
return {'http': random.choice(proxy_list), 'https': random.choice(proxy_list)}
for i in range(10):
proxies = get_random_proxy()
response = requests.get('https://httpbin.org/ip', proxies=proxies)
print(response.json())
Jupyter Notebook'ta Proxy'leri Yapılandırma
Colab'a çok benziyor dostum. İşte uygulama:
İçin requests
Ve urllib
import requests
proxies = {
'http': 'http://proxy_ip:proxy_port',
'https': 'http://proxy_ip:proxy_port'
}
response = requests.get('https://httpbin.org/ip', proxies=proxies)
print(response.json())
Sistem Genelinde Proxy (Jupyter Kernel) İçin
import os
os.environ['HTTP_PROXY'] = 'http://proxy_ip:proxy_port'
os.environ['HTTPS_PROXY'] = 'http://proxy_ip:proxy_port'
Selenium (Başsız Tarayıcılar) için
Eğer Jupyter'da Selenium kullanıyorsanız (biraz güçlü bir hamle):
from selenium import webdriver
from selenium.webdriver.common.proxy import Proxy, ProxyType
proxy_ip_port = 'proxy_ip:proxy_port'
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument(f'--proxy-server={proxy_ip_port}')
driver = webdriver.Chrome(options=chrome_options)
driver.get('https://httpbin.org/ip')
Proxy Yöntemlerini Karşılaştırma
Yöntem | Kapsam | Araçlar/Kütüphaneler | Kullanım Örneği |
---|---|---|---|
requests vekiller |
İsteğe bağlı | istekler, urllib3 | Kazıma, API çağrıları |
Çevre değişkenleri | Küresel (oturum) | Tüm kütüphaneler (çoğu) | Tutarlı proxy kullanımı |
Selenium proxy | Tarayıcı otomasyonu | selenyum | Web otomasyonu/kazıma |
Proxy'nizi Test Etme
Proxy'nizin çalışıp çalışmadığını her zaman test edin; aksi takdirde, dijital ortamda daireler çizerek ilerlemenin bir sonucu olabilirsiniz.
import requests
proxies = {
'http': 'http://proxy_ip:proxy_port',
'https': 'http://proxy_ip:proxy_port'
}
response = requests.get('https://httpbin.org/ip', proxies=proxies)
print("Proxy IP:", response.json())
Eğer IP proxy ile eşleşiyorsa, işiniz tamamdır.
Yaygın Tuzaklar (ve Hızlı Çözümler)
Sorun | Nasıl Görünüyor | Nasıl Düzeltilir |
---|---|---|
Bağlantı zaman aşımı | İstekler askıda kalıyor, yanıt yok | Farklı bir proxy deneyin |
403/407 Proxy Yetkilendirmesi Gerekli | Kimlik doğrulama hatası | Gerekirse kullanıcı adı/şifre kullanın |
Colab'da proxy çalışmıyor | IP'de değişiklik yok, hatalar | Ortam değişkenlerini kontrol edin |
SSL sorunları | SSL el sıkışması başarısız oldu | HTTP kullanın veya verify=False değerini ayarlayın |
Yararlı Kaynaklar
- ProxyRoller – Ücretsiz Proxy Listesi
- Python belgeleri talep ediyor
- Jupyter Notebook belgeleri
- Google Colab SSS
- Selenium Proxy Belgeleri
İşte bu kadar! Colab veya Jupyter'da proxy oyununuzu düzgün hale getirmek için bir timsahla boğuşmanıza gerek yok. Yeni proxy'lere ihtiyacınız varsa, ProxyRoller'ın her zaman açık olduğunu ve sizi kandırmadığını unutmayın.
Yorumlar (0)
Burada henüz yorum yok, ilk siz olabilirsiniz!