Google Colab ve Jupyter ile Proxy'ler Nasıl Kullanılır?

Google Colab ve Jupyter ile Proxy'ler Nasıl Kullanılır?

Google Colab ve Jupyter'da Proxy Kurulumu

Tamam, şimdi Google Colab veya Jupyter'da proxy çalıştırmanın özüne geçelim - hiç uğraşmaya gerek yok. İster veri topluyor olun, ister coğrafi kısıtlamaları aşıyor olun, ister sadece biraz gizlilik istiyor olun, proxy'ler sizin en iyi dostunuz. Ancak, özellikle Colab ve Jupyter gibi bazen kendine has tuhaflıkları olan platformlarda, bunu doğru yapmanın bir püf noktası var.


Colab ve Jupyter ile Neden Proxy Kullanmalıyız?

Senaryo Vekalet Faydası
Web kazıma IP yasaklarından kaçınma
Coğrafi olarak engellenen API'lere erişim İçeriğin engellemesini kaldırma
Anonimlik ile araştırma Dijital ayak izinizi maskeleme

Proxy Kaynağınızı Seçme

Şimdi, internetin vahşi doğasında proxy aramak için uğraşmadan önce, bunu kolaylaştıralım. ProxyRoller İşte karşınızda, kullanıma hazır, yeni ve ücretsiz proxy'ler. Birazdan daha fazlası.


Proxy Türleri

Tip Tanım Tipik Kullanım
HTTP/HTTPS Standart web proxy'leri Web kazıma, tarama
SOCKS4/SOCKS5 Alt düzey, daha fazla protokolü destekler Streaming, P2P, vb.
Döndürme IP'yi sık sık değiştirir Oran sınırlamalarından kaçınmak
yerleşim Gerçek kullanıcı IP'lerini engellemek daha zor Kazıma, otomasyon

Çoğu Colab/Jupyter işi için HTTP/HTTPS proxy'leri işinizi görecektir.


ProxyRoller'dan Ücretsiz Proxy'ler Edinme

  1. Şuraya doğru git ProxyRoller.
  2. “Ücretsiz Proxy Al” butonuna tıklayın.
  3. Proxy listesini kopyalayın; aşağıdaki gibi bir şeye benziyor ip:port.

Avustralyalılara küçük bir tavsiye: Proxy'lerinizi test edin, çünkü ücretsiz proxy'ler Melbourne'deki hava durumu gibi değişken olabilir.


Google Colab'da Proxy'leri Yapılandırma

Colab sanal bir makinede çalıştığından, Python'a (ve ilgili kütüphanelere) bir proxy kullanma talimatı vermeniz gerekir. Bunu Arvid tarzında şu şekilde yapabilirsiniz:

HTTP/HTTPS Proxy'sini Ayarlama requests

import requests

proxies = {
    'http': 'http://username:password@proxy_ip:proxy_port',
    'https': 'http://username:password@proxy_ip:proxy_port'
}

response = requests.get('https://httpbin.org/ip', proxies=proxies)
print(response.json())
  • Proxy'nizin kimlik doğrulamasına ihtiyacı yoksa, şunu bırakın: username:password@.

Defterde Genel Olarak Proxy Ayarlama

Bazen her şeyin proxy üzerinden gitmesini istersiniz. Ortam değişkenlerini ayarlayın:

import os

os.environ['http_proxy'] = 'http://proxy_ip:proxy_port'
os.environ['https_proxy'] = 'http://proxy_ip:proxy_port'

Artık bu ortam değişkenlerine (requests, urllib, vs.) saygı duyan herhangi bir kütüphane proxy'yi kullanacaktır.

Dönen Proxy'ler

Eğer bir tavuk çiftliğindeki dingo gibi sürünüyorsanız, yasaklardan kaçınmak için proxy'lerinizi döndürün:

import random

proxy_list = [
    'http://ip1:port1',
    'http://ip2:port2',
    'http://ip3:port3'
]

def get_random_proxy():
    return {'http': random.choice(proxy_list), 'https': random.choice(proxy_list)}

for i in range(10):
    proxies = get_random_proxy()
    response = requests.get('https://httpbin.org/ip', proxies=proxies)
    print(response.json())

Jupyter Notebook'ta Proxy'leri Yapılandırma

Colab'a çok benziyor dostum. İşte uygulama:

İçin requests Ve urllib

import requests

proxies = {
    'http': 'http://proxy_ip:proxy_port',
    'https': 'http://proxy_ip:proxy_port'
}

response = requests.get('https://httpbin.org/ip', proxies=proxies)
print(response.json())

Sistem Genelinde Proxy (Jupyter Kernel) İçin

import os

os.environ['HTTP_PROXY'] = 'http://proxy_ip:proxy_port'
os.environ['HTTPS_PROXY'] = 'http://proxy_ip:proxy_port'

Selenium (Başsız Tarayıcılar) için

Eğer Jupyter'da Selenium kullanıyorsanız (biraz güçlü bir hamle):

from selenium import webdriver
from selenium.webdriver.common.proxy import Proxy, ProxyType

proxy_ip_port = 'proxy_ip:proxy_port'

chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument(f'--proxy-server={proxy_ip_port}')

driver = webdriver.Chrome(options=chrome_options)
driver.get('https://httpbin.org/ip')

Proxy Yöntemlerini Karşılaştırma

Yöntem Kapsam Araçlar/Kütüphaneler Kullanım Örneği
requests vekiller İsteğe bağlı istekler, urllib3 Kazıma, API çağrıları
Çevre değişkenleri Küresel (oturum) Tüm kütüphaneler (çoğu) Tutarlı proxy kullanımı
Selenium proxy Tarayıcı otomasyonu selenyum Web otomasyonu/kazıma

Proxy'nizi Test Etme

Proxy'nizin çalışıp çalışmadığını her zaman test edin; aksi takdirde, dijital ortamda daireler çizerek ilerlemenin bir sonucu olabilirsiniz.

import requests

proxies = {
    'http': 'http://proxy_ip:proxy_port',
    'https': 'http://proxy_ip:proxy_port'
}

response = requests.get('https://httpbin.org/ip', proxies=proxies)
print("Proxy IP:", response.json())

Eğer IP proxy ile eşleşiyorsa, işiniz tamamdır.


Yaygın Tuzaklar (ve Hızlı Çözümler)

Sorun Nasıl Görünüyor Nasıl Düzeltilir
Bağlantı zaman aşımı İstekler askıda kalıyor, yanıt yok Farklı bir proxy deneyin
403/407 Proxy Yetkilendirmesi Gerekli Kimlik doğrulama hatası Gerekirse kullanıcı adı/şifre kullanın
Colab'da proxy çalışmıyor IP'de değişiklik yok, hatalar Ortam değişkenlerini kontrol edin
SSL sorunları SSL el sıkışması başarısız oldu HTTP kullanın veya verify=False değerini ayarlayın

Yararlı Kaynaklar


İşte bu kadar! Colab veya Jupyter'da proxy oyununuzu düzgün hale getirmek için bir timsahla boğuşmanıza gerek yok. Yeni proxy'lere ihtiyacınız varsa, ProxyRoller'ın her zaman açık olduğunu ve sizi kandırmadığını unutmayın.

Arvid Savaşçı

Arvid Savaşçı

Lider Ağ Mimarı

Güneş yanığı ülkenin yerlisi olan Arvid Warral, ProxyRoller'ın sağlam ve çevik ağ mimarisinin arkasındaki beyindir. Dijital güvenlik ve proxy yönetiminde yirmi yılı aşkın deneyimiyle, gizlilik ve veri güvenliğinin dinamik ihtiyaçlarını karşılayan sistemler geliştirmede etkili olmuştur. Arvid'ın ProxyRoller ile yolculuğu tutkulu bir teknoloji uzmanı olarak başladı ve yenilikçi çözümleri o zamandan beri şirketi sektörün ön saflarına taşıdı. Rolünde, ProxyRoller'ın tekliflerinin dünya çapındaki kullanıcılar için en son teknoloji ve güvenilir kalmasını sağlamaya kendini adamıştır.

Yorumlar (0)

Burada henüz yorum yok, ilk siz olabilirsiniz!

Bir yanıt yazın

E-posta adresiniz yayınlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir