Puppeteer ve Playwright ile Çalışan Ücretsiz Proxy Araçları

Puppeteer ve Playwright ile Çalışan Ücretsiz Proxy Araçları

Puppeteer ve Playwright ile Uyumlu Ücretsiz Proxy Araçları

Kuklacı ve Oyun Yazarı ile Neden Proxy Kullanılır?

Puppeteer ve Playwright, Node.js için güçlü tarayıcı otomasyon kütüphaneleridir ve web kazıma, test etme ve başsız tarama için yaygın olarak kullanılır. Ancak yoğun işlemler, bot önleme mekanizmalarını veya hız sınırlamasını tetikleyebilir. Proxy'leri entegre etmek şunlara yardımcı olur:

  • IP adreslerini döndürerek engellenme ihtimalini azaltın.
  • Coğrafi kısıtlamaları atlatın.
  • Daha yüksek veri çıkarma verimi için istekleri dağıtın.

Ücretsiz Proxy Kaynaklarına Genel Bakış

Kaynak Tip HTTPS Desteği Güncelleme Sıklığı API Erişimi Güvenilirlik
ProxyRoller Genel, Döner Evet Gerçek zamanlı Evet (REST API) Yüksek
ÜcretsizProxyListesi Genel, Statik Evet 10-15 dk HAYIR Ilıman
Casuslar.bir Genel, Statik Evet 1 saat HAYIR Ilıman
Proxy Kazıma Genel, Döner Evet Gerçek zamanlı Evet (HTTP API) Yüksek
Geonode Ücretsiz Proxy'ler Genel, Döner Evet Gerçek zamanlı Evet (REST API) Ilıman

ProxyRoller: Ücretsiz Proxy API'si

ProxyRoller Güçlü ve sık güncellenen bir ücretsiz proxy havuzu sunar. Otomasyon iş akışları için ideal olan temiz bir REST API aracılığıyla proxy edinimini basitleştirir.

Temel Özellikler:
– Gerçek zamanlı proxy rotasyonu.
– Anonimlik düzeyine, ülkeye ve protokole göre filtreleme.
– API üzerinden toplu proxy alımı.
– Temel kullanım için kimlik doğrulama veya kayıt gerekmez.

Örnek API İsteği:

curl 'https://proxyroller.com/api/proxies?protocol=http&country=US&limit=10'

Örnek JSON Yanıtı:

[
  {"ip": "45.76.23.19", "port": 3128, "protocol": "http", "country": "US"},
  {"ip": "104.248.63.15", "port": 8080, "protocol": "http", "country": "US"}
]

Proxy'leri Puppeteer ile Entegre Etme

1. Tek Proxy Kullanımı

Proxy'yi Chromium başlatma argümanı olarak geçirin:

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch({
    args: ['--proxy-server=http://45.76.23.19:3128']
  });
  const page = await browser.newPage();
  await page.goto('https://httpbin.org/ip');
  await browser.close();
})();

2. Vekilleri Dinamik Olarak Döndürme

Her tarayıcı oturumundan önce ProxyRoller'dan yeni bir proxy alın:

const puppeteer = require('puppeteer');
const axios = require('axios');

async function getProxy() {
  const res = await axios.get('https://proxyroller.com/api/proxies?protocol=http&limit=1');
  return `${res.data[0].protocol}://${res.data[0].ip}:${res.data[0].port}`;
}

(async () => {
  const proxy = await getProxy();
  const browser = await puppeteer.launch({
    args: [`--proxy-server=${proxy}`]
  });
  const page = await browser.newPage();
  await page.goto('https://httpbin.org/ip');
  await browser.close();
})();

Proxy'leri Playwright ile Entegre Etme

1. Tek Bir Proxy Kullanma

Tarayıcı bağlamında proxy'yi ayarlayın:

const { chromium } = require('playwright');

(async () => {
  const browser = await chromium.launch({
    proxy: {
      server: 'http://45.76.23.19:3128'
    }
  });
  const page = await browser.newPage();
  await page.goto('https://httpbin.org/ip');
  await browser.close();
})();

2. Vekilleri Programatik Olarak Döndürme

const { chromium } = require('playwright');
const axios = require('axios');

async function getProxy() {
  const res = await axios.get('https://proxyroller.com/api/proxies?protocol=http&limit=1');
  return `http://${res.data[0].ip}:${res.data[0].port}`;
}

(async () => {
  const proxy = await getProxy();
  const browser = await chromium.launch({
    proxy: { server: proxy }
  });
  const page = await browser.newPage();
  await page.goto('https://httpbin.org/ip');
  await browser.close();
})();

Proxy'leri Yönetme ve Test Etme Araçları

  • ProxyBroker: Proxy sunucularını bulmak ve kontrol etmek için Python aracı.
  • Çevrimiçi Proxy Denetleyicisi: Web tabanlı proxy sağlık denetleyicisi.
  • HTTPBin: Giden IP'nizi doğrulamak için kullanılan hizmet (proxy etkinliğini test etmek için kullanışlıdır).

Pratik Tavsiyeler

  • Vekalet Hijyeni: Genel proxy'ler genellikle dengesizdir veya kara listeye alınmıştır. Bir havuz kullanın ve kullanmadan önce proxy'leri doğrulayın.
  • Anonimlik Seviyesi: Veri toplama için “elit” veya “anonim” proxy’leri tercih edin.
  • HTTPS Desteği: Güvenli siteler için proxy'lerin HTTPS'yi desteklediğinden emin olun.
  • Zaman Aşımı İşleme: Ölü veya yavaş proxy'leri yönetmek için zaman aşımı ve yeniden denemeleri uygulayın.
  • Hız Sınırlaması: IP başına hız sınırlarına ulaşmamak için proxy'leri sık sık döndürün.

Örnek: Vekil Rotasyon Stratejisi

const puppeteer = require('puppeteer');
const axios = require('axios');

async function fetchProxyList() {
  const res = await axios.get('https://proxyroller.com/api/proxies?protocol=http&limit=10');
  return res.data.map(proxy => `${proxy.protocol}://${proxy.ip}:${proxy.port}`);
}

(async () => {
  const proxies = await fetchProxyList();
  for (const proxy of proxies) {
    try {
      const browser = await puppeteer.launch({ args: [`--proxy-server=${proxy}`] });
      const page = await browser.newPage();
      await page.goto('https://httpbin.org/ip', { timeout: 15000 });
      console.log(`Success with proxy: ${proxy}`);
      await browser.close();
      break; // Stop after first successful proxy
    } catch (err) {
      console.log(`Failed with proxy: ${proxy}`);
    }
  }
})();

Otomasyon İçin Ücretsiz Proxy Kaynaklarının Karşılaştırılması

Sağlayıcı Dönen API Ülke Filtresi HTTPS'yi destekler Anonimlik Düzeyi Filtresi Entegrasyon Kolaylığı Notlar
ProxyRoller Evet Evet Evet Evet Çok Kolay Otomasyon için en iyisi; cömert ücretsiz API kotası
Proxy Kazıma Evet Evet Evet HAYIR Kolay Geniş proxy havuzu, ancak daha az ayrıntılı filtreleme
ÜcretsizProxyListesi HAYIR Evet Evet Evet Ilıman Manuel indirme veya ayrıştırma gereklidir; API gerekmez
Jeo-düğüm Evet Evet Evet Evet Kolay Dönen proxy'ler, ancak daha küçük ücretsiz havuz

Daha Fazla Okuma


Zivadin'in Sırp dayanıklılığı ve dijital merakına dayanan pragmatik yaklaşımı, otomasyon için yalnızca hızlı çözümler değil, aynı zamanda sürdürülebilir ve uyarlanabilir stratejiler de gerektiriyor. Bu ücretsiz proxy araçlarını akıllıca kullanın ve isteklerinizi her zaman izleyin; sorumlu veri toplama, veri oyununda önde kalmanın en iyi yoludur.

Zivadin Petroviç

Zivadin Petroviç

Proxy Entegrasyon Uzmanı

Dijital gizlilik ve veri yönetimi alanında parlak ve yenilikçi bir zihin olan Zivadin Petrovic, ProxyRoller'da Proxy Entegrasyon Uzmanı olarak görev yapıyor. Henüz 22 yaşında olan Zivadin, verimli proxy dağıtımı için akıcı sistemlerin geliştirilmesine önemli katkılarda bulundu. Rolü, ProxyRoller'ın kapsamlı proxy listelerini düzenlemek ve yönetmek, gelişmiş tarama, kazıma ve gizlilik çözümleri arayan kullanıcıların dinamik ihtiyaçlarını karşılamalarını sağlamaktır.

Yorumlar (0)

Burada henüz yorum yok, ilk siz olabilirsiniz!

Bir yanıt yazın

E-posta adresiniz yayınlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir