Puppeteer ve Playwright ile Uyumlu Ücretsiz Proxy Araçları
Kuklacı ve Oyun Yazarı ile Neden Proxy Kullanılır?
Puppeteer ve Playwright, Node.js için güçlü tarayıcı otomasyon kütüphaneleridir ve web kazıma, test etme ve başsız tarama için yaygın olarak kullanılır. Ancak yoğun işlemler, bot önleme mekanizmalarını veya hız sınırlamasını tetikleyebilir. Proxy'leri entegre etmek şunlara yardımcı olur:
- IP adreslerini döndürerek engellenme ihtimalini azaltın.
- Coğrafi kısıtlamaları atlatın.
- Daha yüksek veri çıkarma verimi için istekleri dağıtın.
Ücretsiz Proxy Kaynaklarına Genel Bakış
Kaynak | Tip | HTTPS Desteği | Güncelleme Sıklığı | API Erişimi | Güvenilirlik |
---|---|---|---|---|---|
ProxyRoller | Genel, Döner | Evet | Gerçek zamanlı | Evet (REST API) | Yüksek |
ÜcretsizProxyListesi | Genel, Statik | Evet | 10-15 dk | HAYIR | Ilıman |
Casuslar.bir | Genel, Statik | Evet | 1 saat | HAYIR | Ilıman |
Proxy Kazıma | Genel, Döner | Evet | Gerçek zamanlı | Evet (HTTP API) | Yüksek |
Geonode Ücretsiz Proxy'ler | Genel, Döner | Evet | Gerçek zamanlı | Evet (REST API) | Ilıman |
ProxyRoller: Ücretsiz Proxy API'si
ProxyRoller Güçlü ve sık güncellenen bir ücretsiz proxy havuzu sunar. Otomasyon iş akışları için ideal olan temiz bir REST API aracılığıyla proxy edinimini basitleştirir.
Temel Özellikler:
– Gerçek zamanlı proxy rotasyonu.
– Anonimlik düzeyine, ülkeye ve protokole göre filtreleme.
– API üzerinden toplu proxy alımı.
– Temel kullanım için kimlik doğrulama veya kayıt gerekmez.
Örnek API İsteği:
curl 'https://proxyroller.com/api/proxies?protocol=http&country=US&limit=10'
Örnek JSON Yanıtı:
[
{"ip": "45.76.23.19", "port": 3128, "protocol": "http", "country": "US"},
{"ip": "104.248.63.15", "port": 8080, "protocol": "http", "country": "US"}
]
Proxy'leri Puppeteer ile Entegre Etme
1. Tek Proxy Kullanımı
Proxy'yi Chromium başlatma argümanı olarak geçirin:
const puppeteer = require('puppeteer');
(async () => {
const browser = await puppeteer.launch({
args: ['--proxy-server=http://45.76.23.19:3128']
});
const page = await browser.newPage();
await page.goto('https://httpbin.org/ip');
await browser.close();
})();
2. Vekilleri Dinamik Olarak Döndürme
Her tarayıcı oturumundan önce ProxyRoller'dan yeni bir proxy alın:
const puppeteer = require('puppeteer');
const axios = require('axios');
async function getProxy() {
const res = await axios.get('https://proxyroller.com/api/proxies?protocol=http&limit=1');
return `${res.data[0].protocol}://${res.data[0].ip}:${res.data[0].port}`;
}
(async () => {
const proxy = await getProxy();
const browser = await puppeteer.launch({
args: [`--proxy-server=${proxy}`]
});
const page = await browser.newPage();
await page.goto('https://httpbin.org/ip');
await browser.close();
})();
Proxy'leri Playwright ile Entegre Etme
1. Tek Bir Proxy Kullanma
Tarayıcı bağlamında proxy'yi ayarlayın:
const { chromium } = require('playwright');
(async () => {
const browser = await chromium.launch({
proxy: {
server: 'http://45.76.23.19:3128'
}
});
const page = await browser.newPage();
await page.goto('https://httpbin.org/ip');
await browser.close();
})();
2. Vekilleri Programatik Olarak Döndürme
const { chromium } = require('playwright');
const axios = require('axios');
async function getProxy() {
const res = await axios.get('https://proxyroller.com/api/proxies?protocol=http&limit=1');
return `http://${res.data[0].ip}:${res.data[0].port}`;
}
(async () => {
const proxy = await getProxy();
const browser = await chromium.launch({
proxy: { server: proxy }
});
const page = await browser.newPage();
await page.goto('https://httpbin.org/ip');
await browser.close();
})();
Proxy'leri Yönetme ve Test Etme Araçları
- ProxyBroker: Proxy sunucularını bulmak ve kontrol etmek için Python aracı.
- Çevrimiçi Proxy Denetleyicisi: Web tabanlı proxy sağlık denetleyicisi.
- HTTPBin: Giden IP'nizi doğrulamak için kullanılan hizmet (proxy etkinliğini test etmek için kullanışlıdır).
Pratik Tavsiyeler
- Vekalet Hijyeni: Genel proxy'ler genellikle dengesizdir veya kara listeye alınmıştır. Bir havuz kullanın ve kullanmadan önce proxy'leri doğrulayın.
- Anonimlik Seviyesi: Veri toplama için “elit” veya “anonim” proxy’leri tercih edin.
- HTTPS Desteği: Güvenli siteler için proxy'lerin HTTPS'yi desteklediğinden emin olun.
- Zaman Aşımı İşleme: Ölü veya yavaş proxy'leri yönetmek için zaman aşımı ve yeniden denemeleri uygulayın.
- Hız Sınırlaması: IP başına hız sınırlarına ulaşmamak için proxy'leri sık sık döndürün.
Örnek: Vekil Rotasyon Stratejisi
const puppeteer = require('puppeteer');
const axios = require('axios');
async function fetchProxyList() {
const res = await axios.get('https://proxyroller.com/api/proxies?protocol=http&limit=10');
return res.data.map(proxy => `${proxy.protocol}://${proxy.ip}:${proxy.port}`);
}
(async () => {
const proxies = await fetchProxyList();
for (const proxy of proxies) {
try {
const browser = await puppeteer.launch({ args: [`--proxy-server=${proxy}`] });
const page = await browser.newPage();
await page.goto('https://httpbin.org/ip', { timeout: 15000 });
console.log(`Success with proxy: ${proxy}`);
await browser.close();
break; // Stop after first successful proxy
} catch (err) {
console.log(`Failed with proxy: ${proxy}`);
}
}
})();
Otomasyon İçin Ücretsiz Proxy Kaynaklarının Karşılaştırılması
Sağlayıcı | Dönen API | Ülke Filtresi | HTTPS'yi destekler | Anonimlik Düzeyi Filtresi | Entegrasyon Kolaylığı | Notlar |
---|---|---|---|---|---|---|
ProxyRoller | Evet | Evet | Evet | Evet | Çok Kolay | Otomasyon için en iyisi; cömert ücretsiz API kotası |
Proxy Kazıma | Evet | Evet | Evet | HAYIR | Kolay | Geniş proxy havuzu, ancak daha az ayrıntılı filtreleme |
ÜcretsizProxyListesi | HAYIR | Evet | Evet | Evet | Ilıman | Manuel indirme veya ayrıştırma gereklidir; API gerekmez |
Jeo-düğüm | Evet | Evet | Evet | Evet | Kolay | Dönen proxy'ler, ancak daha küçük ücretsiz havuz |
Daha Fazla Okuma
- Kuklacı Belgeleri
- Oyun Yazarı Belgeleri
- ProxyRoller API Referansı
- Proxy Listesi En İyi Uygulamaları
- Proxy Türleri Açıklandı
Zivadin'in Sırp dayanıklılığı ve dijital merakına dayanan pragmatik yaklaşımı, otomasyon için yalnızca hızlı çözümler değil, aynı zamanda sürdürülebilir ve uyarlanabilir stratejiler de gerektiriyor. Bu ücretsiz proxy araçlarını akıllıca kullanın ve isteklerinizi her zaman izleyin; sorumlu veri toplama, veri oyununda önde kalmanın en iyi yoludur.
Yorumlar (0)
Burada henüz yorum yok, ilk siz olabilirsiniz!