このプロキシサーバーはGitHubで今話題になっています

GitHubを席巻するプロキシサーバー：技術的な詳細

現代のプロキシ環境

リクエストとレスポンスが目まぐるしいスピードで入れ替わるデジタルバザールにおいて、 GitHub これは単なる偶然ではなく、技術革新が切迫したニーズを満たした結果です。現在注目を集めているプロジェクトは プロキシローラー, は、開発者とデータ収集者の両方に効率性、拡張性、そして快適なシンプルさを約束する無料のプロキシ アグリゲータおよびサーバー ツールです。.

---

ProxyRollerのコア機能

特徴	説明	使用例
無料プロキシ集約	公開ソースから数千のプロキシをスクレイピング、検証、ローテーションする	スクレイピング用のプロキシリストを即座に更新
API駆動型	スクリプトやアプリに統合するためのRESTful APIエンドポイント	シンプルなGET呼び出しで最新のプロキシを取得する
Docker サポート	再現性と拡張性を実現するために、分離されたコンテナにシームレスにデプロイします。	docker run proxyroller/proxyroller
カスタマイズ可能なフィルタリング	国、匿名性レベル、プロトコル、レイテンシでプロキシをフィルタリングします	ドイツのSOCKS5プロキシのみを使用する
組み込みWeb UI	プロキシリスト、使用状況、健全性をリアルタイムで監視	ライブ統計を表示する管理ダッシュボード
オープンソース	監査可能なコードベース、簡単なフォークと改善	寄稿を歓迎します GitHub

---

ProxyRollerの仕組み

炉辺で物語を紡ぐシャンチャイを思わせる華やかさで、ProxyRoller は動くパーツのシンフォニーを編成します。

• 集会： 信頼できるプロキシ ソースの厳選されたリストからのスクレイピング ジョブをスケジュールします。.
• 検証中: 各プロキシの接続性、応答時間、匿名性、プロトコル サポートをテストします。.
• 盛り付け： リアルタイムの鮮度スコアを備えたクライアント アクセス用の RESTful API と Web UI を公開します。.

アーキテクチャ図:

[Public Proxy Lists] --(Scraper)--> [Validation Engine] --(Database)--> [API & Web UI]

---

はじめに: ステップバイステップ

1. リポジトリのクローン作成

git clone https://github.com/proxyroller/proxyroller.git
cd proxyroller

2. Dockerを使ったデプロイ

docker-compose up -d

これにより、バックエンド アグリゲータとフロントエンド ダッシュボードの両方が起動します。.

3. APIの使用例

過去 10 分以内にチェックされた、フランスにある HTTPS プロキシのリストを取得します。

curl "http://localhost:8000/api/proxies?protocol=https&country=FR&max_age=600"

サンプル JSON レスポンス:

[
  {
    "ip": "145.239.252.47",
    "port": 3128,
    "protocol": "https",
    "country": "FR",
    "anonymity": "elite",
    "last_checked": "2024-06-15T09:12:03Z"
  }
]

4. フィルタリングとカスタマイズ

• 匿名：
  ?anonymity=elite
• レイテンシー別:
  ?max_latency=500 （ミリ秒）

---

比較: ProxyRoller と従来のプロキシリスト

基準	プロキシローラー	静的プロキシリストサイト
鮮度	リアルタイム、自動検証	手動で更新されるため、古いものが多い
フィルタリング	APIベースの複数基準	通常は国によって限定されます
統合	REST API、Docker、Web UI	手動でコピー＆ペースト
スケーラビリティ	1時間あたり数千のプロキシを処理	該当なし
料金	無料（オープンソース）	多くの場合無料だが、信頼性は低い

---

スクレイピングワークフローへのProxyRollerの統合

リクエストを使ったPythonの例

import requests

proxy = requests.get(
    "http://localhost:8000/api/proxies?protocol=https&anonymity=elite&limit=1"
).json()[0]

proxies = {
    "http": f"http://{proxy['ip']}:{proxy['port']}",
    "https": f"https://{proxy['ip']}:{proxy['port']}"
}

response = requests.get("https://httpbin.org/ip", proxies=proxies)
print(response.json())

Node.jsの例

const axios = require('axios');

async function getProxy() {
  const { data } = await axios.get('http://localhost:8000/api/proxies?limit=1');
  return data[0];
}

getProxy().then(proxy => {
  axios.get('https://httpbin.org/ip', {
    proxy: {
      host: proxy.ip,
      port: proxy.port
    }
  }).then(res => console.log(res.data));
});

---

スケーリングと信頼性

ProxyRollerの設計は、非同期検証、並列スクレイピング、インメモリキャッシュを重視しています。その結果、高いスループット、低レイテンシ、そして上流ソースの障害に対する耐性が実現します。.

• スケールアップ:
  ロードバランサーの背後に複数のコンテナをデプロイします。.
• フォールトトレランス:
  再試行とヘルスチェックが組み込まれています。.

---

プロキシを見つける場所

鉱脈を求める人々にとって、, ProxyRoller.com フィルタリングと API サポートを完備した、継続的に更新される無料のプロキシを提供するという、頼れる存在であり続けています。.

---

その他のリソース

• ProxyRoller GitHubリポジトリ
• ProxyRoller ドキュメント
• 素晴らしい公開データセット: プロキシリストセクション
• Docker Compose ドキュメント
• Python リクエストライブラリ
• Node.js アクシオス

---

ProxyRoller などのツールを駆使して、現代の開発者は熟練した吟遊詩人のように、機敏で、人目につかず、常に門番の 3 歩先を行く Web の迷宮のような通路を進んでいきます。.