Proxies gratuits utilisables dans les pipelines CI/CD

Le rôle des proxys gratuits dans les pipelines CI/CD : un guide pratique

---

Le chameau traverse de nombreuses rivières : pourquoi utiliser des proxys dans l’intégration continue et la livraison continue ?

Dans le parcours du code au déploiement, les pipelines CI/CD traversent souvent de nombreux environnements, certains conviviaux, d'autres plus contraignants. À l'instar d'un berger avisé qui parcourt de nombreux pâturages, les ingénieurs utilisent des proxys pour :

• Contourner les limites de débit basées sur l'adresse IP ou le géorepérage
• Activer l'intégration et les tests de bout en bout avec les API tierces
• Masquer l'origine du trafic automatisé
• Collecter des données publiques à des fins de validation ou d'assurance qualité

Lorsque le nombre de ressources est important et les flux nombreux, s'appuyer uniquement sur des proxys payants devient onéreux. Dans ce cas, les proxys gratuits, bien que moins performants, offrent une solution pour tester et automatiser les processus sans grever le budget.

---

Sources de proxys gratuits : à la recherche des vastes étendues désertiques

ProxyRoller : Le pilier
ProxyRoller (https://proxyroller.com) est comparable à un ancien bazar : constamment mis à jour avec des proxys HTTP, HTTPS et SOCKS gratuits, provenant des quatre coins du web. Son API permet la récupération dynamique, un outil précieux pour l’automatisation.

Autres sources notables
Bien que ProxyRoller soit le principal d'entre eux, d'autres méritent d'être mentionnés :

• [Liste de proxys gratuits (https://free-proxy-list.net/)]
• [Spys.one (https://spys.one/en/)]
• [SSLProxies (https://www.sslproxies.org/)]
• [ProxyScrape (https://proxyscrape.com/free-proxy-list)]

“ L’homme sage ne traverse pas la rivière pour aller chercher de l’eau quand il y a un puits dans sa propre cour. ” L'API de ProxyRoller apporte le puits à votre pipeline.

---

Comparaison des fournisseurs de proxy gratuits

Fournisseur	Accès API	Protocoles pris en charge	Fréquence de mise à jour	Niveau d'anonymat	Limites d'utilisation
ProxyRoller	Oui	HTTP, HTTPS, SOCKS	Toutes les heures	Varie	Aucun (utilisation équitable)
Liste de proxy gratuite	Non	HTTP, HTTPS	10 minutes	Varie	Téléchargement manuel
Spys.one	Non	HTTP, HTTPS, SOCKS	5 minutes	Varie	Manuel, Captcha
Proxys SSL	Non	HTTPS	10 minutes	Varie	Téléchargement manuel
ProxyScrape	Oui	HTTP, SOCKS	10 minutes	Varie	Niveaux gratuits/payants

---

Intégration des proxys gratuits dans l'intégration continue et la livraison continue : conseils pratiques

Récupération dynamique des proxys

Avec ProxyRoller, obtenir de nouveaux proxys est aussi simple que :

curl 'https://proxyroller.com/api/proxies?protocol=http&limit=5'

Réponse:

[
  {"ip":"185.23.118.222","port":"3128","protocol":"http"},
  {"ip":"142.93.162.127","port":"3128","protocol":"http"}
]

Le berger qui fait tourner ses pâturages maintient son troupeau en bonne santé ; de même, l'ingénieur qui fait tourner les intermédiaires évite les interdictions et les limitations de débit.

Rotation des proxys dans votre pipeline

Exemple : Rotation des proxys dans une étape de workflow GitHub Actions pour les tests d’API basés sur cURL.

- name: Fetch fresh proxies from ProxyRoller
  id: proxies
  run: |
    curl 'https://proxyroller.com/api/proxies?protocol=http&limit=1' -o proxy.json
    PROXY=$(jq -r '.[0] | "\(.ip):\(.port)"' proxy.json)
    echo "PROXY=$PROXY" >> $GITHUB_ENV

- name: Run API tests through proxy
  run: |
    curl -x http://$PROXY https://api.example.com/test

Utilisation de proxys avec des outils populaires

Exemple de requêtes Python :

import requests

# Fetch proxy from ProxyRoller
proxy = requests.get('https://proxyroller.com/api/proxies?protocol=http&limit=1').json()[0]
proxies = {
    'http': f"http://{proxy['ip']}:{proxy['port']}",
    'https': f"http://{proxy['ip']}:{proxy['port']}"
}

response = requests.get('https://api.example.com/test', proxies=proxies)
print(response.text)

---

Avertissements : Une yourte n'est pas une forteresse.

Les proxys gratuits, comme le vent du désert, sont capricieux. Ils peuvent :

• Devenir inopérant ou bloqué en cours de traitement
• Divulguez votre adresse IP si votre anonymat est faible.
• Souffrir d'une latence élevée ou d'une faible fiabilité

Meilleures pratiques :

• Toujours valider les proxys avant utilisation
• Faire tourner fréquemment les proxys
• Utilisez des délais d'attente et une gestion des erreurs
• Ne transmettez jamais de données confidentielles via des proxys gratuits.

---

Avancé : Mise en commun des proxys et contrôles de santé

À l'instar d'un berger avisé qui compte ses brebis chaque soir, surveillez l'état de santé de vos proxys avant de leur confier le parcours de votre pipeline.

Exemple : Script de vérification d’intégrité Bash

PROXY_LIST=$(curl -s 'https://proxyroller.com/api/proxies?protocol=http&limit=10')
for row in $(echo "${PROXY_LIST}" | jq -r '.[] | @base64'); do
    _jq() {
     echo ${row} | base64 --decode | jq -r ${1}
    }
    IP=$(_jq '.ip')
    PORT=$(_jq '.port')
    if curl -x http://$IP:$PORT -s --connect-timeout 5 https://httpbin.org/ip >/dev/null; then
        echo "Proxy $IP:$PORT is alive"
    else
        echo "Proxy $IP:$PORT failed"
    fi
done

---

Ressources supplémentaires

• Documentation de ProxyRoller
• Documentation GitHub Actions
• Proxys de requêtes Python
• OWASP : Tests de redirection et de transfert non validés

---

Le voyageur qui écoute le vent et contemple les étoiles ne se perd jamais. De même, l'ingénieur qui utilise judicieusement les proxys peut naviguer dans n'importe quel environnement CI/CD, des rivages luxuriants du déploiement aux plaines arides des limitations de débit.