Salut à tous, je cherche à scraper des données sur des sites e-commerce pour une étude de marché. Vous avez des outils à recommander pour éviter de se faire bloquer ? J’ai déjà testé Scrapy mais j’ai eu quelques soucis avec les captchas.
Scrapy est bien, mais tu peux essayer Octoparse aussi. Ils ont des fonctionnalités pour contourner les captchas et ralentir les requêtes pour éviter les blocages. Sinon, tu peux aussi tester Smartproxy pour des IPs résidentielles, ça aide pas mal.
Perso, j’utilise Scrapy avec Rotating Proxies pour changer d’IPs régulièrement. C’est assez efficace, mais il faut bien configurer les délais entre les requêtes pour ne pas être détecté.
Merci pour les conseils ! Je vais tester Octoparse et voir comment intégrer des proxies rotatifs. Vous avez des tips pour éviter de se faire blacklister ?
Toujours bien respecter le robots.txt du site, et ne pas spammer les requêtes. Certains sites sont plus sensibles que d’autres, donc ça dépend vraiment de ta cible.