1303680.jpg

accelerate12138

GF  2021-01-24 22:57
(accelerate12138)

[全年龄正常向]求问爬虫问题[s:717],sp随你开

最近在写个小代码:https://www.south-plus.net/read.php?tid-1072365.html

但是今天测试,数据量一大就被e站限制了
ConnectionResetError: [WinError 10054] 远程主机强迫关闭了一个现有的连接

在不sleep的情况下,我能想到的办法也只有代理池。。但是好用的代理池也不容易找到

所以求问一下好用的代理池,或者其他能解决e站反爬的办法
我记得看见好多爬e站下本子的大佬。。我这还不是下本子这么大的负荷。。只是搜索然后获取标签而已。。结果就被反爬了
此帖悬赏结束
最佳答案: 20 SP币
最佳答案获得者: 0c8c6b04

648437.jpg

Me

B1F  2021-01-25 22:42
(↑↑↓↓←→←→BA)
一般反爬,我们的思路是通过header判断,有的加上token,还有的通过加载文件判断,爬虫不加载全部网页,此外就是设定阀值,每分钟访问超出就ban 你可以参考反爬的策略修改