无图版
帮助
论坛首页
登录
注册
讨论区
搜索
社区服务
屏蔽配置
刷新黑名单
好奇模式
清空列表
管理列表
■
帖子 |
■
头像
社区论坛任务
用户名
UID
Email
认证码
点此显示验证码
热门版块:
茶馆
免空资源区
询问&求物
同人音声
网赚资源区
实用动画
Soulplus
Wind
用户中心首页
编辑个人资料
查看个人资料
好友列表
用户权限查看
积分管理
积分转换
特殊组购买
收藏夹
我的主题
基本统计信息
到访IP统计
管理团队
管理统计
在线统计
会员排行
版块排行
帖子排行
个人首页
我的收藏
好友近况
南+ South Plus
询问&求物
求问爬虫问题[s:717],sp随你开
漫区特设
Comic Market 103
Comic Market 102
サンクリ
Comic1☆
其他同人志
一般漫画
例大祭&紅楼夢
汉化本发布
旧物仓库
蜜柑计划
- 蜜柑计划 - Mikan Project
综合交流
ACG交流
轻小说
原创绘画
原创小说区
询问&求物
茶馆
AI交流 (beta)
免空资源区
网赚资源区
人民囧府
事务受理
上一主题
下一主题
|
浏览器收藏
|
打印
accelerate12138
作者资料
发送短消息
加为好友
UID:
1303680
精华:
0
发帖:
3384
HP:
0 点
SP币:
36076 G
昵称: accelerate12138
在线时间: 2046(小时)
注册时间:
2020-03-27
最后登录:
2024-04-28
GF
2021-01-24 22:57
(accelerate12138)
只看GF
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
[全年龄正常向]求问爬虫问题[s:717],sp随你开
最近在写个小代码:
https://www.south-plus.net/read.php?tid-1072365.html
但是今天测试,数据量一大就被e站限制了
:
ConnectionResetError: [WinError 10054] 远程主机强迫关闭了一个现有的连接
在不sleep的情况下,我能想到的办法也只有代理池。。但是好用的代理池也不容易找到
所以求问一下好用的代理池,或者其他能解决e站反爬的办法
我记得看见好多爬e站下本子的大佬。。我这还不是下本子这么大的负荷。。只是搜索然后获取标签而已。。结果就被反爬了
此帖悬赏结束
最佳答案: 20 SP币
最佳答案获得者: 0c8c6b04
顶端
回复
引用
分享
[lv.max]|ω•`)
作者资料
发送短消息
加为好友
UID:
467342
精华:
0
发帖:
657
HP:
0 点
SP币:
229021 G
昵称: [lv.max]|ω•`)
在线时间: 5362(小时)
注册时间:
2014-10-03
最后登录:
2024-04-30
B1F
2021-01-25 10:47
(能补的都补了,剩下的我手头也没有资源了……)
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
e站对下本子(下图片)的限制其实是比下本子元数据(标签啥的)小的,毕竟有H@H帮忙分发,很多情况下只要不超过IP下图的配额就没事儿了。但是之前爬元数据的时候没爬多久就会被ban IP,次数越多ban的时间越长。
最佳答案奖励
: (+20) SP币
顶端
回复
引用
分享
daxiong
作者资料
发送短消息
加为好友
UID:
1061630
精华:
0
发帖:
555
HP:
0 点
SP币:
931 G
昵称: daxiong
在线时间: 2024(小时)
注册时间:
2018-11-25
最后登录:
2024-04-30
B2F
2021-01-24 23:19
([sell=0] 出售内容 [/sell])
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
开了多线程?
热心助人奖励
: (+1) SP币
顶端
回复
引用
分享
[lv.max]|ω•`)
作者资料
发送短消息
加为好友
UID:
467342
精华:
0
发帖:
657
HP:
0 点
SP币:
229021 G
昵称: [lv.max]|ω•`)
在线时间: 5362(小时)
注册时间:
2014-10-03
最后登录:
2024-04-30
B3F
2021-01-25 10:50
(能补的都补了,剩下的我手头也没有资源了……)
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
顺便如果只是要爬标签的话,感觉可以试试nhentai?我看那上面的标签也挺全的。
热心助人奖励
: (+1) SP币
顶端
回复
引用
分享
ExAllocatePool
作者资料
发送短消息
加为好友
UID:
888581
精华:
0
发帖:
764
HP:
0 点
SP币:
6792 G
昵称: ExAllocatePool
在线时间: 480(小时)
注册时间:
2017-12-17
最后登录:
2024-04-30
B4F
2021-01-25 11:53
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
解决不了 只能用代理了
热心助人奖励
: (+1) SP币
顶端
回复
引用
分享
accelerate12138
作者资料
发送短消息
加为好友
UID:
1303680
精华:
0
发帖:
3384
HP:
0 点
SP币:
36076 G
昵称: accelerate12138
在线时间: 2046(小时)
注册时间:
2020-03-27
最后登录:
2024-04-28
B5F
2021-01-24 23:27
(accelerate12138)
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
回 1楼(daxiong) 的帖子
单线程
就一个简单的response = requests.get(url,headers = headers)
多线程岂不是更容易就ban了我
顶端
回复
引用
分享
accelerate12138
作者资料
发送短消息
加为好友
UID:
1303680
精华:
0
发帖:
3384
HP:
0 点
SP币:
36076 G
昵称: accelerate12138
在线时间: 2046(小时)
注册时间:
2020-03-27
最后登录:
2024-04-28
B6F
2021-01-24 23:31
(accelerate12138)
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
不是,感觉有点离谱。。我加了个sleep五秒依然爬了七八条数据就被ban了
e站反爬这么严格的吗
就不给点活路
顶端
回复
引用
分享
accelerate12138
作者资料
发送短消息
加为好友
UID:
1303680
精华:
0
发帖:
3384
HP:
0 点
SP币:
36076 G
昵称: accelerate12138
在线时间: 2046(小时)
注册时间:
2020-03-27
最后登录:
2024-04-28
B7F
2021-01-25 12:03
(accelerate12138)
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
回 4楼([lv.max]|ω•`)) 的帖子
感谢大佬告知
确实忽略了H@H的作用
顶端
回复
引用
分享
accelerate12138
作者资料
发送短消息
加为好友
UID:
1303680
精华:
0
发帖:
3384
HP:
0 点
SP币:
36076 G
昵称: accelerate12138
在线时间: 2046(小时)
注册时间:
2020-03-27
最后登录:
2024-04-28
B8F
2021-01-25 12:07
(accelerate12138)
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
回 5楼([lv.max]|ω•`)) 的帖子
对啊,我怎么没想到
标签的话喵绅士做的也不错……还是中文的。。省的自己再汉化了
感谢大佬
逛久了里站。。有点轻视喵绅士
这波啊,这波是是尺有所短寸有所长
顶端
回复
引用
分享
accelerate12138
作者资料
发送短消息
加为好友
UID:
1303680
精华:
0
发帖:
3384
HP:
0 点
SP币:
36076 G
昵称: accelerate12138
在线时间: 2046(小时)
注册时间:
2020-03-27
最后登录:
2024-04-28
B9F
2021-01-25 12:24
(accelerate12138)
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
回 1楼([lv.max]|ω•`)) 的帖子
感谢指点
不然我这个想法可能就真进行不下去了
开了个帖子,一点小sp,不成敬意
https://www.south-plus.net/read.php?tid=1078992
顶端
回复
引用
分享
Me
作者资料
发送短消息
加为好友
UID:
648437
精华:
0
发帖:
2929
HP:
0 点
SP币:
5323 G
昵称: Me
在线时间: 1128(小时)
注册时间:
2015-08-29
最后登录:
2024-04-30
B10F
2021-01-25 22:42
(↑↑↓↓←→←→BA)
只看该作者
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
一般反爬,我们的思路是通过header判断,有的加上token,还有的通过加载文件判断,爬虫不加载全部网页,此外就是设定阀值,每分钟访问超出就ban
你可以参考反爬的策略修改
顶端
回复
引用
分享
上一主题
下一主题
南+ South Plus
询问&求物
[-- 查看移动版 --]