a5.gif

keoki

GF  2021-02-25 22:38
(一些脚本:https://bbs.imoutolove.me/read.php?tid=1353704)

分享一个爬虫吧,可爬2048,cunhua,laowang,moxing论坛最新帖子

主要目的是省去了每次上这几个论坛找资源的时间,可以一键知道最新的资源贴里有没有你想要的。

可以根据关键词,发帖作者名,筛选出最新发布的帖子里符合对应条件的帖子,把结果写入对应的html文件,显示效果类似论坛的图片模式,可直接点击链接进入帖子页面,参考下图。

可设置需要爬取的对应版块号,爬取页数,和需要排除的关键字,我把我的配置贴在下图以供参考。

爬取的结果会缓存到本地,每次爬取会对比缓存,筛选出之前爬取中没出现过的帖子放在html文件的最前面。







需要python3.8或以上

分别运行:

复制代码
  1. python daily_updates.py cunhua
  2. python daily_updates.py moxing
  3. python daily_updates.py laowang
  4. python daily_updates.py 2048
附件: southplus.zip (29 K) 下载次数:489

none.gif

Sasu

B1F  2021-04-07 21:54

回 40楼(a0507658) 的帖子

我也是碰到这个问题,怎么解决呢?

none.gif

Sasu

B2F  2021-04-07 22:00

回 41楼(keoki) 的帖子

能弱弱问下具体怎么操作吗?