不知道扔哪个区扔这里好了....如果不合适麻烦管理转一下区谢谢...
那啥...最近在练爬虫...
然后就盯上了某个号称全中国最全的官能小说站...
一共接近50,000本...
然后今天找了点时间写了个py脚本把全部页面扒下来用Beautifulsoup批量转换成TXT...
自己抽查了几十本,貌似没啥问题,老实说后期质量不是很高,还有不少重复和缺失的...总之自己慢慢找喜欢的吧...
共47,957本,处理过后的txt文档大小为1.4GB,约7亿字左右...
此帖售价 0 SP币,已有 2925 人购买
若发现会员采用欺骗的方法获取财富,请立刻举报,我们会对会员处以2-N倍的罚金,严重者封掉ID!
引用
Q:部分小说不全.
A:绝大多数是因为网站本身没有收录全的缘故,我也无能为力...
Q:部分小说没有换行
A:也是因为网站本身就这样的缘故,推荐使用带自动换行的APP阅读或者自行替换,例如可以在word内将。替换为^p
Q:这是哪个网站?
A:见购买框
Q:下载or解压失败.
A:文件已加恢复记录,请自行修复.
Q:是如何处理的?
A:用批处理批量将页面下载下来,然后用BeautifulSoup转换成txt,这是我写的烂代码,请使用python3.6以上的版本安装Beautifulsoup运行即可,运行前请用文本编辑器修改py文件内的html和输出路径
只是个练习一样的玩意.只要不是用于非法目的,转载请随意,不用标注我的ID...
