不知道扔哪个区扔这里好了....如果不合适麻烦管理转一下区谢谢...

---

那啥...最近在练爬虫...

然后就盯上了某个号称全中国最全的官能小说站...

一共接近50,000本...

然后今天找了点时间写了个py脚本把全部页面扒下来用Beautifulsoup批量转换成TXT...

自己抽查了几十本,貌似没啥问题,老实说后期质量不是很高,还有不少重复和缺失的...总之自己慢慢找喜欢的吧...

共47,957本,处理过后的txt文档大小为1.4GB,约7亿字左右...

此帖售价 0 SP币,已有 2925 人购买

若发现会员采用欺骗的方法获取财富,请立刻举报,我们会对会员处以2-N倍的罚金,严重者封掉ID!

引用

Q:部分小说不全.
A:绝大多数是因为网站本身没有收录全的缘故,我也无能为力...

Q:部分小说没有换行
A:也是因为网站本身就这样的缘故,推荐使用带自动换行的APP阅读或者自行替换,例如可以在word内将。替换为^p

Q:这是哪个网站?
A:见购买框

Q:下载or解压失败.
A:文件已加恢复记录,请自行修复.

Q:是如何处理的?
A:用批处理批量将页面下载下来,然后用BeautifulSoup转换成txt,这是我写的烂代码,请使用python3.6以上的版本安装Beautifulsoup运行即可,运行前请用文本编辑器修改py文件内的html和输出路径

只是个练习一样的玩意.只要不是用于非法目的,转载请随意,不用标注我的ID...

我的妈！！多少？？
1个g的小说？？？

6666这么多

这网站怎么打不开？被墙了？

很强势的大佬....

哦，这边也发了，仓鼠症患者虽说不一定会看也已经在隔壁收啦

   厉害了我滴哥

这么多字，天哦

我就喜欢收集这些福利了，谢谢分享啊

厉害了 几年都看不完啊

妈个鸡
厉害了
再也不用四处去扒各种奇妙的网站了

这要看不完了

用户被禁言,该主题自动屏蔽!

大佬666

马克回家下

好吧 我还以为是霓虹的官能小说  

我的乖乖

这么可怕

非常难得的资源，各位大人一定要多多珍重哟

楼主很强，虽然是以一种很简单的语气说出了自己做的事，但在下依然感觉如听天书一般，只感觉到了大佬的牛批

厉害了，战略性马克

这么闲，厉害了

感谢分享，下载备着

膜拜Python大佬

大神，多谢了

没想到这里也能说这句话
“感谢楼主分享”

不知道有没有“一脸嫌弃的和我造人”这部。

Python厉害了，还可以先用批处理来下载，思路新颖

良心资源呢

这字数怕是看完了就能变盒子了

厉害了我的哥