jsoup批量爬取网络小说
『壹』 java jsoup怎样爬取特定网页内的数据
1、Jsoup简述
Java中支持的爬虫框架有很多，比如WebMagic、Spider、Jsoup等。
Jsoup拥有十分方便的api来处理html文档，比如参考了DOM对象的文档遍历方法，参考了CSS选择器的用法等等，因此我们可以使用Jsoup快速地掌握爬取页面数据的技巧。
2、快速开始
1)分析HTML页面，明确哪些数据是需要抓取的
2)使用HttpClient读取HTML页面
HttpClient是一个处理Http协议数据的工具，使用它可以将HTML页面作为输入流读进java程序中.
3)使用Jsoup解析html字符串
通过引入Jsoup工具，直接调用parse方法来解析一个描述html页面内容的字符串来获得一个Document对象。该Document对象以操作DOM树的方式来获得html页面上指定的内容。
3、保存爬取的页面数据
1)保存普通数据到数据库中
将爬取的数据封装进实体Bean中，并存到数据库内。
2)保存图片到服务器上
直接通过下载图片的方式将图片保存到服务器本地。
『贰』 java jsoup 爬虫 怎么防止重复爬取
正好最近在学习这方面的内容。
两种思路：
可以将当前爬取的url存在一个list中作登记，在下一次开始爬子链接的时候进行比对，如果已经存在在list中则跳过，如果不存在那么继续爬
可以将所有的url网络先遍历一遍存在list中，然后根据list而不是再次访问子链接url进行爬取，在url存入list的过程中进行查重处理
顺便为了方便控制。建议设置爬取深度，在一定深度内进行爬取。
『叁』 为什么爬取到的小说会这个样子
可能不是一个版本的
『肆』 使用Jsoup爬取新闻，我需要的是文章类，爬取的内容中有视频新闻，如何解决。
yyyyyyyyyyy
『伍』 如果爬取一个小说网站以后，如何做到更新内容的爬取并且存储
爬个目录存入数据库，下次爬再对比不就行了。
而且别每天了，每15分钟爬一次吧。。。
『陆』 jsoup爬取连接网站超时是不是ip被封了
有比较大的几率会被封，一般爬去需要控制爬取频率最好使用代理库轮询去拉数据。
『柒』 jsoup爬取滚动懒加载图片
那就要研究你抓取的网站，滚动加载的方法，模拟发送http请求直接获取数据，找到里面的图片url
『捌』 爬虫爬取小说网，存储的数据库怎么设置
我觉得没法爬取。因为服务端没有注入供爬取的代码。
『玖』 Python使用beautifulsoup如何爬取小说正文全部内容
单章的部分应该没问题，去目录页爬下章节链接存列表里遍历爬取就行了吧。
另外通常手机版站点的反爬会弱一些，有没有考虑爬手机站？
github、csdn、博客园等等站会有相关的博文涉及相关爬虫和源码，去参考一下也好。
还解决不了的话先把“全部正文，不知道咋回事目录都爬不下来”的情况说的更详细一点。