jsoup批量爬取網路小說
『壹』 java jsoup怎樣爬取特定網頁內的數據
1、Jsoup簡述
Java中支持的爬蟲框架有很多，比如WebMagic、Spider、Jsoup等。
Jsoup擁有十分方便的api來處理html文檔，比如參考了DOM對象的文檔遍歷方法，參考了CSS選擇器的用法等等，因此我們可以使用Jsoup快速地掌握爬取頁面數據的技巧。
2、快速開始
1)分析HTML頁面，明確哪些數據是需要抓取的
2)使用HttpClient讀取HTML頁面
HttpClient是一個處理Http協議數據的工具，使用它可以將HTML頁面作為輸入流讀進java程序中.
3)使用Jsoup解析html字元串
通過引入Jsoup工具，直接調用parse方法來解析一個描述html頁面內容的字元串來獲得一個Document對象。該Document對象以操作DOM樹的方式來獲得html頁面上指定的內容。
3、保存爬取的頁面數據
1)保存普通數據到資料庫中
將爬取的數據封裝進實體Bean中，並存到資料庫內。
2)保存圖片到伺服器上
直接通過下載圖片的方式將圖片保存到伺服器本地。
『貳』 java jsoup 爬蟲 怎麼防止重復爬取
正好最近在學習這方面的內容。
兩種思路：
可以將當前爬取的url存在一個list中作登記，在下一次開始爬子鏈接的時候進行比對，如果已經存在在list中則跳過，如果不存在那麼繼續爬
可以將所有的url網路先遍歷一遍存在list中，然後根據list而不是再次訪問子鏈接url進行爬取，在url存入list的過程中進行查重處理
順便為了方便控制。建議設置爬取深度，在一定深度內進行爬取。
『叄』 為什麼爬取到的小說會這個樣子
可能不是一個版本的
『肆』 使用Jsoup爬取新聞，我需要的是文章類，爬取的內容中有視頻新聞，如何解決。
yyyyyyyyyyy
『伍』 如果爬取一個小說網站以後，如何做到更新內容的爬取並且存儲
爬個目錄存入資料庫，下次爬再對比不就行了。
而且別每天了，每15分鍾爬一次吧。。。
『陸』 jsoup爬取連接網站超時是不是ip被封了
有比較大的幾率會被封，一般爬去需要控制爬取頻率最好使用代理庫輪詢去拉數據。
『柒』 jsoup爬取滾動懶載入圖片
那就要研究你抓取的網站，滾動載入的方法，模擬發送http請求直接獲取數據，找到裡面的圖片url
『捌』 爬蟲爬取小說網，存儲的資料庫怎麼設置
我覺得沒法爬取。因為服務端沒有注入供爬取的代碼。
『玖』 Python使用beautifulsoup如何爬取小說正文全部內容
單章的部分應該沒問題，去目錄頁爬下章節鏈接存列表裡遍歷爬取就行了吧。
另外通常手機版站點的反爬會弱一些，有沒有考慮爬手機站？
github、csdn、博客園等等站會有相關的博文涉及相關爬蟲和源碼，去參考一下也好。
還解決不了的話先把「全部正文，不知道咋回事目錄都爬不下來」的情況說的更詳細一點。