如何用python爬取網(wǎng)頁(yè)中隱藏的div內(nèi)容？

這是js實(shí)現(xiàn)的。所以后面的內(nèi)容其實(shí)是動(dòng)態(tài)生成的，網(wǎng)絡(luò)爬蟲抓取的是靜態(tài)頁(yè)面。至于解決辦法，網(wǎng)上有幾種:

一種是使用自動(dòng)化測(cè)試工具，比如s

有什么好的python3爬蟲入門教程或書籍嗎？

Scrapytutorial()是一個(gè)用Python編寫的快速開源的網(wǎng)絡(luò)爬蟲框架，用于在基于XPath的選擇器的幫助下從網(wǎng)頁(yè)中提取數(shù)據(jù)。

Scrapy于2008年6月26日在BSD下首次發(fā)布，milestone1.0于2015年6月發(fā)布。

為什么是Scrapy？

更容易構(gòu)建和擴(kuò)展大型爬行項(xiàng)目。

它有一個(gè)稱為選擇器的內(nèi)置機(jī)制，可以從網(wǎng)站中提取數(shù)據(jù)。

它異步處理請(qǐng)求，速度非常快。

它采用自動(dòng)調(diào)節(jié)機(jī)制，自動(dòng)調(diào)節(jié)爬網(wǎng)速度。

確保開發(fā)者的可訪問性。

羊瘙癢病的特征

Scrapy是一個(gè)開源的免費(fèi)網(wǎng)絡(luò)爬蟲框架。

Scrapy生成JSON、CSV和XML格式的Feed輸出。

Scrapy內(nèi)置了通過XPath或CSS表達(dá)式從數(shù)據(jù)源中選擇和提取數(shù)據(jù)的支持。

基于爬蟲的Scrapy允許從網(wǎng)頁(yè)中自動(dòng)提取數(shù)據(jù)。

優(yōu)勢(shì)

Scrapy易于擴(kuò)展，速度快，功能強(qiáng)大。

它是一個(gè)跨平臺(tái)的應(yīng)用框架(Windows、Linux、MacOS和BSD)。

Scrapy請(qǐng)求是異步調(diào)度和處理的。

Scrapy自帶一個(gè)名為Scrapyd的內(nèi)置服務(wù)，允許你上傳項(xiàng)目，使用JSONWeb服務(wù)控制蜘蛛。

雖然網(wǎng)站沒有訪問原始數(shù)據(jù)的API，但是你可以取消任何網(wǎng)站。

劣勢(shì)

Scrapy僅在Python2.7中可用。

不同的操作系統(tǒng)安裝不同。