不少人看來只用Python才可達(dá)致爬蟲功能，，不少腳本語言也都可達(dá)致，如Java、Python、C++等都可用做爬蟲，但不少人bigger優(yōu)先選擇所用Python來達(dá)致，雖然其多樣化的普通用戶庫頗為強(qiáng)有力，最重要的是，Python也是資料管理和分析方法的好工具，那爬蟲一般而言用什么樣框架較好呢?請看下文：

1、Scrapy：

是這個為求爬取中文網(wǎng)站資料而編訂的集成框架，可集成在資料管理、網(wǎng)絡(luò)管理或備份歷史資料等數(shù)項(xiàng)的執(zhí)行程序中，是個很強(qiáng)有力的爬蟲框架，可兼顧非常簡單的頁面爬取。

2、Crawley：

爬取中文網(wǎng)站的參考資料，擁護(hù)父子關(guān)系和非父子關(guān)系型資料庫，資料可解出為JSON、XML等。

3、Portia：

是這個Apache的交互式爬蟲管理工具，可讓所用者在不需要有完全面向?qū)ο罄碚撝R的情況下爬取中文網(wǎng)站，它是如上所述scrapyMach，交互式參考資料，不需要有完全開發(fā)計(jì)劃理論知識。

4、newspaper：

可用做提純新聞報(bào)導(dǎo)、短文等，所用執(zhí)行程序代碼，十幾種多種語言等，且大部分的都是unicode編碼器。

5、Python-goose：

仰賴Java的短文提純管理工具，與及：短文二是參考資料、短文次要截圖、短文中延展的完全Youtube/Vimeo片段、元闡釋、元標(biāo)記。

6、mechanize：

特性是可載入JS，但也有弱點(diǎn)，譬如HTML易于失范，然而只要所用國際版的example，也是可用的。

以上內(nèi)容為大家介紹了優(yōu)良的Python爬蟲框架有哪些，希望對大家有所幫助，如果想要了解更多Python相關(guān)知識，請關(guān)注IT培訓(xùn)機(jī)構(gòu):千鋒教育。http://www.mobiletrain.org/

上一篇

Python常見面試題及答案分享

下一篇

學(xué)習(xí)python的三個階段