1樓：ipidea全球
提高爬蟲效率的方法
協程。採用協程，讓多個爬蟲一起工作，可以大幅度提高效率。
多程序。使用cpu的多個核，使用幾個核就能提高幾倍。
多執行緒。將任務分成多個，併發（交替）的執行。
分布式爬蟲。讓多個裝置去跑同乙個專案，效率也能大幅提公升。
打包技術。可以將python檔案打包成可執行的exe檔案，讓其在後台執行即可。
其他。比如，使用網速好的網路等等。
反爬蟲的措施
限制請求頭，即request header。解決方法：我們可以填寫user-agent宣告自己的身份，有時還要去填寫origin和referer宣告請求的**。
限制登入，即不登入就不能訪問。解決方法：我們可以使用cookies和session的知識去模擬登入。
複雜的互動，比如設定「驗證碼」來阻攔登入。這就比較難做，解決方法1：我們用selenium去手動輸入驗證碼；方法2：
我們用一些影象處理的庫自動識別驗證碼（tesserocr/pytesserart/pillow）。
ip限制。如果這個ip位址，爬取**頻次太高，那麼伺服器就會暫時封掉來自這個ip位址的請求。 解決方法：
使用time.sleep()來對爬蟲的速度進行限制，建立ip**池或者使用ipidea避免ip被封禁。
2樓：
爬蟲網頁元素解析效率，css > xpath > bs4 > re
如何優化 python 爬蟲的速度
3樓：老漁哥網路科技
從以下的五個方面去進行優化測試：
1、cpu瓶頸的話可以通過分布式的方式來解決 更多的結點去處理分發的任務就好了
2、本地頻寬的瓶頸通過雲伺服器解決(一般都有100mb的方案提供) 定時定量的去購買使用可以節約成本(畢竟不是搜尋引擎不會一直開著的)
3、目標伺服器的頻寬限制(基於ip的)通過跨區的伺服器解決 雲伺服器提供商有多個機房的 分散節點所在的機房可以緩解問題 有提供動態ip的就更好了
4、目標伺服器的訪問限制，老漁哥提示搜一下《反爬蟲》策略就差不多了解了 根據自己的程式設計能力來應對 給兩個庫投石問路 seleniumphantomjs 對於驗證碼相關的可以考慮購買服務(有外包的, 最高端別是人肉的一定可以搞定, 量要考慮一下**不菲)真的不建議自己搞。
目標**系統比較知名的話(discuz)可以網上搜搜 足夠簡單的話可以用opencv(有python繫結的版本而且跨平台) thredshold(二值化)處理顏色, eroded/dilate(腐蝕膨脹)處理噪點, findcontours(查詢輪廓)處理字元分割,窮舉旋轉和簡單扭曲再匹配字型檔差不多就可以處理2010以前的簡單***了(當然cpu開銷還是很大的)
5、目標伺服器的頻寬上限限制 這麼做的話你的爬蟲就成了攻擊了不討論----以下內容常規的爬蟲可能不會涉
4樓：匿名使用者
爬蟲確實對單個ip的訪問限制挺嚴格的，但是對於http訪問來說，並不一定需要抓取別人做好的**。國外的gae，aws，以及各種免費的虛擬主機，用python，php都有現成的**服務，寫個自動化指令碼不停地去配置、刪除**服器就可以了。
要是僅僅短期使用的話其實用不著這麼麻煩，在訪問的http request裡新增x-forward-for標籤，client隨機生成，
宣稱自己是一台透明**伺服器，像【618爬蟲**伺服器，百萬級ip池】**其他人的訪問就能繞過許多限制了，一般服務商不會限制透明**。
5樓：ipidea全球
爬蟲在抓取乙個**資料的時候，有非常大的機率會被拉黑封鎖。使用**ip更換不同ip，對方**每次都以為是新使用者。
如果工作任務量大，抓取速度快，目標伺服器會容易發現，所以就需要用**ip來換ip後再抓取。
如何優化 python 爬蟲的速度
6樓：蘑菇飯資訊
你可以試試直接使用開源的爬蟲庫scrapy，原生支援多執行緒，還可以設定抓取速率，併發執行緒數等等引數；除此之外，scrapy對爬蟲提取html內容也有良好的支援。
中文入門教程也已經問世，可以google一下。
7樓：kiss錵錵
1.使用開源的爬蟲庫scrapy，原生支援多執行緒，還可以設定抓取速率，併發執行緒數等等引數；除此之外，scrapy對爬蟲提取html內容也有良好的支援。
2.優化方法有，開啟gzip，多執行緒，對於定向採集可以用正則取代xpath，用pycurl代替urlib。
python爬蟲如何避免爬取**訪問過於頻繁
8樓：ipidea全球
一. 關於爬蟲
爬蟲，是一種按照一定的規則自動地抓取網際網路資訊的程式。本質是利用程式獲取對我們有利的資料。
反爬蟲，從不是將爬蟲完全杜絕；而是想辦法將爬蟲的訪問量限制在乙個可接納的範圍，不要讓它過於頻繁。
二. 提高爬蟲效率的方法
協程。採用協程，讓多個爬蟲一起工作，可以大幅度提高效率。
多程序。使用cpu的多個核，使用幾個核就能提高幾倍。
多執行緒。將任務分成多個，併發（交替）的執行。
分布式爬蟲。讓多個裝置去跑同乙個專案，效率也能大幅提公升。
打包技術。可以將python檔案打包成可執行的exe檔案，讓其在後台執行即可。
其他。比如，使用網速好的網路等等。
三. 反爬蟲的措施
限制請求頭，即request header。解決方法：我們可以填寫user-agent宣告自己的身份，有時還要去填寫origin和referer宣告請求的**。
限制登入，即不登入就不能訪問。解決方法：我們可以使用cookies和session的知識去模擬登入。
複雜的互動，比如設定「驗證碼」來阻攔登入。這就比較難做，解決方法1：我們用selenium去手動輸入驗證碼；方法2：
我們用一些影象處理的庫自動識別驗證碼（tesserocr/pytesserart/pillow）。
ip限制。如果這個ip位址，爬取**頻次太高，那麼伺服器就會暫時封掉來自這個ip位址的請求。 解決方法：
使用time.sleep()來對爬蟲的速度進行限制，建立ip**池或者使用ipidea避免ip被封禁。
9樓：鏈經術示
幾個方法
1、**ip
2、設定延遲，就是time.sleep(1000)3、滲透
10樓：極光**動態
目前大資料的抓取都是由爬蟲完成的，爬蟲技術的應用很廣泛，但使用者都知道，乙個ip頻繁的抓取**的時候，會被限制，甚至被封掉ip。那麼，怎麼處理爬蟲頻繁的問題呢？
這個問題的答案便是利用多ip爬蟲，借助多個ip爬蟲後，就可以處理頻繁的問題了，具體的形式有以下幾種：
1.如果使用的是區域網，並且有路由器，能夠 通過重啟路由的方式來換ip。
2.通過adsl撥號，每當重新撥號的時候，ip便會變成新的，解決單ip的問題。
3.**ip在網路上購買就可以了，或是選擇免費**ip，但質量不高。使用**ip能夠 實現多ip爬蟲，這是非常常見的方法。
4.目前還有分布式爬蟲，可以通過多個伺服器，多個ip，隨後讓多個爬蟲同時進行執行，這樣效率非常高。
因此 ，處理爬蟲頻繁的問題還是有很多方法的，常見的是後兩種。爬蟲需要用的**ip一般對質量要求較高，因為用的ip會比較多。
如何使用python爬取知乎資料並做簡單分析
11樓：龍氏風采
一、使用的技術棧：
爬蟲：python27 +requests+json+bs4+time
分析工具： elk套件
開發工具：pycharm
資料成果簡單的視覺化分析
1.性別分布
如何入門Python爬蟲
從爬蟲必要的幾個基本需求來講 1.抓取 python的urllib不一定去用，但是要學，如果還沒用過的話。比較好的替代品有requests等第三方更人性化 成熟的庫，如果pyer不了解各種庫，那就白學了。抓取最基本就是拉網頁回來。如果深入做下去，會發現要面對不同的網頁要求，比如有認證的，不同檔案格式...
知乎python爬蟲如何入門學習
入門 是良好的動機，但是可能作用緩慢。如果你手 裡或者腦子裡有乙個專案，那麼實踐起來你會被目標驅動，而不會像學習模組一樣慢慢學習。另外如果說知識體系裡的每乙個知識點是圖里的點，依賴關係是邊的話，那麼這個圖一定不是乙個有向無環圖。因為學習a的經驗可以幫助你學習b。因此，你不需要學習怎麼樣 入門 因為這...
在pycharm中編寫python爬蟲怎麼解決scrapy沒
答案很簡單，四步 新建專案 project 新建乙個新的爬蟲專案明確目標 items 明確你想要抓取的目標製作爬蟲 spider 製作爬蟲開始爬取網頁儲存內容 pipeline 設計管道儲存爬取內容 scrapy 在pycharm 中為什麼沒有 提示？30 可能是你python用的環境沒有設定為an...