動(dòng)態(tài)IP模擬器 

 

1. 控制爬蟲(chóng)速度 

 

1) 初始化：設(shè)置初始延遲時(shí)間 T0 和比例系數(shù) Kp（典型值 -0.05）；  [ h]

2）目標(biāo)設(shè)定：設(shè)置爬蟲(chóng)速度S，如每分鐘40頁(yè)；  

 

3）測(cè)量：統(tǒng)計(jì)每分鐘n個(gè)爬蟲(chóng)爬取的網(wǎng)頁(yè)數(shù)，可能是32，也可能是100；  

 

4）Compare：比較n和S的大小；  

 

5) Execute：如果n大于S，則表示速度太快，所以增加延遲； 如果 n 大于 S 如果它很小，則表示太慢，因此減少延遲。  

 

該方案的公式如下： 

 

Tk=Tk-1+Kp*(Sn) (3.1)

 

其中k=1, 2, 3 。  .. , Tk 是為第 k 次設(shè)置的延遲時(shí)間。  

 

不要被表達(dá)式嚇到了，其實(shí)意思就是步驟5）中描述的執(zhí)行過(guò)程：速度太快（Sn小于0，則Kp*(Sn)為正）  , 增加延遲時(shí)的速度（Tk 大于Tk-1）； 速度太慢（Sn大于0，Kp*(Sn)為負(fù)），減小延遲（Tk小于Tk-1）。  

 

假設(shè)初始延遲時(shí)間T0為1.0s，比例系數(shù)Kp為-0.05，爬行速度S設(shè)置為40頁(yè)/分鐘。 如果一個(gè)爬蟲(chóng)爬取的網(wǎng)頁(yè)數(shù)為n=100，根據(jù)公式3.1計(jì)算的延遲值為T1=T0+Kp*(Sn)=1.0+(-0.05)*(40-100)=4.0； 下一次可能的測(cè)量值n=30，計(jì)算出的延遲值T2=4.0-0.05*10=3.5。  

 

合理控制履帶速度非常有必要。 如果爬行速度快，增加延遲時(shí)間； 如果履帶速度較慢，則減少延遲時(shí)間。  

 

二、提高爬坡蠕蟲(chóng)速度

 

首先要確定當(dāng)前的瓶頸在哪里，網(wǎng)絡(luò)io，磁盤(pán)io，還是cpu。 只有這樣，才能詳細(xì)分析具體問(wèn)題。  

 

如果編程能力是瓶頸，添加多線程特性是最劃算的，而且不需要太多開(kāi)發(fā)時(shí)間。 不過(guò)后續(xù)的問(wèn)題可能比較多，幾行代碼也解決不了。  

 

分布式解決cpu瓶頸，更多節(jié)點(diǎn)可以處理分布式任務(wù)。  

 

云服務(wù)器解決本地帶寬瓶頸（一般100MB計(jì)劃提供），定期定量購(gòu)買可以節(jié)省成本（畢竟搜索引擎不常開(kāi)），目標(biāo)服務(wù)器帶寬限制 （基于IP）由跨區(qū)域服務(wù)器解決。 云服務(wù)器提供商有多個(gè)機(jī)房。 分布式節(jié)點(diǎn)所在的機(jī)房可以緩解這個(gè)問(wèn)題。 最好提供動(dòng)態(tài)IP。  

 

以上介紹了控制爬行速度和提高爬行速度的方法，僅供參考！ 建議在抓取數(shù)據(jù)的時(shí)候注意不要給目標(biāo)網(wǎng)站施加太大的壓力。 在爬取過(guò)程中，如果遇到IP限制問(wèn)題，可以使用代理IP突破限制，提高采集速度。 使用代理IP，選擇IP模擬器代理，千萬(wàn)IP池滿足爬蟲(chóng)需求。