IP模擬器
無(wú)論是抓取免費(fèi)代理IP還是購(gòu)買付費(fèi)代理IP，都可以在本地設(shè)計(jì)一個(gè)IP池。這樣不僅使用方便，還能提高工作效率。那么如何在本地設(shè)計(jì)代理IP池呢？
一、代理IP獲取接口
如果是抓取免費(fèi)代理IP，使用ProxyGetter接口從免費(fèi)代理源網(wǎng)站抓取最新的代理IP；如果是付費(fèi)代理IP，一般會(huì)有一個(gè)提供訪問(wèn)IP的API，會(huì)有一定的限制，比如每次抽取多少，抽取多少秒。
二、代理IP數(shù)據(jù)庫(kù)
用來(lái)存儲(chǔ)獲取的代理IP，推薦SSDB。SSDB表現(xiàn)突出，與Redis基本相當(dāng)。Redis是內(nèi)存類型，容量問(wèn)題是一個(gè)弱點(diǎn)，內(nèi)存成本太高。針對(duì)這一弱點(diǎn)，SSDB采用硬盤存儲(chǔ)，使用谷歌的高性能存儲(chǔ)引擎LevelDB，適用于處理大量數(shù)據(jù)，性能優(yōu)化到Redis級(jí)別。
三、代理IP檢測(cè)計(jì)劃
代理IP是時(shí)間敏感的。無(wú)論是免費(fèi)代理IP還是付費(fèi)代理IP，都是有有效期的。過(guò)了有效期就作廢了，要檢查有效期。設(shè)置定時(shí)檢測(cè)方案，檢測(cè)代理IP的有效性，刪除無(wú)效IP和高延遲IP，并給出預(yù)警。當(dāng)IP池中的IP小于一定閾值時(shí)，通過(guò)代理IP獲取接口獲取新的IP。
四、代理IP池外部接口
有了代理IP池，就需要設(shè)計(jì)一個(gè)外部接口，通過(guò)這個(gè)接口可以調(diào)用IP池中的IP供爬蟲使用。代理IP池的功能比較簡(jiǎn)單，可以使用Flask來(lái)完成。該功能可以是提供獲取/刪除/刷新等界面供爬蟲直接使用。
本地代理IP池的設(shè)計(jì)是為了方便爬蟲的使用，提高效率，所以設(shè)計(jì)盡量簡(jiǎn)單方便。如果使用付費(fèi)代理，爬蟲的工作要求不高，就不需要建立本地代理IP池。
