本篇的實作內容是將proxy(代理)的功能加到爬蟲程式裡

先示範一下最簡單的proxy功能

老規矩:直接上碼
import requests

proxy={'http':'124.239.177.85:8080'}

url='http://icanhazip.com'

requests.get(url,proxies=proxy,timeout=6).text

程式解說:

1.首先到http://haoip.cc/tiqu.htm這個提供免費proxy的網站
隨便挑一組要使用的proxy，填到上面程式碼的proxy{}裡面

2.http://icanhazip.com這個網站只會顯示你是由哪個IP連到該網站
所以上面程式的執行結果就是印出124.239.177.85這組IP

當然也有出錯的時候，haoip提供的proxy並不保證一定能用
所以程式有設timeout時間，超過6秒沒回應，就換一組IP試試



未完待續 Coming soon ...
arrow
arrow
    全站熱搜

    正義的胖虎 發表在 痞客邦 留言(0) 人氣()

    E-mail轉寄