close
本篇的實作內容是將proxy(代理)的功能加到爬蟲程式裡
先示範一下最簡單的proxy功能
老規矩:直接上碼
程式解說:
1.首先到http://haoip.cc/tiqu.htm這個提供免費proxy的網站
隨便挑一組要使用的proxy，填到上面程式碼的proxy{}裡面
2.http://icanhazip.com這個網站只會顯示你是由哪個IP連到該網站
所以上面程式的執行結果就是印出124.239.177.85這組IP
當然也有出錯的時候，haoip提供的proxy並不保證一定能用
所以程式有設timeout時間，超過6秒沒回應，就換一組IP試試
未完待續 Coming soon ...
先示範一下最簡單的proxy功能
老規矩:直接上碼
import requests
proxy={'http':'124.239.177.85:8080'}
url='http://icanhazip.com'
requests.get(url,proxies=proxy,timeout=6).text
程式解說:
1.首先到http://haoip.cc/tiqu.htm這個提供免費proxy的網站
隨便挑一組要使用的proxy，填到上面程式碼的proxy{}裡面
2.http://icanhazip.com這個網站只會顯示你是由哪個IP連到該網站
所以上面程式的執行結果就是印出124.239.177.85這組IP
當然也有出錯的時候，haoip提供的proxy並不保證一定能用
所以程式有設timeout時間，超過6秒沒回應，就換一組IP試試
未完待續 Coming soon ...
全站熱搜
留言列表
