这是一个创建于 1552 天前的主题，其中的信息可能已经有所发展或是发生改变。
我在 vultr 上有个 VPS 专门爬虫一个网站保存成文件，然后提供 web 访问服务。最近发现这个网站的一个接口把境外 IP 都 ban 了，使用国内 IP 访问就没问题。
目前我的思路是：买一个国内的服务器，专门用来爬虫，爬完保存下来的文件 scp 到 vultr 服务器上。
这样就是增加了国内服务器的成本，国内服务器又比较贵，不知道大佬有没有更好的解决方案？
或者买个树莓派？
 |
1
biu7 2020-08-10 10:51:09 +08:00
买点代理不行么
|
 |
2
CriseLYJ 2020-08-10 11:13:13 +08:00
楼上正解
|
 |
3
hugee 2020-08-10 11:15:12 +08:00
原来就是你小子在爬我的站
|
 |
5
lxk11153 2020-08-10 11:21:33 +08:00
原来就是你小子在爬我的站
|
|
6
biu7 2020-08-10 11:23:21 +08:00
@livc #4 国内代理一般两类，一种直接卖给你短时（ 3-5min ）有效的 ip，比如几块钱 1000 个之类的，一种是直接转发你的请求，按请求数算钱。可以看下讯代理、阿布云之类的（非广告）
|
 |
7
em70 2020-08-10 11:25:35 +08:00
告诉你一个诀窍啊,阿里云有一种抢占式 ECS,才几毛钱一个小时,因为有百分之几的几率会被释放,不适合做长期服务,却是爬虫的天然选择,随用随买,不用就释放
|
|
10
em70 2020-08-10 11:30:05 +08:00
刚帮你看了下,乌兰察布机房最便宜,才 8 分钱一个小时,北京 1 毛 3
|
 |
12
linuxvalue 2020-08-10 11:32:21 +08:00
代理 ip
|
 |
13
heiheidewo 2020-08-10 11:32:22 +08:00
原来就是你小子在爬我的站
|
 |
14
Soar360 2020-08-10 11:39:33 +08:00
原来就是你小子在爬我的站
|
 |
15
nightwitch 2020-08-10 11:39:43 +08:00
|
 |
16
murmur 2020-08-10 11:43:07 +08:00
你现在买了境内机房，下次他把各大云的 ip 也禁了
|
 |
17
121121121 2020-08-10 11:54:29 +08:00
代理服务器
|
 |
18
ipoh 2020-08-10 12:20:38 +08:00
你需要淘宝"ADSL VPS" 每几分钟自动重播一次
封 ip 也不怕 |
 |
19
natsji 2020-08-10 13:02:29 +08:00 via Android
你用辣鸡阿里清凉云的香港或者新加坡服务器，IP 地址会被很多 ip 库识别成大陆的。
|
 |
20
locoz 2020-08-10 13:25:49 +08:00 via Android
你就不能直接买代理或者在爬的时候开点国内云服务器做代理服务器吗…
|
 |
21
wangyzj 2020-08-10 13:29:33 +08:00
我之前的做法是去淘宝上买一个可以随意换 IP 的机器
|
 |
22
pagxir 2020-08-10 13:58:40 +08:00 via Android
可以用阿里云或者其他云的函数计算的，支持 web 请求，选择国内的节点即可
|
 |
23
newee 2020-08-10 14:09:35 +08:00 via iPhone
哪里的海外 ip 比较便宜靠谱，最近抓一个海外站点，访问几百次就会被禁。有啥供应商比较实惠的
|
 |
24
BillowSky 2020-08-10 14:16:53 +08:00 via iPhone
人家禁你可能你对人家造成了干扰，要不然也不会费力气禁你。
|
 |
25
abersheeran 2020-08-10 14:21:06 +08:00
原来就是你小子在搞事情。
|
 |
26
sunziren 2020-08-10 14:33:26 +08:00
原来就是你小子在爬我的站
|
 |
27
suuuch 2020-08-10 14:34:31 +08:00 via iPhone
这个感觉像是你的爬虫对别人照成影响了，换 IP 之后应该会升级反爬，
|
 |
28
wunonglin 2020-08-10 14:37:41 +08:00
原来就是你小子在爬我的站
|
 |
29
jones2000 2020-08-10 16:45:00 +08:00
直接买云抓取的服务不就可以了。 还自己爬多麻烦。
|
 |
30
adoula 2020-08-10 17:59:40 +08:00
一般不是国外服务器比较贵吗
|
 |
31
smplesugar 2020-08-10 18:58:47 +08:00
原来就是你小子在爬我的站
|
 |
32
zhiiker 2020-08-10 19:37:12 +08:00
|
 |
33
unclemcz 2020-08-10 20:14:19 +08:00
淘宝买个玩客云，50 包邮，刷成 armbian 然后跑爬虫，功耗 6-10 瓦吧。
不多说了，再说又止不住手打开淘宝买一个了。 |
 |
34
g079708 2020-08-10 21:35:26 +08:00 via iPhone
可以试试这个，独享拨号代理 IP 池；
http://www.kuainiaoip.com/store/exclusive-adsl.html |
 |
35
h4de5 2020-08-10 22:27:01 +08:00
github 上面大把的免费的国内的机器。你不拿来用。很多大佬都拿来挖矿了。
|
 |
36
ClericPy 2020-08-10 23:45:57 +08:00
这么在乎价格成本的话... 白瓢免费代理吧, 选普匿和高匿的, 然后走生产者消费者模式, 慢慢抓慢慢跑
|
 |
37
HYisen 2020-08-11 15:38:43 +08:00
买个树莓派吧，蹭家用网络是真的便宜。
|
 |
38
woodnaonly 2020-09-21 15:08:52 +08:00
@h4de5 关键字是什么
|
|
39
woodnaonly 2020-09-21 15:10:05 +08:00
@wangyzj 老哥来个关键字
|
|
40
wangyzj 2020-09-21 17:00:46 +08:00
@woodnaonly #39 vps
|
Select Language