V2EX › yumenoks 的所有回复 › 第 1 页 / 共 2 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2

❮

❯

2019-07-17 13:30:20 +08:00

回复了 yumenoks 创建的主题 › Python › 一个爬虫的过滤问题

@ClericPy IP 倒不是瓶颈,不是针对单站爬行的,每个站只会访问 1-2 次而已

2019-07-16 18:36:51 +08:00

回复了 haiyan 创建的主题 › 程序员 › PHP 网站内存占用很高，一做活动就挂了，大佬们帮忙看看

上服务器吧,一个月 300 左右的,
然后把数据库分离出来,丢到阿里云啥的,
服务器可以弄 2 台,或者 1 台多 IP,然后开 1 台 linux 跑 web,一台 window 跑关关采集.
看你自己的预算了.

2019-07-16 18:34:24 +08:00

回复了 yumenoks 创建的主题 › Python › 一个爬虫的过滤问题

@alanv2 开始是直接获取整个页面的链接,然后进行过滤,对 URL 的长度,后缀进行了过滤,
如果设置成域名带有 WWW 的才保存的话,数量就很少.如果不这样设置的话就会跑到蜘蛛池里面去.所以有点尴尬.

2019-07-16 18:32:50 +08:00

回复了 yumenoks 创建的主题 › Python › 一个爬虫的过滤问题

@cwjokaka 只爬去一个 url 的主页的链接,

2019-07-16 15:18:33 +08:00

回复了 keepeye 创建的主题 › 程序员 › 一冲动购买了百度网盘 svip，结果没一点提速效果

baiduwp.com 了解下?

2019-07-15 21:39:29 +08:00

回复了 yumenoks 创建的主题 › Linux › 如何限制 Linux 本机只能访问国内的 IP?

@greenskinmonster ipset 也可以用这个命令么?
iptables -A OUTPUT -m geoip ! --destination-country CN -j DROP

2019-07-13 22:16:35 +08:00

回复了 ladypxy 创建的主题 › Python › Python 中 if..else 的优化。。。

if 'keyword' in list_a[0]:
if list_a[1] == A:
=============
这里可不可以这个 if 'keyword' in list_a[0] and list_a[1] == A:

2019-07-13 12:58:37 +08:00

回复了 yumenoks 创建的主题 › Linux › 如何限制 Linux 本机只能访问国内的 IP?

@AlynxZhou 不太成,防火墙规则没那么广泛哈哈,还是自己定义的好

2019-07-12 21:57:50 +08:00

回复了 z1421012325 创建的主题 › Python › redis 分布式爬虫你们有没有遇到跑了一段时间在 redis 库中出现指纹和请求都消失了的情况吗?

只有我是用 aiohttp 撸简易的分布式爬虫吗?..

2019-07-12 21:56:57 +08:00

回复了 noli 创建的主题 › Python › [可能引战] 用过 Python 也没法理解为什么 Python 是个好语言

你觉得好用或者不好用都没关系,不需要让被人赞同你..

2019-07-12 21:49:10 +08:00

回复了 aaronysj 创建的主题 › 程序员 › V 站的 coder 们都在用哪款笔记本电脑做主力开发啊

台式机...会不会被 BS?

2019-07-12 19:57:46 +08:00

回复了 limuyan44 创建的主题 › 程序员 › 大家有什么好用的电动剃须刀推荐吗

自动的越刮越多哈哈

2019-07-12 19:22:48 +08:00

回复了 yumenoks 创建的主题 › Linux › 如何限制 Linux 本机只能访问国内的 IP?

@greenskinmonster 主要是规则参数不是很熟悉..

2019-07-12 19:12:39 +08:00

回复了 yumenoks 创建的主题 › Linux › 如何限制 Linux 本机只能访问国内的 IP?

@greenskinmonster 装 geoip 各种出错郁闷中!!!

2019-07-12 18:34:27 +08:00

回复了 yumenoks 创建的主题 › Linux › 如何限制 Linux 本机只能访问国内的 IP?

@3CH0 -destination-country cnip src -j DROP?

2019-07-12 17:39:58 +08:00

回复了 yumenoks 创建的主题 › Linux › 如何限制 Linux 本机只能访问国内的 IP?

@catcalse geo 回比较效率吗?还有上面的设置还有啥要完善的吗?

2019-07-12 16:25:16 +08:00

回复了 yumenoks 创建的主题 › Linux › 如何限制 Linux 本机只能访问国内的 IP?

@herozzm 已经下载好了批量添加到了 ipset cnip 这列表里面了

2019-07-12 16:21:48 +08:00

回复了 yumenoks 创建的主题 › Linux › 如何限制 Linux 本机只能访问国内的 IP?

@3CH0 @greenskinmonster 目前用的 ipset
iptables -A OUTPUT -p tcp -m tcp --dport 53 -j ACCEPT
iptables -A OUTPUT -p udp -m udp --dport 53 -j ACCEPT
iptables -A INPUT -p tcp --dport 22 -j ACCEPT
iptables -A OUTPUT -p tcp --sport 22 -j ACCEPT
iptables -A INPUT -p tcp -m set ! --match-set cnip src -j DROP
这样设置之后好像 curl 不到网页内容了,还需要什么设置吗?

1 2

❮

❯