V2EX › pango 的所有回复 › 第 14 页 / 共 18 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 ... 6 7 8 9 10 11 12 13 14 15 ... 18

❮

❯

2015-12-08 17:12:05 +08:00

回复了 pango 创建的主题 › 分享创造 › 一个微信公众号文章聚合网站，可定制，用 django 撸的，极爽

@Jackhuang 我也是人工，但是数量不多，结合自己写个小程序辅助一下，所以还好。另外还支持直接提交文章，提交的文章只要把 biz 提取出来就可以自动分类。我没涉及到 xml 。

2015-12-08 13:28:48 +08:00

回复了 pango 创建的主题 › 分享创造 › 一个微信公众号文章聚合网站，可定制，用 django 撸的，极爽

@Moker 是挺烦

2015-12-08 12:03:36 +08:00

回复了 lepture 创建的主题 › 旅行 › 周末的黄山

冬季的黄山还真是别有一番味道。这是用手机拍的吗？

2015-12-08 11:52:22 +08:00

回复了 pango 创建的主题 › 分享创造 › 一个微信公众号文章聚合网站，可定制，用 django 撸的，极爽

@1987618girl 无 git 。
@sinux 你是说抓取部分还是 django 部分？

2015-12-08 11:50:34 +08:00

回复了 pango 创建的主题 › 分享创造 › 一个微信公众号文章聚合网站，可定制，用 django 撸的，极爽

@XianZaiZhuCe 自己撸可以撸出成就感

2015-12-08 11:49:51 +08:00

回复了 pango 创建的主题 › 分享创造 › 一个微信公众号文章聚合网站，可定制，用 django 撸的，极爽

@lawder 部分数据来自于搜狗搜索

2015-12-08 10:35:40 +08:00

回复了 gongzili456 创建的主题 › 奇思妙想 › 微信你的 RSS

反过来我已经实现了： http://v2ex.com/t/241919

2015-12-07 21:42:24 +08:00

回复了 jiych 创建的主题 › 程序员 › 新浪 app pv 太大

pv 不是越多越好吗？不然你搭个网站干嘛？

2015-10-30 16:17:28 +08:00

回复了 visonme 创建的主题 › 程序员 › 在一个“养老公司”如果自我突破，如果去调整自己的未来职业方向

谁说自营网站是玩玩的？

2015-10-27 01:13:36 +08:00

回复了 stevechen1010 创建的主题 › iDev › 今天造了一个 OC 轮子，然后成为了 Github 最受欢迎 Objective-C 项目

10 月 27 号的前三名被中国人包了。。。

2015-10-26 15:05:06 +08:00

回复了 appleaa 创建的主题 › Python › scrapy 抓取信息， time.sleep()问题

为什么要 sleep ？ scrapy 不是可以自己控制并发数吗？

2015-10-23 19:28:56 +08:00

回复了 onlyxuyang 创建的主题 › 分享创造 › 分享一个网站，可以推送高清晰度视频到百度云盘

@RyuZheng 楼主说是 youtube ，不是 youku

2015-10-21 21:55:17 +08:00

回复了 xiaoyu9527 创建的主题 › 问与答 › 现在做网盘站有没有前途？

@xiaoyu9527 看你“做个 xx 站怎么样”的问题也思考很久了，那你打算什么时候开始？

2015-10-21 19:46:08 +08:00

回复了 xiaoyu9527 创建的主题 › 问与答 › 现在做网盘站有没有前途？

做英文的还是有前途的，启动资金也不用很多， 1w 刀就可以很轻松的开始了（ 1w 刀包括买程序、买服务器）

2015-10-16 09:12:31 +08:00

回复了 tongle 创建的主题 › 程序员 › 高速稳定的代理

@boro
proxy =['x.x.x.x:xx','x.x.x.x:xx','x.x.x.x:xx'...........]
random.choice(proxy)

2015-10-14 21:14:08 +08:00

回复了 tongle 创建的主题 › 程序员 › 高速稳定的代理

刚刚去看了下 tor 的原理，“ Tor 的转发节点都是网络上的志愿者们使用自己的服务器和网络带宽建立起来的，如果通过 Tor 网络来进行巨额数据的传输，实在是非常的不厚道”。
我决定放弃使用 tor 抓取大量数据了，多谢 boter 提醒，也请大家仅用这个方法来测试用，不要用作生产环境。
在这里推荐另外一个方法：
https://github.com/wenson/proxypool
这个可以抓取各大 proxy 站点公布的 proxy ，经过测试有效性后存入 redis ，可以同时提供多达几百个有效 proxy ，可以自己写个 cronjob 每隔一段时间更新 proxy 库，用作抓取应该够了。

2015-10-14 20:50:33 +08:00

回复了 tongle 创建的主题 › 程序员 › 高速稳定的代理

@boter 好吧，我去开少点，其实我也只是抓取的时候开一下啊，一般每次就一两个小时。[doge] 是什么意思？

2015-10-14 20:48:33 +08:00

回复了 tongle 创建的主题 › 程序员 › 高速稳定的代理

@kmahyyg 开 n 个 tor ，比如： tor --RunAsDaemon 1 --CookieAuthentication 0 --HashedControlPassword "" --ControlPort $your_random_port --PidFile tor$your_random_id.pid --SocksPort $your_random_socks_port --DataDirectory data/tor$your_random_id ，然后你就有了 n 个不同端口的本地代理啊，然后抓取程序随机选择一个就行了。

2015-10-14 13:04:16 +08:00

回复了 tongle 创建的主题 › 程序员 › 高速稳定的代理

tor ，你值得拥有。
我在 do 的 vps 上开 100 个 tor 实例，每小时重启 1/3 实例，于是就有了取之不尽用之不竭的 ip

1 ... 6 7 8 9 10 11 12 13 14 15 ... 18

❮

❯