V2EX › tikazyq 的所有回复 › 第 40 页 / 共 44 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 ... 32 33 34 35 36 37 38 39 40 41 ... 44

❮

❯

2019 年 6 月 20 日

回复了 qazwsxkevin 创建的主题 › Python › (爬虫)是否有现成的轮子，对页面的文字+连接直接提取输出？

可以试试 Crawlab 的自动提取字段功能，成功率大概在 50-70%

https://github.com/tikazyq/crawlab

文章: https://juejin.im/post/5cf4a7fa5188254c5879facd

2019 年 6 月 12 日

回复了 Hiyokunotori 创建的主题 › Python › 如何一键启动并监控多个 Python +requests 爬虫

这个需求太符合 Crawlab 了！ Crawlab 是分布式爬虫管理平台，非常适合爬虫任务调度、任务监控、数据分析。欢迎来试用

Github: https://github.com/tikazyq/crawlab

2019 年 6 月 11 日

回复了 wz497345846 创建的主题 › 程序员 › 有人用 Java 写爬虫吗？

可以尝试一下爬虫管理平台 Crawlab，支持任何语言、任何框架，可以用 Crawlab 集成你的 Java 爬虫

https://github.com/tikazyq/crawlab

2019 年 6 月 9 日

回复了 waibunleung 创建的主题 › Python › 学 Python 不久，尝试写了个 instagram 爬虫，想问问大家的建议？

单个网站来说不错，可以考虑一下用同样的框架扩展到其他社交平台，这样就强大得多了

2019 年 6 月 9 日

回复了 waibunleung 创建的主题 › Python › 学 Python 不久，尝试写了个 instagram 爬虫，想问问大家的建议？

可以用爬虫平台 Crawlab 来管理你的爬虫，https://github.com/tikazyq/crawlab

2019 年 6 月 5 日

回复了 tikazyq 创建的主题 › Python › 爬虫平台 Crawlab 核心原理--自动提取字段算法

@KyX 啥叫 readability 算法？看起来好高级

2019 年 6 月 5 日

回复了 tikazyq 创建的主题 › Python › 爬虫平台 Crawlab 核心原理--自动提取字段算法

@liwl docker 版本正在开发，敬请期待和关注

2019 年 5 月 30 日

回复了 tikazyq 创建的主题 › 程序员 › 如何同步 Github 仓库到 Gitee

@jinqzzz 感谢，貌似这样可行

2019 年 5 月 30 日

回复了 tikazyq 创建的主题 › 程序员 › 如何同步 Github 仓库到 Gitee

@maichael 只读的，要求其他人不能 push 进去

2019 年 5 月 30 日

回复了 tikazyq 创建的主题 › 程序员 › 如何同步 Github 仓库到 Gitee

@EastLord 貌似可以，已经 import 进去了

2019 年 5 月 28 日

回复了 XiaoCilang 创建的主题 › Python › Python 爬虫爬取头条街拍的问题

不可能吧，API 接口文档先研究清楚一下撒

顺便打个广告开源爬虫平台 Crawlab, https://github.com/ tikazyq/crawlab

Crawlab 是一个专注于爬虫的集成了爬虫管理、任务调度、任务监控、数据分析等模块的分布式爬虫管理平台，非常适合对爬虫管理、爬虫工程化有要求的开发者及企业。

最近开发的可配置爬虫正好解决你配置爬虫的问题，1-3 分钟编写好一个可运行的爬虫。

2019 年 5 月 28 日

回复了 fank99 创建的主题 › Python › 请教各位 Python 爬虫工程师有什么好的转职方向吗？

@collector 爬虫可以做很多事情，但感觉做得深的话会转算法和后端

2019 年 5 月 28 日

回复了 fank99 创建的主题 › Python › 请教各位 Python 爬虫工程师有什么好的转职方向吗？

想要节省爬虫的编写时间，可以参考一下我的开源爬虫平台 Crawlab, https: // github.com/ tikazyq/crawlab

Crawlab 是一个专注于爬虫的集成了爬虫管理、任务调度、任务监控、数据分析等模块的分布式爬虫管理平台，非常适合对爬虫管理、爬虫工程化有要求的开发者及企业。

最近开发的可配置爬虫正好解决你配置爬虫的问题，1-3 分钟编写好一个可运行的爬虫。

[我是如何在 3 分钟内开发完一个爬虫的]( https: // juejin.im /post/5ceb4342f265da1bc8540660)

2019 年 5 月 28 日

回复了 wafm 创建的主题 › 程序员 › 抓取 APP 接口的疑问

@wafm telegram 是啥？

2019 年 5 月 28 日

回复了 wafm 创建的主题 › 程序员 › 抓取 APP 接口的疑问

@wafm 需要逆向来研究，但是这又有法律风险

2019 年 5 月 28 日

回复了 wafm 创建的主题 › 程序员 › 抓取 APP 接口的疑问

一般 app 通信都做加密处理的

2019 年 5 月 28 日

回复了 zinfinb 创建的主题 › Go 编程语言 › 继续付费找爬虫牛人啊

这种实时性要求高的爬虫需要对网页进行秒级监控，这个有些难度，可以用 polling 来搞。websocket 爬虫我认识一个大牛，可以 wx 我 tikazyq1

顺便打个广告，Crawlab 是一个专注于爬虫的集成了爬虫管理、任务调度、任务监控、数据分析等模块的分布式爬虫管理平台，非常适合对爬虫管理、爬虫工程化有要求的开发者及企业

// github.com /tikazyq/crawlab

2019 年 5 月 27 日

回复了 Fizzyi 创建的主题 › Python › scrapy 代理 ip 失效后更换 IP

需要记录代理 ip 的有效性，如果是使用了 API，先缓存到数据库中。

顺便打个广告，Crawlab 是一个专注于爬虫的集成了爬虫管理、任务调度、任务监控、数据分析等模块的分布式爬虫管理平台，非常适合对爬虫管理、爬虫工程化有要求的开发者及企业

https: //github.com/tikazyq/crawlab

2019 年 5 月 27 日

回复了 foxyier 创建的主题 › Python › 乐看视频反爬无法破解。。求助

https://github.com/tikazyq/crawlab

2019 年 5 月 27 日

回复了 foxyier 创建的主题 › Python › 乐看视频反爬无法破解。。求助

用 you-get 试一下？

顺便打一波广告，关注一下开源爬虫平台 Crawlab，https://github.com/tikazyq/crawlab，集成了爬虫管理、任务调度、任务监控、数据分析等模块的分布式爬虫管理平台，非常适合对爬虫管理、爬虫工程化有要求的开发者及企业

1 ... 32 33 34 35 36 37 38 39 40 41 ... 44

❮

❯