V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  laoyuan  ›  全部回复第 73 页 / 共 191 页
回复总数  3806
1 ... 69  70  71  72  73  74  75  76  77  78 ... 191  
2016-11-11 08:36:10 +08:00
回复了 laoyuan 创建的主题 分享创造 野生程序员斗鱼直播写爬虫,抓双十一秒杀商品
@fleer 真的是掉大坑里了,本来打算从商品页识别秒杀,结果发现可以抓到开售时间,但价格只能抓到一个普通的价格,抓不到秒杀价所以没发识别秒杀。结果还是从会场抓那些明面上放出来的秒杀吧。。
2016-11-10 20:12:00 +08:00
回复了 laoyuan 创建的主题 分享创造 野生程序员斗鱼直播写爬虫,抓双十一秒杀商品
刚开始抓商品页,不会放大家鸽子的!
2016-11-10 08:39:36 +08:00
回复了 laoyuan 创建的主题 分享创造 野生程序员斗鱼直播写爬虫,抓双十一秒杀商品
@kang000feng 看看今天能挂出来吧,就一个列表页面应该可以
2016-11-09 17:43:00 +08:00
回复了 sensui7 创建的主题 Python 廖雪峰 python 教程的有 2 个地方看不懂
我感觉,会用 map 就行了,反正我没用过 reduce 和 filter
我也说个我的经历,买了个 Dell 显示器,结果点不亮,
打给京东客服,说明情况后说得退货入库检测后才能发新的,
打给 Dell 售后,说明情况后二话没说就给安排换货,没两天就扛着新机器来换了,
但是, Dell 的人带来的是个工业包装的翻新机,反正后来怎么看怎么觉得颜色不大对头,早知道还不如等京东的。。
对,关键是外观无损,就得换!
2016-11-09 10:53:19 +08:00
回复了 891599396 创建的主题 程序员 各种开发语言在各地现在都什么价钱啊
爬一下拉勾网完事
2016-11-09 00:44:10 +08:00
回复了 cc7756789 创建的主题 程序员 你们觉得京东有设计师吗?
@JoeyChan 我好想黑进运营商的交换机,然后把他们的尾巴换成我的小尾巴,我觉得已经有人在这么干了吧!
2016-11-09 00:03:32 +08:00
回复了 cc7756789 创建的主题 程序员 你们觉得京东有设计师吗?
缺少了满屏的大姨妈色让我有些无所适从。。
2016-11-08 10:46:53 +08:00
回复了 laoyuan 创建的主题 分享创造 野生程序员斗鱼直播写爬虫,抓双十一秒杀商品
有代码看啥录像啊。爬虫跑了一晚上数据是这样的:
双十一总共 400 个会场页面,涉及 5700 家店、 12000 件商品,其中秒杀商品大概有 500 到 1000 件,我打算直接跑商品页面来识别秒杀,不在会场识别模式了。
2016-11-07 23:54:19 +08:00
回复了 laoyuan 创建的主题 分享创造 野生程序员斗鱼直播写爬虫,抓双十一秒杀商品
@la0wei 有代码啊,我再提交下
2016-11-07 08:17:23 +08:00
回复了 laoyuan 创建的主题 程序员 程序员厉害了,不怂,就是干!!
@gouwudang 托乐嘉号称是江宁最大的小区,有没有你家的程序员?这么露脸的事情~
2016-11-07 07:02:03 +08:00
回复了 letsmotion 创建的主题 宽带症候群 苏州电信居然私自在我家光纤猫上开放免费的“aWifi”
LS 有位兄弟说得好啊,用我家的电你跟我打招呼了么?
2016-11-06 23:00:46 +08:00
回复了 laoyuan 创建的主题 分享创造 野生程序员斗鱼直播写爬虫,抓双十一秒杀商品
@a570295535 好像无线路由器有点问题,我再买个新的。好在今年写的开源了,想用的可以直接看代码。

今天就播到这里了,明天把 pyspider 部署到生产环境开始跑,然后写个网站把抓到的秒杀商品列出来方便大家看。
2016-11-06 16:01:43 +08:00
回复了 laoyuan 创建的主题 分享创造 野生程序员斗鱼直播写爬虫,抓双十一秒杀商品
又发现一种模式
data-mod-name="mui/zebra-act-ms-240x240/index-pc" data-config="

例: https://pages.tmall.com/wow/act/16495/industry_309
2016-11-06 15:54:44 +08:00
回复了 laoyuan 创建的主题 分享创造 野生程序员斗鱼直播写爬虫,抓双十一秒杀商品
已经发现了一种模式,会场页
<div class="J_tabs 前一个 <textarea class="J_dynamic_data" 里面就是秒杀商品数据

例: https://pages.tmall.com/wow/act/16495/industry_1179
2016-11-06 14:16:29 +08:00
回复了 laoyuan 创建的主题 分享创造 野生程序员斗鱼直播写爬虫,抓双十一秒杀商品
第一次提交代码,是去年写的爬虫
https://github.com/laoyuan/wanggoumiji
1 ... 69  70  71  72  73  74  75  76  77  78 ... 191  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2655 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 38ms · UTC 03:27 · PVG 11:27 · LAX 19:27 · JFK 22:27
Developed with CodeLauncher
♥ Do have faith in what you're doing.