有谁在做抓取京东，天猫，亚马逊商品信息

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 2515 天前的主题，其中的信息可能已经有所发展或是发生改变。

大家有好的开源代码吗？好学习借鉴

我现在用 python selenium 抓取列表页

Selenium

Python

开源

列表

6 条回复 • 2017-12-30 16:55:31 +08:00

zhouson

2017-12-29 16:11:45 +08:00

购物党是怎么抓的？

vtwoextb

2017-12-29 17:25:40 +08:00

张大妈比价网上有这里有抓取代码 https://github.com/hizdm/dynamic_ip

laoyuan

2017-12-29 20:34:34 +08:00

这三家都能搞定的，肯定是生产代码，我认为不可能开源。

opengps

2017-12-29 22:43:13 +08:00

用啥语言无所谓，我在腾讯课堂学的.net ，有一节课就是用京东做案例，爬京东，我试了下，10m 带宽，4 核 8G 机器 3 个多小时爬完商品条目和价格

lixuda

2017-12-30 00:35:09 +08:00

@opengps 不会出现验证码？

HuangLibo

2017-12-30 16:55:31 +08:00

@vtwoextb 原来动态换 ip 就是重启路由器啊, 够暴力的.