第一个 python 程序，抓取某网站表情包

python3 看了一个月了，爬虫也看了一个月，参考网上的例子自己做了个爬虫，调试中还有很多问题。
希望 v 友们帮忙看看，有哪些不规范的地方，哪里需要改进。请指点一二。
地址： https://github.com/piaokorg/download_qq.yh31.com_picture/blob/master/download.py

第 1 条附言 · 2016-06-10 12:03:11 +08:00

根据大家建议修改了一些，我觉得这下应该看得过去了吧哈哈

爬虫

Python3

Python

调试

28 条回复 • 2016-06-11 09:58:46 +08:00

lovebeyondalways

2016-06-09 16:14:02 +08:00 via Android

我靠端午没人吗

eric6356

2016-06-09 16:36:44 +08:00

1. page -= x 这一行似乎有错误吧，没太看懂；
2. 你使用了 with open 的话，一般不需要手动 f.close() 了。

icedx

2016-06-09 17:00:21 +08:00 via Android

一个月就这水平看起来没救了

binux

2016-06-09 17:06:54 +08:00

你 try..except 之后 print('pages no found')，也不返回个空数组，后面 img_addrs 不一样要错，连错误原因都不知道，还不如直接抛异常呢。

gkiwi

2016-06-09 17:14:40 +08:00

一点建议：函数返回一致性(瞎编的。。)；

find_img 这个函数在 try_catch 时候， catch 之后，最好返回一个空数组 `return []`，默认返回 None ，会触发 download 中的异常，也是完全没有必要的。返回同一种类型，否则容易造成困惑。。

gkiwi

2016-06-09 17:15:36 +08:00

@gkiwi 删掉，参考 binux 就好。。回复慢了。。

bdbai

2016-06-09 17:19:35 +08:00 via Android

@icedx 大神给点建议呗

winterbells

2016-06-09 17:43:32 +08:00

第一个 python 程序不应该是 hello world! 吗乁(๑˙ω˙๑乁)

mystryl

2016-06-09 19:15:26 +08:00 via Android

ccfinfo.leanote.com
不才一个月的爬虫产品完全实用主义投产的。。抓行业网站写报告用代码就不放了非科班能用就行。

bingxx

2016-06-09 19:24:05 +08:00 via iPhone

代码 os.mkdir 路径不应该写死吧

GhostEX

2016-06-09 20:26:00 +08:00

@mystryl 好厉害，求 git 链接，我最近也在做类似的，不过抓去的是什么值得买的商品。。。

lovebeyondalways

2016-06-09 20:36:50 +08:00 via Android

@icedx 我靠不是吧我之前没有编程基础

lovebeyondalways

2016-06-09 20:56:17 +08:00 via Android

吸取楼上所有建议

goodan

2016-06-09 21:07:39 +08:00

@icedx 同求大神建议

lovebeyondalways

2016-06-09 21:29:01 +08:00 via Android

@eric6356 我是想递减的请问怎么做

eoo

2016-06-09 23:46:49 +08:00 via Android

爬虫一个月速度确实“快”

ila

2016-06-10 00:15:46 +08:00 via Android

无任何基础一个月写出爬虫，前面开嘲讽光环的有意思吗？
不如提点你们的经验吧。

如果不用 scrapy 等框架，
建议 requests+bs4 。
简单快捷。
然后打怪升级，
爬一个感兴趣的项目和大众化的项目，
例如汤不热的图片和电商的商品价格。
汤不热现在需要翻墙。

hellogbk

2016-06-10 00:15:57 +08:00

估计楼上那些讽刺楼主的都是刚出娘胎就会编程从来没有过新手期的牛人
：）
楼主加油。

upczww

2016-06-10 00:24:45 +08:00 via Smartisan T1

楼主加油，谁都有菜的时候

Lneayce

2016-06-10 00:32:19 +08:00

对没有接触过多少的, 又没人带, 自己搜集资料入门看书看基础什么的, 不管时间多久, 第一次在不熟悉的领域做出东西来的应该还是多点意见和意见吧, 喷真的没意义,
建议楼主同时还可以打打基础, 思想是通用的, 这样以后换个语言环境什么的上手就会快点的,

lovebeyondalways

2016-06-10 00:53:39 +08:00 via Android

@eoo @ila @hellogbk @upczww @Lneayce 谢谢大家的鼓励和建议哈哈，编程真的很有趣，特别是可以用来做有意思的事，上下而求索吧

msg7086

2016-06-10 01:37:50 +08:00

零基础一个月能写出来挺好了。
不过还是建议循序渐进一点点来，多积累一些打代码的经验，这样开发大项目的时候会顺手很多。

eoo

2016-06-10 07:14:57 +08:00 via Android

@hellogbk 我只是觉得挺惊讶，楼猪学爬虫都能用一个月，换做是我我绝对做不到。

coolloves

2016-06-10 09:11:59 +08:00

和楼主情况差不多.
自己写了脚本抓取天气预报,天气预警,监控雪球,抓取什么值得买,然后入库.

还没有用到多线程,scrapy,其实自学这种东西能坚持下去就是胜利.与所有自学人共勉.

eric6356

2016-06-10 09:44:48 +08:00

@lovebeyondalways range(page, 0, -1)

RqPS6rhmP3Nyn3Tm

2016-06-10 13:36:50 +08:00 via Android

比我的第一个爬虫好

lane3000

2016-06-11 09:20:26 +08:00

楼主加油，比我第一个写到爬虫要好不少了～

sola97

2016-06-11 09:58:46 +08:00

我第一个爬虫是爬教务系统..