有朋友想收集yande.re里的图片
于是现学撸了一个爬虫出来
大家来拍吧
https://github.com/wudaown/yandeDL
未满18岁慎用
1
zonghua 2015 年 6 月 20 日 via iPhone
python做爬虫有什么加成
|
2
Imyssed 2015 年 6 月 20 日
其实我比较好奇Y站和K站是不是一个系统啊...好像的说
|
3
wudaown OP 貌似是的.. y站以前不叫Y站.. 换过名字了
|
5
yeah2109 2015 年 6 月 20 日
输入关键词以后没有进度提示吗?
|
7
yeah2109 2015 年 6 月 20 日
我输入了一定的页数,下载了一段时间后
Traceback (most recent call last): File "yandeDL.py", line 61, in <module> main() File "yandeDL.py", line 55, in main MultiPageDownload() File "yandeDL.py", line 27, in MultiPageDownload coreDL(crawler.getSource(next_page_url)) File "yandeDL.py", line 14, in coreDL crawler.getImg(dLink, filename_list) File "/root/yandedl/crawler.py", line 123, in getImg urllib.request.urlretrieve(x[2:-2], filename_list[count]) File "/usr/local/lib/python3.4/urllib/request.py", line 219, in urlretrieve % (read, size), result) urllib.error.ContentTooShortError: <urlopen error retrieval incomplete: got only 196325 out of 255091 bytes> 这么显示然后就停止了,是什么原因? |
8
hansnow 2015 年 6 月 20 日
问个和主题不相关的问题哈,楼主帖子里的红色框框是怎么输入的呢?
|
9
anthonyeef 2015 年 6 月 20 日
@hansnow markdown自带的吧
|
11
wudaown OP |
12
shuzhiqian 2015 年 6 月 20 日
iOS开发技术分享群:429196500 欢迎加入!
|
13
dlc 2015 年 6 月 20 日
楼主, 为什么我安装完python3.4.0 后双击yandeDL.py打不开。
|
14
moenayuki 2015 年 6 月 20 日
|
18
dlc 2015 年 6 月 21 日
@wudaown 双击yandeDL.py一闪而过,在cmd用 python yandeDL.py 也打不开。
|
19
ghostxdy 2015 年 6 月 21 日 via Android
我特的来回复一下,我收藏了
|
22
djyde 2015 年 6 月 21 日
yande 是 h漫版的 hackernews?
|