这是一个创建于 4893 天前的主题，其中的信息可能已经有所发展或是发生改变。
学习正则的过程中，采集了下某国内ACG网站的图库。大概一共会有6-8万个地址，图片有不少是5K*4K分辨率。平均500K-4M一张。估算是100G吧。
首先我是没兴趣下载这些图片的，收集这种把20MB的原图压成2MB的JPG就是侮辱自己硬盘。不过抱着学习研究的目的问下如果要下载这种类型的有什么软件方案？
首先要支持抵制导入，一行一个地址。
然后估计这种网站服务器会有保护措施的吧，短时间同一地址大量请求会被BAN掉的吧?
首先我是没兴趣下载这些图片的，收集这种把20MB的原图压成2MB的JPG就是侮辱自己硬盘。不过抱着学习研究的目的问下如果要下载这种类型的有什么软件方案？
首先要支持抵制导入，一行一个地址。
然后估计这种网站服务器会有保护措施的吧，短时间同一地址大量请求会被BAN掉的吧?
 |
1
binux 2012 年 8 月 20 日  1
wget
|
 |
2
013231 2012 年 8 月 20 日 1
wget全站抓取或自己寫爬蟲吧. wget可以設置間隔, 爬蟲自然也可以.
地址導入wget就可以, -i(--input-file)參數. |
 |
3
Air_Mu OP 谢二位，我去研究一下wget
|
 |
5
hu437 2012 年 8 月 22 日
java程序员表示使用JSOUP这个库，写一个几十行的小程序，让计算机慢慢爬了
|
 |
6
paloalto 2012 年 8 月 22 日
前段时间也想批量下一个网站的图片 http://v2ex.com/t/42469#reply18 一开始是先写一个Python脚本去自动抓取，后来发现firefox里的downthemall插件可以批量下载文件名有一定规律的图片，于是就直接用插件下了。一共下了5500多张。
不过看楼主的需求，我的那个情况似乎不太适合你，还是自己写脚本吧。 |
 |
7
csx163 2012 年 8 月 22 日
ACG?求列表~
|
 |
9
aisk 2012 年 8 月 22 日
求图库啊
|
Select Language