有没有能够自动定时抓取某个网站数据的软件或工具？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

这是一个创建于 4222 天前的主题，其中的信息可能已经有所发展或是发生改变。

某个网站有一些数据列表每隔几分钟就会更新一次，但都比较有规律，有没有什么办法能自动抓取这些数据去重后保存为excel格式呢？

抓取

数据

格式

22 条回复 • 2014-07-17 22:19:34 +08:00

ejin

2014 年 7 月 14 日

excel本身就自带这功能啊(vba)

hging

2014 年 7 月 14 日

Nokogiri

nagato

2014 年 7 月 14 日

@hging 定时的话怎么实现？

wgqzlj

2014 年 7 月 14 日

火车头

bobopu

2014 年 7 月 14 日

@ejin 这个怎么弄，指教一下。

stevenyou

2014 年 7 月 14 日

我用cron tab + beautifulsoup(python) 存成csv
需要执行javascript的话用casperJS

halfcrazy

2014 年 7 月 14 日

kimonolabs

hging

2014 年 7 月 14 日

@nagato 定时如果是rails的话可以写定时任务。其他的开源用crontab系统定时跑脚本。

ejin

2014 年 7 月 14 日

@bobopu 你有代码基础吗

bobopu

2014 年 7 月 14 日 via Android

@halfcrazy 这个东西很好很强大啊，一直就想要这种在线的自动抓取工具。

bobopu

2014 年 7 月 14 日 via Android

@ejin 请讲一下。

ejin

2014 年 7 月 14 日

@bobopu 就是vb/asp的语法啊，搭配xmlhttp，采网页数据很容易的

bobopu

2014 年 7 月 14 日

@ejin 我捣鼓一下。

lu18887

2014 年 7 月 14 日

这种事情最有意思了！

tiiime

2014 年 7 月 14 日

@halfcrazy =.=

bobopu

2014 年 7 月 14 日

@halfcrazy 这个有没有什么办法可以将抓取的内容自动保存呢？现在好像是抓取后不断在覆盖。。

yangqi

2014 年 7 月 14 日

import.io

halfcrazy

2014 年 7 月 14 日

@bobopu 你可以在设置的地方设置一下定时抓取，然后你本地也定时抓取并存储就好。输出的格式反正都很好解析的，

bobopu

2014 年 7 月 17 日

@halfcrazy 我想用的输出的csv格式，用excel远程调用后也会随着每次的刷新的覆盖之前的数据，有没有什么可以追加保存的办法？

bobopu

2014 年 7 月 17 日

@ejin 请问excel从web获取数据后有没有什么办法追加保存呢，目前都是每次刷新覆盖了之前的数据了。

ejin

2014 年 7 月 17 日

@bobopu 自己拼接下咯

bobopu

2014 年 7 月 17 日

@ejin 花钱找了个人给我编了套vba过两天给我，可以实现自动追加。