做这个呢
主要是想好好的学习go。然后自己也想折腾折腾玩玩。
目前收录了1000w+资源了,目前资源数以每天5w左右的速度增加的。
实现的自动入库,自动重建索引,基本上不用维护,然后自动就把资源抓取下来了。
这个可以看见最新收录的资源。。1分钟更新一次。
http://btku.org/new
爬虫实现的核心代码:
github:https://github.com/xiaojiong/DhtCrawler">https://github.com/xiaojiong/DhtCrawler
后续想继续开发,做点电影推介啊什么的。
求指导哈。。
1
sallowdish 2015-04-01 05:51:38 +08:00
搜索了下‘Voice Lover’, 果然货不少,赞一个
|
2
bugeye 2015-04-01 08:06:17 +08:00
然后我看了一下大家都在搜什么。。。。
|
3
Mashiro 2015-04-01 08:47:50 +08:00
大家在搜
|
4
yuewolf 2015-04-01 08:59:19 +08:00
很强悍!!!
|
5
NewYear 2015-04-01 09:16:41 +08:00 1
没有图片预览 差评
|
6
MartinSong 2015-04-01 09:18:16 +08:00 1
这些种子都是从哪里爬过来的?
|
7
xiaojiong1991 OP @MartinSong 就是DHT网络里面抓取的。 就是 我们使用bt 下载的时候 那个网络里哈
|
8
MartinSong 2015-04-01 10:17:02 +08:00
@xiaojiong1991 手撕包菜网络那里爬的么?我试了几个用迅雷,打开磁力下载,种子下载不下来呀?
|
9
benjiam 2015-04-01 10:19:52 +08:00
不错,我也曾想做一个来着。关键就是DHT 协议
|
10
xiaojiong1991 OP @MartinSong 自己去抓取的哈, 没在手撕包菜那爬。 你举例下哪些打不开呢。
|
11
xiaojiong1991 OP @benjiam 对的哈 就是关键是 协议
|
12
ikaros 2015-04-01 10:36:28 +08:00
热门搜索简直赞
|
13
wind3110991 2015-04-01 10:45:23 +08:00
github链接挂了404
|
14
xiaojiong1991 OP |
15
xiaojiong1991 OP @ikaros 哈哈。。教你用词呢。 算了 我看什么时候还是把这个词语给去掉算了。
|
16
Anybfans 2015-04-01 12:47:31 +08:00
请问有没有Python版的。。谢谢了。。学生想学习 顺便建一个这样的站
|
20
xiaojiong1991 OP @Anybfans 我也是在网上看别人做了, 然后自己觉得好玩 所以就搜索协议什么的 做了一个。
|
21
Anybfans 2015-04-01 13:14:52 +08:00
|
22
rrfeng 2015-04-01 13:27:55 +08:00
都不能下载。。。
|
23
xiaojiong1991 OP @Anybfans 不难哈
|
24
xiaojiong1991 OP |
25
hahasong 2015-04-01 14:15:37 +08:00
爬dht和爬magnet是一样的源码么
|
26
mhycy 2015-04-01 14:24:48 +08:00
@hahasong 是的,目的都只是为了获得种子的hash而已,不同点在于magnet获取到hash就完了,这个工具似乎还会把种子下回来...
|
27
leemw 2015-04-01 14:28:09 +08:00
只知道这种网站流量会蹭蹭蹭的上去。。。
|
28
xiaojiong1991 OP @mhycy 对哈,主要是要解析种子内的信息
|
29
rrfeng 2015-04-01 14:54:42 +08:00
|
30
holmesabc 2015-04-01 15:00:42 +08:00
大家都在搜!!!!!
|
31
fising 2015-04-01 15:53:07 +08:00
|
32
des 2015-04-01 17:50:54 +08:00
|
36
chenzhe007 2015-04-04 01:13:33 +08:00 via iPhone
@fising btbook是我师兄做的~~确实经常被投诉。
|
37
YouXia 2015-04-04 19:42:17 +08:00
自动构建索引这块怎么做的?
|
38
xiaojiong1991 OP @YouXia 增量更新 ,然后 重建索引
|
39
jeanim 2015-05-03 19:40:21 +08:00
可以加下lz的Q?
|
40
jeanim 2015-05-03 19:41:07 +08:00
http://www.v2ex.com/t/184116
我想做一个这样的网站,但web还不太熟悉,想加Q请教下。 |
42
a308057848 2016-10-25 09:44:33 +08:00
厉害啊,非常有兴趣
|