1
yangqi 2014-06-07 00:16:01 +08:00 1
为什么不hack一个防屏蔽的方案呢?比重造轮子要简单多了吧,我第一个想到的是类似tor之类的?
|
2
fangzhzh 2014-06-07 00:16:24 +08:00 via Android 1
duckduckgo 欢迎你
|
3
kslr 2014-06-07 00:17:02 +08:00
支持,可惜对搜索一点都不懂。
|
4
JoyNeop 2014-06-07 00:22:41 +08:00 via iPad
翻墙多轻松啊。。。再说还可以反代呢。。。
|
5
Seita 2014-06-07 00:26:53 +08:00 2
Why not hack the ZF...
|
7
cbsw OP |
8
dorentus 2014-06-07 00:34:48 +08:00 1
|
9
sobigfish 2014-06-07 00:35:26 +08:00
说的好像重建 一个google很容易似的。。。
|
10
leavic 2014-06-07 00:37:45 +08:00
autoddvpn就好了嘛,这么麻烦干啥.
VPN都舍不得买,又不能移民,就别当码农了. |
11
cbsw OP |
12
YouXia 2014-06-07 00:46:58 +08:00 1
首先你需要很多钱来租服务器,然后服务器放到哪里?
|
13
yangqi 2014-06-07 00:49:16 +08:00
|
15
wb14123 2014-06-07 00:55:38 +08:00
1. 资源和技术问题。Google积累了那么多年,怎么可能说做就做出来一个类似的。
2. 在国内,就算你做出来了,还是要被审查。 |
16
Mutoo 2014-06-07 01:03:23 +08:00
|
19
clrowd 2014-06-07 01:09:03 +08:00
现在的情况是就算你真的hack了一个Google
ZF也不会让它活下来吧 |
20
jdqingm 2014-06-07 01:10:03 +08:00
如果你够厉害,可以算明白,可以弄一个出来,总要开始弄…
|
21
Aether 2014-06-07 01:13:48 +08:00
因为会被ZF轻易秒杀。
|
22
DreaMQ 2014-06-07 01:17:24 +08:00 via Android 1
hack出来迟早被GFW干掉
所以还是hack反GFW的方法吧,省时省力 |
23
so898 2014-06-07 01:29:43 +08:00
嘛,这个事情是我提出来的,我就负责任一点说一下我的看法吧
首先,关于@clrowd 、@Aether 和@DreaMQ 担忧,我觉得是不存在的,因为如果说要做这个引擎,Politice Free肯定是需要,GFW敏感内容肯定也是为自身发展考虑的内容之一,也许最后会和百度一样建立一套过滤政策。 之后,关于@YouXia 的钱的问题,这个实际上完全不用考虑。因为一旦这个搜索引擎被建立起来,那么这将会同时是一个针对程序员的(垂直领域,针对性极高)广告平台,各种培训机构、程序员社区、第三方服务等等内容的广告请求会接踵而至,更重要的是,整个搜索引擎的想象空间极大,盈利模式甚至可以照抄谷歌,所以拿出东西之后拿到投资的概率也是极高的。 最后,关于上面很多人说的技术难点,作为一名渣渣级程序员,我之前做过一点浅薄的研究,简单来说就是对网站进行垂直领域分化,筛选特定的网络资源进行索引,降低整个数据库的开发成本和储存成本,同时保证搜索结果针对性,之后使用Handloop之类的大数据索引技术来制作引擎。 整的来说,搜索引擎要做的,不是去实现一个谷歌,而是去实现一个在墙内可用的、针对程序员人群的专用搜索引擎。 |
25
codeplay 2014-06-07 01:41:43 +08:00 6
你觉得只要不碰政治、不碰历史、不碰暴力、不碰色情、不碰宗教,应该没有人来找我麻烦吧?
我只能说:呵呵 张朝阳们踌躇满志的买下《生活大爆炸》版权的时候也是这么想的 |
26
hitigon 2014-06-07 01:51:09 +08:00
楼主有想法要做是很好的,很支持
但楼主说政府封了一家网站,你做个“特制的”网站的克隆(并认为可以躲避审查)就叫黑客精神…… |
27
codepiano 2014-06-07 01:57:37 +08:00 4
我觉得人至少应该有点自知之明
|
28
Linxing 2014-06-07 02:00:50 +08:00
我觉得翻墙比造一个Google简单很多,但是楼主的想法不错,但是有木有想过如果你造的Google又被ZF封杀了呢?
|
29
peartail 2014-06-07 02:00:53 +08:00 via iPad 1
自己做搜索引擎。。。别闹。
|
30
hepin1989 2014-06-07 02:05:25 +08:00
你先写个demo出来
|
32
so898 2014-06-07 02:14:24 +08:00 1
@codeplay
你这说的太绝对了,要真实按照你这么说,国内的门户网站、论坛什么的不早该关门了。 《生活大爆炸》这个绝对不是一个很好的例子,因为在张朝阳们买下版权的时候,国内(广电)对于网络播放的电视剧基本上没有任何审查制度,现在是广电刚刚进入这个领域开始审查的时候。搜索引擎这玩意又不是灰色区域(要是灰色区域百度早就被搞死了),政策都摆在台面上(百度老大试水这么多年,政策基本上都有规则可以参考),和灰色地带的网络电视剧不一样的。 我觉得在中国做互联网,要抱着张树新的那种想法:“有政策是一件好事,这证明了这个领域的政府重视程度,同时明确了整个领域的规则” |
33
icloudnet 2014-06-07 02:39:03 +08:00
所以出现了<strong> Bitcoin </strong>
|
34
chlx 2014-06-07 02:45:07 +08:00
技术的Google能轻易杯clone?
不能相信 |
35
chlx 2014-06-07 02:45:34 +08:00
typo:
杯 -> 被 |
36
codeplay 2014-06-07 02:55:20 +08:00 via iPad 1
@so898
不一定那么极端,但请以最大的恶意揣度天朝! 《生活大爆炸》绝对不是审查的问题吧,否则很难解释《绝命毒师》这种口味偏重,但受众相对小的片子为何存活?官方给出的解释里也不是这个剧没有审查。 换个例子吧,余华说张艺谋在拍《活着》的时候,张艺谋信誓旦旦,知道哪些东西删掉,那些东西修改就可以通过审查,余华说那时他觉得张艺谋很牛逼,后来片子被禁掉了,余华说他那时觉得共产党很牛逼。 所谓与政治绝缘的所谓纯技术本身就是个值得怀疑的概念:移动TD、WAPI、甚至GFW本身是纯技术问题吗? |
38
dorentus 2014-06-07 03:01:50 +08:00 via iPhone 1
你把做搜索引擎也想得太简单了
|
41
dorentus 2014-06-07 03:07:29 +08:00 via iPhone
另外国内当然有众筹平台,似乎还不止一个
不过呢,任何项目,不管是开源也好众筹也罢,至少在开始的时候得有一个很小的团队乃至一个人来负责运作,就算没能有原型,也得有实际可行的计划,否则它永远就是个无法实现的「点子」,这世界上最不缺的就是这个了。 |
42
dorentus 2014-06-07 03:15:02 +08:00 via iPhone
然后对于这个点子,我猜大致是这样:
1)技术上有能力搞的人大多已经在做一些有趣的项目,没时间 2)暂时能力不够但有时间且感兴趣的人,假如花个几年在里面,最终能力 OK 了,然后就变成 1)的情形了 ---- 你自己都说了以技术对抗政治终将失败,为啥还有想着用技术的方法解决一个政治性的问题… |
43
0400295 2014-06-07 07:15:09 +08:00
外贸也需要google的,楼主
|
44
url 2014-06-07 07:23:29 +08:00 via Android
这不是几个几十个大牛能做了的事,再补个觉吧
|
45
cbsw OP 就不一一@了,这里集中回复一下。
那些以为我要 hack 一个 Google 的请再看看帖子内容,不要被标题误导了 那些认为这个专业搜索引擎在还没出炉前就会被 ZF 封杀的,有没有想过这个问题,ZF 之所以没有完全封杀 Google 的原因在于科研人员和 IT 界离不开 Google,国内没有相应好的替代。如果有人做出还算不错的替代,ZF 一定是支持的,同时也可以名正言顺的彻底屏蔽 Google 了,正如 Facebook、Twitter、Youtube 之类的(相比被封杀大家或许更应该关心这个替代品的质量问题)。这个专业的搜索引擎自身其实相当于建立了一套审查制度,因而我觉得不需要担心 ZF 封杀,真正需要考虑的是资金和技术问题。 当然个人目前是渣渣技术,同时也是一穷二白的学生,不过既然是 ideas 里的东西,个人没法实现不代表别人也没法实现,也许看过这个帖子之后已经有人在开始行动了,请允许我以最大的好意揣度V社,我们这里只是讨论可能性和存在的一些问题。虽说有的回复非常打击人,但提到的各种问题都很好,一个最初停留在头脑中的 idea 正是需要这样各种方面的问题去轰击和评估可行性。 |
46
zhujinliang 2014-06-07 07:37:00 +08:00 via Android
1. 建造专业搜索引擎技术难度很大,投入很大,很难实现
2. 审查有时候也只是个借口,有时候是官商勾结的结果 3. 对于审查和封锁绝不退让,绝不纵容 4. 即使搜索引擎可自制,youtube,sourceforge上的资源如何自制?python可否自制? 4. 翻墙目前一段时间内还足够好用,你要是肯付钱购买服务的话。提供服务者要购买,维护,替换掉被屏蔽的服务器,我觉得还是值这个钱的 |
47
ototsuyume 2014-06-07 07:40:23 +08:00
搜索引擎真的那么容易做疼讯就不会花好几十亿折腾搜搜那么多年又送给搜狗了
|
48
2ex 2014-06-07 07:41:27 +08:00 1
别闹了,买个vpn吧
|
49
ysjdx 2014-06-07 07:42:20 +08:00
想搭个搜索引擎很容易,想做个跟google一样好用的搜索引擎不是几个、几十个技术人员凭着兴趣跟爱好用业余时间能搞出来的
|
50
LINAICAI 2014-06-07 08:16:41 +08:00
|
51
xingxiucun 2014-06-07 08:18:12 +08:00
哈哈哈 百度当初也是这么个想法。。。
|
52
jw 2014-06-07 08:19:24 +08:00 via Android
别闹,做google反代吧
|
53
notcome 2014-06-07 09:00:21 +08:00
楼主的意思是只索引 IT 相关的内容是吗,先从 StackOverflow、GitHub、SourceForge 等开始爬起,然后对于爬到的所有链接做内容分析,如果是 IT 技术相关的就继续爬,否则直接丢掉,是这样的吗?
或许这不仅仅是 Google 墙内版那么简单了,对于一些名字比较糟糕的项目,比如 Delegate,Jade,使用这个引擎实际上比 Google 还要方便。 只是技术问题的话…… |
54
notcome 2014-06-07 09:05:14 +08:00
或者泛化一下(考虑到科研需求),对文章进行分类:
生物学 => 分子生物学 | 动物学 | 植物学 | 生物化学 数学 => 研究级数学 | 家庭作业 IT => 工业界(前端,后端,移动端) | 学术界(编译技术、etc) |
55
kid177 2014-06-07 09:24:27 +08:00
baidu的人也不傻吧?
如果真能这么轻松的做出来baidu还不早就去改善他们的搜索结果了? |
56
66CCFF 2014-06-07 09:28:58 +08:00
弄出来一个google得花多少钱啊。。
|
57
wdkwdkwdk 2014-06-07 09:31:55 +08:00 1
为自由铺路也是黑客精神的伟大之处吧
|
58
Roboo 2014-06-07 09:42:51 +08:00 via Android
别逗了
还不如搞个安全高效的代理 |
59
epiccheese 2014-06-07 09:58:14 +08:00
58楼说出了心声。。。。
|
60
ovear 2014-06-07 10:05:49 +08:00
其实。。菊苣们都不知道搜索引擎还有分类的么?
以前流行了一段时间的谷娘等等,都是属于”元搜索引擎“ 也就是所谓的聚合搜索引擎。 但是问题在于访问量大了之后会被干掉?我倒对这个有点兴趣,有没有菊苣原因加我一个一起搞的? |
61
Xs0ul 2014-06-07 10:18:15 +08:00
@cbsw 楼主面对审查的想法是,这个搜索引擎只搜it及学术相关,所以zf会支持,顺带把原版google屏蔽了?那合着普通人就全得去用百度了?
开个玩笑,感觉还不如强力审查、针对性屏蔽的gfw来过滤google的内容。。。 |
62
vigoss 2014-06-07 10:42:35 +08:00 via iPhone
楼主确实有点搞笑啊,我还以为要想办法做反代呢。说的好像随便几个人就能轻松超越百度谷歌似的。
|
63
qian19876025 2014-06-07 10:47:22 +08:00
楼主 牛 可 行动呢?
|
64
YouXia 2014-06-07 10:51:52 +08:00
@so898
那是因为别人能拉到风投之类的,当一个项目能拉到风投后,就不能按照你自己想象的样子去实现了。这个项目本身就不是以盈利为目的的,谁会给你投资?如果以盈利为目的,那来自投资人的压力下,网站基本上就会变质了。 最后,虽然国内百度,360,搜狗并不怎么样,但是这也太小瞧他们了吧,腾讯烧几十亿做了一个失败产品,你以为靠开源能做成什么样? |
65
marklrh 2014-06-07 10:58:10 +08:00
Google的技术可不是一群人(甚至把全中国的高手)聚在一起就能做到的。比如Google的Mapreduce一篇论文引出了其他巨头开发的Hadoop,但是Mapreduce不知道比Hadoop高到哪里去了。还有遍布全世界的世界中心,这些优势不是短时间能做到的。你看到的只是个搜索框,可是背后十几年的领先全世界的专利技术你看到了么?
不过,LZ的精神可嘉,有理想总是好的,真心给你点个赞。 |
66
haptap 2014-06-07 10:58:14 +08:00
zf把Google屏蔽掉,解决方案难道不应该是hack GFW或者向zf提意见吗(虽说不现实),为什么反而是hack个Google出来?
|
68
creamiced 2014-06-07 10:59:00 +08:00
@zhujinliang 对于审查和封锁绝不退让,绝不纵容+1
楼上基本都在讨论技术问题,没人想想我们为什么要开始自我审查吗 |
69
hellov22ex 2014-06-07 11:10:36 +08:00
楼主,你这样个想法还不如让GFW帮我们限制下关键词
|
70
HowardMei 2014-06-07 11:16:38 +08:00
楼主的想法没什么可贬低的,但缺乏一个关键考虑,科技搜索引擎怎么生存,就不说盈利,能维持盈亏平衡就不错了,办法有很多,能实践成功的估计很少。
@Seita 如果你的Hack ZF是指投诉促改进之类,很有意义;但是如果是指重新搞一套或者照搬普世大法,那我只能嘲笑你的无知和鲁莽,这比楼主Hack A New Google还扯淡,后者至少有迹可循,真不计工本投入也能搞出个差不离的,科技至少是属于客观世界的,可重复实现率100%;前者连执政党本身都还在摸索中,各种理论明里暗里都试验了个遍,不知道你对Hack坏了有什么后备措施?还是你觉得我们这代老愤青们都比你笨、比你胆子小? |
71
Mihuwa 2014-06-07 11:19:33 +08:00 via iPhone
google自己都没办法解决的问题,其他人不可能会做的更好。
|
72
codepiano 2014-06-07 11:24:01 +08:00 1
@cbsw 你可以看看《浪潮之巅》《数学之美》里面关于google和搜索的章节,有很多学术性的东西在里面,再多的搬民工也盖不出来摩天大楼
|
73
hahastudio 2014-06-07 11:24:59 +08:00
想法挺好的
我也很好奇Google有些细节是怎么实现的 你想搜索引擎都是给个关键词查网页,为什么Google总能查到我想要的,而Baidu命中的概率就会低一些,这绝对是个有趣的话题 但是吧,做个比如说专注于学术搜索的网站,最后的问题是,你要放哪? 放国内,面对审查内容分分钟来电话要你删,不删拔网线 放国外,GFW里又多个关键词 |
74
HowardMei 2014-06-07 11:33:46 +08:00
@creamiced 当然是因为政治有缺陷,需要掩盖很多东西啊,这还要问为什么,你不会觉得真是为了保护青少年吧?这里也不适合太多展开。问题是,政治这种东西,动一动伤筋动骨,搞不好就血流成河,古今中外概莫能外。改进不容易,重构更难,不到逼不得已,不能轻言重构,因为谁也不知道重构出个什么玩意出来。
软件好歹有架构师主导,社会呢?一旦失序,谁最会忽悠谁主导,架构师算哪根葱?更不用说根本不存在成功率大于0.5的社会架构师,个人觉得,与其像法国那样来回折腾4~5次,不如学英国人慢慢软磨硬泡,什么时候离开强势政府,社会也能自己井然有序了,再来谈怎么重构政治。 |
75
HowardMei 2014-06-07 11:41:50 +08:00
@hahastudio 照抄一个肯定不行,太集中式也不行,估计要用一点p2p,爬完的快照分布式地存在同一个城市的若干电脑和服务器中,盈利可以考虑付费订阅,然后用类似bitcoin的方法,给信息储存者和中文原创作者足够激励,运营方靠订阅和其他方式盈利,比如销售各类软件。
|
78
Zhang 2014-06-07 12:11:37 +08:00
Don't rebuild the wheels!
|
80
ChanneW 2014-06-07 12:54:48 +08:00
搜到了,看不到怎么办.
|
81
hslx111 2014-06-07 13:22:15 +08:00
关键是GW不止屏蔽了google,还屏蔽了很多其他的网站。google只是工具,我们真正想得到的是通过它搜索出来的结果,虽然你可以hack一个google,但跳转的那些被屏蔽的网站你也能都hack一遍吗?
|
82
Pixeller 2014-06-07 13:39:05 +08:00
大水b你好再见, 你的想法就好象准备建一个无收入的s情网站, 有人会建?
|
83
chlx 2014-06-07 13:47:21 +08:00
@hahastudio 这里面涉及了大量的研究. keywords: sigir ...
|
84
SharkIng 2014-06-07 14:03:02 +08:00
我们不仅仅需要的是搜索,还有Google的其他服务
|
85
loading 2014-06-07 14:03:45 +08:00 via iPhone
呵呵,谷歌都搞不定的公关!
我觉得 lz 的想法实现起来,还不如收购了百度…… |
86
pandada8 2014-06-07 14:09:54 +08:00 via iPhone
一个无缘无故没有任何理由就屏蔽网站的屏蔽政策才是问题所在。
|
87
vicacheung 2014-06-07 15:12:33 +08:00
程序员的想法果然很可爱。
|
88
dkmilan 2014-06-07 16:20:59 +08:00
这个问题吧。。。 简单的说呢,楼主你想做一个Google的技术内容子集,只抓取指定站点的内容,技术上用hadoop实现。
问题在于。。。咱们都说了,百度的结果专业度不够,不适合程序员用。那么。。。你如何保证咱们做的比百度搜狗的结果更好呢。。 |
89
chairuosen 2014-06-07 16:48:00 +08:00 2
你能请来Jeff dean么?或者弄出第二个来给编译器警告的大牛
|
90
M4ster 2014-06-07 18:27:03 +08:00
若是这个平台又被墙了呢?
|
91
MarshallChen 2014-06-07 19:26:04 +08:00
你搜到了不一定能看到。。。这是个伪命题
|
92
Giinez 2014-06-07 19:42:01 +08:00 1
看了各位的讨论,我说说我的想法,对我们这些人来说,我们用的更多的就是IT方面的内容,循着这个思路,我们是否可以造一个和google类似的而只定向抓取一些IT网站,像一些it类的.org。sf、githud、个人博客等等,没被索引的可以自己提交网址,其他一律不涉及,这样可以节省资源,命中率高,又可以别面一些不必要的麻烦。不知是否可行?
|
93
rannnn 2014-06-07 19:46:37 +08:00
这个帖子是『只缺一个程序员』梗的加强版吗?
|
95
shoumu 2014-06-07 20:30:53 +08:00
我觉得楼主倒是可以先研究一下搜索引擎技术再看
|
96
summer 2014-06-07 21:05:04 +08:00
如果我能找到一个程序员,hack gfw甚至zf都轻而易举。更别说google了
|
97
xiaxiaokang 2014-06-07 21:29:56 +08:00
国内除非有国家支持。否者想都别想!
百度为什么会做烂、从某种角度讲。百度是自己把自己给毁了!国人在利益面前永远是会妥协的。从公司性质比。google永远是技术人多余销售。百度销售永远多余技术。 |
98
Actrace 2014-06-07 22:06:01 +08:00
制度是为既得利益者们服务的(不管在天朝还是在美帝),其他一些官方词汇都只是掩饰的借口而已.
所以,想要"自由"活着,要么你进入这个群体,要么选择彻底离开(肉翻). 我想大部分人都是选择了前者. 反观"版权"这种东西,难道你认为真的是为著作者服务的吗?美帝世界也不是那么好混的. 所以即使你做了一个google出来,在国内,即使你没有明文政策上的冲突,最终也会和百度之流起利益上的冲突,到时候你怎么办? |
99
daniel7725 2014-06-07 22:28:58 +08:00 1
楼上的各位亲们,这是ideas板块好嘛~
既然是点子,肯定有它存在的问题,难道我们不应该想想有没有办法解决或规避大家说的问题吗?为什么要挥搬砖,泼冷水呢~ 技术上,开源项目,国内的程序员肯定能打造出来。 政策上,用来做科技、技术板块的专业搜索引擎,没那么大阻碍吧? 资金上,捐赠?收购? 不是没有可能啊~ 当想都不敢想的时候,心永远被禁锢在墙里,身体翻出去又怎样? |
100
jsonline 2014-06-07 22:32:04 +08:00 1
hack GFW 才是正确的价值观吧。
|