V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  jiangzhuo  ›  全部回复第 64 页 / 共 94 页
回复总数  1866
1 ... 60  61  62  63  64  65  66  67  68  69 ... 94  
2017-03-09 04:13:43 +08:00
回复了 suechen 创建的主题 职场话题 女王节的面试我们哪来的胆子歧视女性!
哎呀 又可以提 pr 了
2017-03-09 04:07:08 +08:00
回复了 moonkiller 创建的主题 问与答 b 站投稿时,什么样的电影有版权限制?
我可知道为啥 B 站视频量爆发了……
原来是搬运工多了
不是应该上午发红包领红包,下午拿着红包去逛街吗
2017-03-09 03:45:57 +08:00
回复了 lianxiaoxian 创建的主题 北京 在雍和宫,建安门上班的你们都住在哪里?
公寓比较难找,床位的话 800 还是能找到
2017-03-09 01:47:03 +08:00
回复了 prasanta 创建的主题 问与答 我的 xweb 项目上 trending 榜了!
Good 。
====一下跟题主项目无关=======
怪不得刷 star 会有生意,先刷一波 star 上榜,然后靠自然流量。洗一波用户之后,下来了再刷一波,再洗一波用户。(哎?这方式好像很眼熟哎?
2017-03-09 01:15:52 +08:00
回复了 1a1a11a 创建的主题 编程 爬虫判重
首先大家应该是用 url 判重,一般是选取 hostname 、 path 和一部分或者全部的 query 来组合进行 hash 判重。
就拿把 hash 作为 key 以 string 类型存在 redis 中来说。 计算出来的 key 的 sds 大小是 64 字节,值只有 1 字节, sds 大小 16 字节。
在没有修改 redis 配置的情况下。
然后根据 http://www.worldwidewebsize.com/ Google 索引 47 亿多一点
如果有 47 亿个不同的 url 的话,占用内存是
4700000000*( 16+16+16+64 )+8589934592*4 = 522.25G (卧槽,打自己脸了

再算算 如果楼主爬 5 亿个不同网址,大概需要 54G 的 redis ,这应该是一般能买的起的 64G 或者 96G 内存的机器。
5 亿个网址好像也超过现在的必应了。
既然是戴尔的笔记本,肯定是顶配外星人啊。
2017-03-08 17:17:05 +08:00
回复了 rocyhua 创建的主题 奇思妙想 《射雕英雄传》人物图谱
#23 那是 excel 做的吗。。
2017-03-08 14:52:24 +08:00
回复了 ryan1991 创建的主题 推广 这是真实女程序员的生活状态吗?
这是有原因的,要不为啥以前出海不让女的上船。一个道理。
2017-03-08 11:03:12 +08:00
回复了 xi_lin 创建的主题 iDev 今天好多人都收到苹果警告信了
iOS 工资涨一波,培训的可以继续开一波班了
2017-03-08 10:35:51 +08:00
回复了 zungmou 创建的主题 云计算 把家庭照片(几万张)存放到阿里云 OSS?
还是 NAS 靠谱, google 过不了几天就全面断网了,国内云安全不可信任,自建的 NAS 地震啥的还能直接抱着跑。
2017-03-07 18:27:48 +08:00
回复了 tux 创建的主题 奇思妙想 团队竞技游戏增加"评价"体系如何?也许能防喷,防演员
真要解决这喷的问题,只要匹配好以后把一队的人传送到一起就行了。能动手谁喷啊。
因为他们拿到的片源就是有字幕的。
2017-03-07 15:49:52 +08:00
回复了 wangqianfront 创建的主题 路由器 求推荐一款路由器
Ubnt EdgeRouterLite / Ubnt EdgeRouterX 用着超级爽+1
2017-03-07 15:11:03 +08:00
回复了 MaydayMasa 创建的主题 上海 求租房-张江六月份女
@artandlol 我怎么搜到的是 1993
2017-03-07 11:48:57 +08:00
回复了 carbrokers 创建的主题 职场话题 如何委婉的提示同事该刷刷鞋了,换换袜子了
让他无意中看到这个帖子
2017-03-07 10:53:53 +08:00
回复了 rekulas 创建的主题 科技 举报一流氓软件 屏幕亮度调节
win10 会根据所在位置得到当天的日落日出时间,自动调节屏幕。
这作者肯定收了微软的钱了(逃
@wkl17 我也不知道为啥苹果起这么一个名字
2017-03-06 11:22:13 +08:00
回复了 D3EP 创建的主题 NVIDIA 女朋友生日到了,读研搞 CUDA 什么的,想送个显卡
@slwl 哈哈哈
2017-03-06 11:17:59 +08:00
回复了 mokeyjay 创建的主题 自行车 ofo 这是要和摩拜对肛?
我就想知道他们什么时候换碳纤维骨架的车身和骑车给补贴。
1 ... 60  61  62  63  64  65  66  67  68  69 ... 94  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   934 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 48ms · UTC 21:18 · PVG 05:18 · LAX 13:18 · JFK 16:18
Developed with CodeLauncher
♥ Do have faith in what you're doing.