V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  realpg  ›  全部回复第 152 页 / 共 502 页
回复总数  10039
1 ... 148  149  150  151  152  153  154  155  156  157 ... 502  
2020 年 7 月 25 日
回复了 qiuai 创建的主题 分享创造 tmp.link 随时可用的存储
@qiuai #32
找了个大文件上传测试一下速度和稳定性 总是失败……
传完以后 什么移动到 storage node 然后就报错

https://i.imgur.com/nxktVZL.png
被信安系统拦截了
十有八九是未备案域名或者没在阿里云做接入
2020 年 7 月 25 日
回复了 makeitall 创建的主题 程序员 2020 年了,同步盘这玩意儿难道真的要选择付费了?
one drive E5
5TB 可扩容 25T 足够了
2020 年 7 月 25 日
回复了 goodspb 创建的主题 程序员 每一分钟写入 10 万行数据,有啥好的方案吗?
@privil #85
如果不按 ESC 中断自检层 MEMTEST 的话,要很久很久很久很久
如果按 ESC 中断自检层 MEMTEST,做普通内存自检,大概 7-30 分钟,时间比较不定,可能是某些内存有响应不好的问题
这机器基本不重启的……


@594duck #83
公司是数据中心啊
都是按需买的
机房里扣除形象项目 政府项目啥的 90%是垃圾服务器在跑应用……


@594duck #83
大数据团队?不存在的。这只是我的一个自己的小私活而已。

备份方案?应用层备份。每时每刻分布式备份,以及后半夜备份。因为应用特性导致非工作时间的直接操作性业务压力极低极低,不是关闭服务,是没啥人用了,加班的以及圈子开源部分测试 /研发团队在实际使用。后半夜有 2 小时,所有分布式任务全部停止,只保留对零星用户的服务,同时 MYSQLDUMP

@594duck #89
找不出洋垃圾?我机房现在 E5 二代 /一代的服务器大概有六千多台,每个月还新采购 100 台左右

腾讯什么的 CDN 转包那边甚至全是 1366 平台居多,2019 年 6 月份以后新增加节点才大肆上 2011 的机器

1366 的机器而论,大部分出厂日期是 2009-2010 年,我这边 2016-2017 左右采垃圾然后用于生产环境,这批机器,基本到 2020 年左右才开始逐渐影响应用的故障率稍微多一点,所以开始演进往 2011 平台走,现在新采购以 2011 为主,偶尔赶上大批量极其便宜的 1366 还会搞一些,反正自己应用很多用得上的地方

至于你说的寿命,你对硬件寿命真的,一无所知……而且你对捡垃圾这个行业也一无所知。
用 E5 二代平台的原因,主要是内存便宜。1.5TB 是这一代的内存极限,低于这个的也满地,因为廉价内存而已。
DELL 的十三代平台,垃圾渠道已经开始流通了,最大的阻碍是 D4REG 和 D4LRDIMM 内存太贵而已


比如吧 你现在天天看的国内大视频网站,他们最大的分发是廉价采购的多重转包的资源回收,这部分,基本全是在用 1366 的机器在跑(因为成本低)。


比如,我现在机房有一个小项目,某知名视频站的大概 80Gbps 的分发,16 个机柜,每个机柜 12 台服务器,共计 192 台服务器。
因为这个项目是最近谈的,直接从备用机里提了 192 台 R720xd,客户对 CPU 和内存要求不高,所以上的 2640v2 双路,64G/128G 内存,每台机器 12 块 2TB 垃圾 SSD+魔改 H710 为 HBA 。没几个成本。


如果这个项目要是 2018 年接的,那么基本上当时就是配 R510/C2100 这种机器+双路 L5640+48GRAM+2TB*10 了
2020 年 7 月 24 日
回复了 vicou 创建的主题 云计算 除了 v2ex,还有哪里有比较好的云计算论坛?
你想多了
云计算论坛最后结果就是满屏卖梯子 VPS 的和发 aliyun 腾讯云返利连接的
2020 年 7 月 24 日
回复了 goodspb 创建的主题 程序员 每一分钟写入 10 万行数据,有啥好的方案吗?
存储配置是 数据盘 8 NVME 盘 RAID10 高性能的数据中心级 NVME
机器是洋垃圾二代 E5 双路,配 1.5TB RAM
2020 年 7 月 24 日
回复了 goodspb 创建的主题 程序员 每一分钟写入 10 万行数据,有啥好的方案吗?
@594duck #78

自己拼的垃圾服务器 从我机房堆里翻出来的

读写密集的数据库是全 int 表,不存在字符串,字段数极多

主要业务场景是 INSERT 进来,受限于数据不是本机软件生成,一个 INSERT 只有一条记录一次 commit,所以写查询比 delete 查询数量多,delete 都是按有效期一次删一片

基本 insert 进来的数据有效期是一天,大量分表,没分库。分表依据是基于应用逻辑的,而不是基于数据的算法分表,所
以表行数不均匀,比较少的表几十万行,比较多的 800 万行左右。

数据每天增加的量大致差不多,insert 时间不分散到每个小时,而是按一定逻辑分散。

insert 进来的数据要保存 72 天,之后删除,删旧的,保持数据库内基本保存 73 天的有效数据

删除是我自己写的分布式删除脚本,分散到一天 24 小时除了备份数据时间段的每时每刻

update 是表内数据的主要逻辑,基本主要操作都是 update 一条表记录为一个临时状态值占用,而不是用事务行锁。
2020 年 7 月 24 日
回复了 goodspb 创建的主题 程序员 每一分钟写入 10 万行数据,有啥好的方案吗?
我这里最暴躁的一台 MYSQL,单机……

https://imgur.com/Zu24WLu
2020 年 7 月 24 日
回复了 goodspb 创建的主题 程序员 每一分钟写入 10 万行数据,有啥好的方案吗?
@594duck #73
你这个归纳显然是有问题的
不信你弄个百万行的表试试……
面向 IPO 求职
2020 年 7 月 24 日
回复了 heyzayz 创建的主题 Java Java 外包私活,项目代码都有啥加密或者类似技巧
@heyzayz #37
既然选择了 JAVA 或者 C#这类语言,那就做好服务,简单混淆一下就发,没必要搞别的。
2020 年 7 月 24 日
回复了 dayFvckingByte 创建的主题 宽带症候群 400 兆宽带百度测速只有 30 兆正常吗
一级运营商的正规宽带即可,如果是弱势运营商,可能还有个合作宽带的问题,进入光猫看光衰只要不超容限就完事。
2020 年 7 月 24 日
回复了 goodspb 创建的主题 程序员 每一分钟写入 10 万行数据,有啥好的方案吗?
@goodspb #63
仔细看了下你的全部回复并整理到一起
你这需求难度真心不大
只要数据来源层和写入数据库这两方面都可控


比如用时序数据库,改造查询报表部分,反正就 100 条数据,不要依赖 SQL 语法,直接取出全部数据用算法去计算汇总

用 KV 替代时序数据库也可以,同样改造报表部分

如果保留 MYSQL 本身,可以改变入库操作,采用 UPDATE 式入库替换掉 INSERT 入库(类似用逻辑实现 MYSQL 模拟时序库,代码方便改用代码,代码不方便处理用触发器) ,然后存储设备用高 IOPS 的 NVME 盘,或者干脆引擎用 TiDB,三副本全用 NVME 盘

方案多得是,但是更细节的东西,以及生产数据,就不是随便上网问一嘴就可以白给的了
2020 年 7 月 24 日
回复了 goodspb 创建的主题 程序员 每一分钟写入 10 万行数据,有啥好的方案吗?
感觉什么业务模型都在楼主脑子里 然后有价值的数据和业务模型啥也没说……
2020 年 7 月 24 日
回复了 goodspb 创建的主题 程序员 每一分钟写入 10 万行数据,有啥好的方案吗?
@goodspb #19
一分钟十万条,多久删除记录?
感觉你这个数据库存储文件很快就会过 PB 的样子……
2020 年 7 月 24 日
回复了 FutherAll 创建的主题 程序员 有非 socket 实现的 tcp 协议吗
@FutherAll #18
直接操作网卡,发 raw data packets
1 ... 148  149  150  151  152  153  154  155  156  157 ... 502  
关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   5548 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 150ms · UTC 08:13 · PVG 16:13 · LAX 00:13 · JFK 03:13
♥ Do have faith in what you're doing.