V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  realpg  ›  全部回复第 81 页 / 共 431 页
回复总数  8612
1 ... 77  78  79  80  81  82  83  84  85  86 ... 431  
2020-07-24 20:18:04 +08:00
回复了 goodspb 创建的主题 程序员 每一分钟写入 10 万行数据,有啥好的方案吗?
@594duck #78

自己拼的垃圾服务器 从我机房堆里翻出来的

读写密集的数据库是全 int 表,不存在字符串,字段数极多

主要业务场景是 INSERT 进来,受限于数据不是本机软件生成,一个 INSERT 只有一条记录一次 commit,所以写查询比 delete 查询数量多,delete 都是按有效期一次删一片

基本 insert 进来的数据有效期是一天,大量分表,没分库。分表依据是基于应用逻辑的,而不是基于数据的算法分表,所
以表行数不均匀,比较少的表几十万行,比较多的 800 万行左右。

数据每天增加的量大致差不多,insert 时间不分散到每个小时,而是按一定逻辑分散。

insert 进来的数据要保存 72 天,之后删除,删旧的,保持数据库内基本保存 73 天的有效数据

删除是我自己写的分布式删除脚本,分散到一天 24 小时除了备份数据时间段的每时每刻

update 是表内数据的主要逻辑,基本主要操作都是 update 一条表记录为一个临时状态值占用,而不是用事务行锁。
2020-07-24 19:51:29 +08:00
回复了 goodspb 创建的主题 程序员 每一分钟写入 10 万行数据,有啥好的方案吗?
我这里最暴躁的一台 MYSQL,单机……

https://imgur.com/Zu24WLu
2020-07-24 19:43:30 +08:00
回复了 goodspb 创建的主题 程序员 每一分钟写入 10 万行数据,有啥好的方案吗?
@594duck #73
你这个归纳显然是有问题的
不信你弄个百万行的表试试……
面向 IPO 求职
2020-07-24 17:52:14 +08:00
回复了 heyzayz 创建的主题 Java Java 外包私活,项目代码都有啥加密或者类似技巧
@heyzayz #37
既然选择了 JAVA 或者 C#这类语言,那就做好服务,简单混淆一下就发,没必要搞别的。
2020-07-24 16:40:04 +08:00
回复了 dayFvckingByte 创建的主题 宽带症候群 400 兆宽带百度测速只有 30 兆正常吗
一级运营商的正规宽带即可,如果是弱势运营商,可能还有个合作宽带的问题,进入光猫看光衰只要不超容限就完事。
2020-07-24 16:37:20 +08:00
回复了 goodspb 创建的主题 程序员 每一分钟写入 10 万行数据,有啥好的方案吗?
@goodspb #63
仔细看了下你的全部回复并整理到一起
你这需求难度真心不大
只要数据来源层和写入数据库这两方面都可控


比如用时序数据库,改造查询报表部分,反正就 100 条数据,不要依赖 SQL 语法,直接取出全部数据用算法去计算汇总

用 KV 替代时序数据库也可以,同样改造报表部分

如果保留 MYSQL 本身,可以改变入库操作,采用 UPDATE 式入库替换掉 INSERT 入库(类似用逻辑实现 MYSQL 模拟时序库,代码方便改用代码,代码不方便处理用触发器) ,然后存储设备用高 IOPS 的 NVME 盘,或者干脆引擎用 TiDB,三副本全用 NVME 盘

方案多得是,但是更细节的东西,以及生产数据,就不是随便上网问一嘴就可以白给的了
2020-07-24 16:09:14 +08:00
回复了 goodspb 创建的主题 程序员 每一分钟写入 10 万行数据,有啥好的方案吗?
感觉什么业务模型都在楼主脑子里 然后有价值的数据和业务模型啥也没说……
2020-07-24 16:08:15 +08:00
回复了 goodspb 创建的主题 程序员 每一分钟写入 10 万行数据,有啥好的方案吗?
@goodspb #19
一分钟十万条,多久删除记录?
感觉你这个数据库存储文件很快就会过 PB 的样子……
2020-07-24 12:05:37 +08:00
回复了 FutherAll 创建的主题 程序员 有非 socket 实现的 tcp 协议吗
@FutherAll #18
直接操作网卡,发 raw data packets
2020-07-21 22:59:22 +08:00
回复了 realpg 创建的主题 程序员 [长篇娱乐连载] 网络的那些事儿(三)城域网是神马东西?
@lookas2001
等我哪天去挖沟穿缆,给你拍一些国内城市的实际遍布全城的恐怖的光网络照片

所有的国外,真的不是吹国内,美帝啥的都算上,规模、质量、覆盖率什么的,都是渣渣……

基本上,也只有 HK 、新加坡这种超高密度现代化国家 /地区,才跟国内有可比性,但是,他们的面积和覆盖量太小了……
2020-07-21 18:56:57 +08:00
回复了 diggzhang 创建的主题 MySQL MySQL 库处于完全只读模式该如何设置?
弄个用户只给 select 权限就完了
2020-07-21 15:01:31 +08:00
回复了 realpg 创建的主题 程序员 [长篇娱乐连载] 网络的那些事儿(三)城域网是神马东西?
@xavierskip #1
说实话 看到这个词我一脸懵逼 然后上网搜了一下 这个概念纯是商品化搞出来的,为了做成产品弄得命名而已。不是行业内概念

这个业务,实际上就是我文章里提到的“租用白的黑的裸光纤”里面的“租用白的”

而所谓的什么 google 用这个后面再说,先说这个暗光纤本身

实际上,很多大带宽用户都是这么接入的,以为走城域网费用,城域网传输大带宽会很贵,而直接购买净带宽资源是非常便宜的,就需要自己传输(一级运营商现在防止跟自己竞争,各种卡着不让你传输出去,不让其他人的光缆进机房,这得你有能力),但是这样的问题是,没有网管,没有监控,裸光纤这种传输设施,在网络设计中,是容易中断的,而且一个 144 芯的光缆,假如你租用的是其中的 5-6 两芯,当不是你租用的第 127 芯断了,维护商需要进行维护重新熔接时,有些故障是整根光缆都要剪断,做包,重新熔接的,可靠性是很差的。

而提到的语焉不详的那些 google 降低成本的什么的,其实就是个光缆资源互换,比如你阿里云在福华一路下面全程有 48 芯光缆,实际上用了 6 芯,腾讯云在福华三路下面有 48 芯光缆,用了 8 芯,双方签个协议就可以互相置换一定的资源,不会是资源对资源的置换,基本是约定公里数单价,然后双方各自直接占用对方的,每个月统计一下用了多少,差额付款这种形式,然后接入自己的城域网网络设备自己组可网管的城域网。


在国内,城域网覆盖主力是三大运营商,他们都是国企,有钱,这个体量的运营商之间基本是不共建的,管道井都是各自是各自的,没必要也没那个机制互相租。直到近期,因为营改增、降费等一系列压力,铁塔的接入才开始跟基站相关的网络基建共享。未来会怎么样不好说。暂时三大之间的光缆不互相占用。


比如在我公司有完整独立城域网的辽宁省的情况,电信和联通之间,工程队干活,互相心照不宣的用对方的产权管道资源是很多的,但是双方统统排斥移动,见到移动偷占两家的地井管道,基本直接剪断。不过这种情况也随着蓝牙井盖的大量普及,不好操作了,得协调。当然施工工程队里面的猫腻很多,工程队都是三家干活的,三家外皮光缆都有,自己干黑活的很多。


之前我提到了“黑的光缆”大部分都是这些工程队所有,他们自己放,部分自己有管道,部分直接偷运营商管道,而且都三家通吃,他们是市场上最大的城市内裸纤提供商。

他们光缆都直接从运营商拿,干活都是运营商派活时候自己偷偷多放一根,近似无本买卖,而且他们日常就是给运营商巡管道井的人员负责维护,这比什么暗光纤便宜多了。
2020-07-21 00:38:08 +08:00
回复了 ninblue 创建的主题 MySQL 想问问 mysql 要怎么优化才能做到支持每秒一亿并发
@GM #53
一级运营商的目录价,15/Mbps*月,从来没有傻逼用这个价签合同的……
2020-07-21 00:33:18 +08:00
回复了 ninblue 创建的主题 MySQL 想问问 mysql 要怎么优化才能做到支持每秒一亿并发
@GM #53
来吧 我们签合同 一级运营商三家随便选 一个净 10Gbps 端口只要 15 万,50Gbps 就 75 万,全中国除了西藏新疆,任何省任何运营商都可以~

抖音直播还是啥直播?
2020-07-20 15:36:44 +08:00
回复了 ninblue 创建的主题 MySQL 想问问 mysql 要怎么优化才能做到支持每秒一亿并发
@GM
五个万兆,就算是公网带宽也没几个钱。。。
数据库又不是公网应用
@maduoduo
生病了 发烧快 40 了迷迷糊糊

如果你愿意听我就多说句。
打赏当然可以有,要不搞公众号干啥。。。也没必要捐啥,凭本事挣的。

当你在下面扔垃圾广告联盟的时候,用户体验什么的你就已经抛之脑后了,为了变现不择手段了
1 ... 77  78  79  80  81  82  83  84  85  86 ... 431  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3396 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 79ms · UTC 11:51 · PVG 19:51 · LAX 03:51 · JFK 06:51
Developed with CodeLauncher
♥ Do have faith in what you're doing.