V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  cstj0505  ›  全部回复第 23 页 / 共 36 页
回复总数  707
1 ... 19  20  21  22  23  24  25  26  27  28 ... 36  
2018-07-23 09:15:48 +08:00
回复了 sjmcefc2 创建的主题 程序员 求一个 postgresql 优化教程。
@sjmcefc2 一般机械盘的顺序写入的话是在 150MB/s 左右。

你写入的时候是用 jdbc 批量写入的吗。jdbc 有个 copy manager 的 api,你可以查一下用法,基本上能接近你的硬盘 io 上限
2018-07-18 09:18:08 +08:00
回复了 ZiLong 创建的主题 Linux 推荐 Linux 发行版作为桌面
@Akkuman 在用 debian+kde +1
2018-07-18 09:09:01 +08:00
回复了 sjmcefc2 创建的主题 程序员 求一个 postgresql 优化教程。
@sjmcefc2 忘了说了,linux 写磁盘的话会先写的缓存,所以文件小的话直接落在内存缓存了,看起来速度比较快。你测试的时候最好是写入大于内存的文件,我们一般 1.5 或者 2 倍,然后还有直接写磁盘不落缓存的参数,你可以看看,这样是比较接近于真是 io 的速度。

你如果用分区表的话,可以换普通表试试。
2018-07-17 17:56:29 +08:00
回复了 sjmcefc2 创建的主题 程序员 求一个 postgresql 优化教程。
@sjmcefc2 上次我发过一个帖子,我同事也是机械盘 3,4 亿条 400 多秒
https://www.v2ex.com/t/408181#reply112
2018-07-17 17:42:57 +08:00
回复了 sjmcefc2 创建的主题 程序员 求一个 postgresql 优化教程。
@sjmcefc2
shared_buffers 1/4 内存差不多,你可以用 fio 或者 dd 测一下你硬盘的持续 io 性能。再看看你写的时候 iostat 看看实际是多少。如果写不满,那就是数据库配置问题。不过即使默认的配置 pg 的持续写入性能还是非常高的,基本上也能接近 io 的最大能力。

你如果是分区表,只好不要直接写主表,按照你分区规则或者去系统中查找到对应的子表,然后把对应的数据直接 insert 子表,记得批量提交。用 copyin 的话性能会更快。
2018-07-17 09:19:53 +08:00
回复了 sjmcefc2 创建的主题 程序员 求一个 postgresql 优化教程。
对了,pg10 的分区表写入速度也会比较捉急,最好是对着分区直接写
2018-07-17 09:18:45 +08:00
回复了 sjmcefc2 创建的主题 程序员 求一个 postgresql 优化教程。
要想写入快把 share_mem 调大些,效果最明显。
然后再就是调整调整 io 参数,这个参考德哥比较好。
不过 pginsert、copy 已经够快了,我笔记本同样的数据测试,写 SSD,pg insert 单线程写能到 7w 行 /s,mysql 猜不到 2 万。
copyin 更是能把硬盘 io 写满,看看是不是你 io 的瓶颈。
2018-07-10 16:05:12 +08:00
回复了 wsds 创建的主题 程序员 各位 v 友,你们办工用什么邮件客户端收发邮件的?
thunderbird linux 版本,插件功能好用
2018-07-09 15:54:09 +08:00
回复了 shaojz2005 创建的主题 Linux 作为一个“全栈”,初步使用 Linux 开发的心得体验。
天天推荐 mac 不想想高配 mac 什么价格吗
2018-07-05 15:29:17 +08:00
回复了 dalieba 创建的主题 Linux AV Linux :专为多媒体开发而生的 Linux
看着名字不敢和别人介绍的水平。
你用的什么发行版:AVLinux !!!
2018-07-02 16:41:54 +08:00
回复了 cnbattle 创建的主题 Linux 运维大牛来看看, Linux 服务器宽带一直被占满
哈哈,看笑了
完整看了下视频,心情比较复杂。

如果只是某个公司做的 linux 分支肯定是赞赏的。
不过打着国产操作系统的旗号,只是做些换换壳的事情,不知道说什么
1 ... 19  20  21  22  23  24  25  26  27  28 ... 36  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3124 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 20ms · UTC 13:04 · PVG 21:04 · LAX 05:04 · JFK 08:04
Developed with CodeLauncher
♥ Do have faith in what you're doing.