V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
这是一个专门讨论 idea 的地方。

每个人的时间,资源是有限的,有的时候你或许能够想到很多 idea,但是由于现实的限制,却并不是所有的 idea 都能够成为现实。

那这个时候,不妨可以把那些 idea 分享出来,启发别人。
xoxo419
V2EX  ›  奇思妙想

不是每个公司都 拥有大量用户及大量数据的 那么我们这些不涉及到大量数据的如去练习接触 sql 优化呢?

  •  
  •   xoxo419 · 2019-06-15 22:29:47 +08:00 · 4987 次点击
    这是一个创建于 1974 天前的主题,其中的信息可能已经有所发展或是发生改变。

    方式一、通过测试软件,基准工具生成数据

    方式二、搭建开源免费程序项目、自己写机器人模拟用户操作

    我在想的第二方式, 写一个机器人比如那 tp-shop 的源码部署好后、写好一个机器人 然后放到多个服务器中(更多好友的服务器中)自己 IP、带宽、速度都会不同 每个机器每天操作一定的数据量 这样可以在一定时间段做观察 以便更接近真实的项目.

    15 条回复    2019-06-21 17:24:11 +08:00
    sarices
        1
    sarices  
       2019-06-15 22:52:47 +08:00
    社工库
    xoxo419
        2
    xoxo419  
    OP
       2019-06-15 23:17:00 +08:00
    @sarices 这些数据怎么找的、
    lynnX
        3
    lynnX  
       2019-06-16 11:52:14 +08:00
    @xoxo419 #2 联系我
    fox0001
        4
    fox0001  
       2019-06-17 08:18:49 +08:00 via Android
    感觉掌握了一定的技巧就可以了。因为不同的情况有不同的优化方案,而且太依赖 SQL 查询会增大数据库压力(特别是只有一个数据库服务的情况…)。对于复杂的 SQL 查询,甚至需要脱离 SQL,比如:
    1 )减少数据库查询,可以用缓存服务代替,例如 memcached。

    2 )数据查询,可以用 Solr/Lucene 代替。

    3 )大型分布式数据分析统计,可以用 Hadoop。
    shuang
        5
    shuang  
       2019-06-17 08:54:46 +08:00
    换公司
    diegozhu
        6
    diegozhu  
       2019-06-17 09:45:32 +08:00
    比如 2000 万 kf 数据库啊,
    比如 csdn 密码啊。。
    jayzhong
        7
    jayzhong  
       2019-06-17 12:42:11 +08:00
    @lynnX 跟求
    cgcs
        8
    cgcs  
       2019-06-17 14:14:50 +08:00
    说明当前公司没这个需求,一定要弄的话,换个数据量大的公司
    beidounanxizi
        9
    beidounanxizi  
       2019-06-19 16:49:07 +08:00
    你的问题太笼统了 即便是数据量大 就一定存在 sql 优化吗?
    我觉得 sql 优化 你可以自己想一想阿
    数据量大 1000w 数据你可以造的出来的
    sql 优化 本质是对 B+数的熟悉阿
    Antihank
        10
    Antihank  
       2019-06-20 01:24:40 +08:00
    SQL 优化基本操作也就索引,花太多功夫在上面感觉有带你浪费时间
    Antihank
        11
    Antihank  
       2019-06-20 01:25:15 +08:00
    @Antihank "有点浪费时间"。。。加班太晚神志不清望谅解
    hjq98765
        12
    hjq98765  
       2019-06-20 17:25:11 +08:00
    TPC-DS 呗,scale 调大点儿
    hjq98765
        13
    hjq98765  
       2019-06-20 17:26:28 +08:00
    人家 tpc 官网上还有好多这种生成算法
    http://www.tpc.org/
    lynnX
        14
    lynnX  
       2019-06-21 10:08:34 +08:00
    @jayzhong #7 magnet:?xt=urn:btih:e831fcfaca5f0208009406b7b090014cef9228a9&dn=passwds
    wintercoder
        15
    wintercoder  
       2019-06-21 17:24:11 +08:00
    如果你想针对你的表结构造一些测试数据,可以试试 https://github.com/wintercoder/datamaker 如果数据量特别大,建议本地搭建
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2611 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 05:32 · PVG 13:32 · LAX 21:32 · JFK 00:32
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.