小程序埋点上报的数据，往 mysql 存是可以的吗

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

› MySQL 5.5 Community Server

› MySQL 5.6 Community Server

› Percona Configuration Wizard

› XtraBackup 搭建主从复制

Great Sites on MySQL

› Percona

› MySQL Performance Blog

› Severalnines

推荐管理工具

› Sequel Pro

› phpMyAdmin

推荐书目

› MySQL Cookbook

MySQL 相关项目

› MariaDB

› Drizzle

参考文档

› http://mysql-python.sourceforge.net/MySQLdb.html

这是一个创建于 846 天前的主题，其中的信息可能已经有所发展或是发生改变。

公司小程序，加了手动埋点(他们希望数据人性化一点，而不是每个地方都打，打出来的内容很死板)，所以在一些关键事件打上上报事件的 api 接口，发到服务器，服务器存入 mysql 。现在有 38w 行记录了，感觉后面会撑爆，有点担心，要不要换个 es ？(特小一个公司)

MySQL

埋点

上报

服务器

57 条回复 • 2022-08-01 21:01:56 +08:00

linauror

2022-07-29 17:09:49 +08:00

38W 行还好吧，到千万以上可以再考虑使用其他来存储

Ufo666

2022-07-29 17:13:39 +08:00

@linauror 还有其他事件记录的表，300w 了

dongcxcx

2022-07-29 17:14:32 +08:00

38w 的数据是多久的,日增?还是?
这些数据是必须要永久存在吗,如果类似日志这种,保留几个月即可的,定时归档把.

Ufo666

2022-07-29 17:14:34 +08:00

@linauror 小慌ヾ(ｏ･ω･)ﾉ

Ufo666

2022-07-29 17:15:32 +08:00

@dongcxcx 客户那边就说肯定要一直存着...目前日增不多，但是后面用户多了，就...就现在还是要考虑考虑

0703wzq

2022-07-29 17:16:07 +08:00

定时归档，分表存放即可

dongcxcx

2022-07-29 17:18:57 +08:00

分库分表就够了, 小公司你确定有人手来运维 es?

haya

2022-07-29 17:19:24 +08:00

单机 clickhouse 就行

Ufo666

2022-07-29 17:20:15 +08:00

@dongcxcx 不瞒您说，这里就我一个搞代码的

fiypig

2022-07-29 17:22:08 +08:00

其实没做数据分析什么的 ,一般旧数据就是垃圾数据了, 做定时清理是最好的选择

keepeye

2022-07-29 17:26:50 +08:00

不是永久保留的可以定期清理，算一下日增长，看看会维持在什么量级，千万级都不用多虑

tomczhen

2022-07-29 17:28:36 +08:00 via Android

小公司资源不足的话，代码和人有一个能跑就行了。

potatowish

2022-07-29 17:42:07 +08:00 via iPhone

小公司不用担心，这点数据量 mysql 撑到你跑路都没问题

richzhu

2022-07-29 17:45:07 +08:00

也不要直接写 es 吧, 最好是写到 kafka 里, 然后由 logstash 来取数据放入到 es

james2013

2022-07-29 17:54:02 +08:00

慌啥
另建 1 个表名,专门存这种埋点数据
数据少就每 1 年手动归档一张表,数据多就 3 个月手动归档 1 张表
或者直接分表存也可以

xiangyuecn

2022-07-29 17:54:52 +08:00

坚持住，再过俩月项目就黄了

brader

2022-07-29 17:59:53 +08:00

就存 mysql 就好了，小项目没必要复杂化，几十万数据不多，你等几千万了再清理都没事，log 型的数据都是有时效性的，太久的清掉就好了，觉得有用，就备份起来就好

PopRain

2022-07-29 18:04:15 +08:00

我们一年的日志已经 36G 了。。。。我还没有考虑分表

wjfz

2022-07-29 19:18:41 +08:00

小程序官方不是有个事件分析嘛

guisheng

2022-07-29 19:23:53 +08:00 via iPhone

写个定时任务，该表名就好了。最快解决问题。如果要查也可以做处理。

NoString

2022-07-29 19:27:09 +08:00

mysql 单表千万问题不大，正常分表就行。如果查询有聚合操作或者模糊匹配这些需求的话早点上 ES/Clickhouse 这种，结合你的场景选型就行

Samuelcc

2022-07-29 19:30:47 +08:00 via Android

可以考虑 hbase

zhuweiyou

2022-07-29 20:35:32 +08:00

小程序本来就有埋点功能,非要自己存.

xiaoyangsa

2022-07-29 20:48:16 +08:00

...非要自己存，mysql 挺好。不够就加

learningman

2022-07-29 20:57:30 +08:00

建议存成 csv 直接写文件

shiny

2022-07-29 20:58:39 +08:00 via iPhone

SQL 不复杂的话存上亿条都没事

msaionyc

2022-07-29 21:00:33 +08:00

这种放 mongo 也可以吧，毕竟这个日志你们应该不需要业务上的查询，字段也不需要设计

book1925

2022-07-29 21:13:53 +08:00

想借楼问下，埋点设计有什么书或者项目可以学习参考下怎么设计怎么埋点吗？

5aSx5Lia

2022-07-29 21:33:18 +08:00

感觉没有太大必要，如果没有对查询有特殊需求，需要聚合数据这样子，没有必要用 ES ，可以通过冷热数据方式进行存储（ 38w 真的很少，相信 mysql ，千万级别都顶得住）

cp19890714

2022-07-29 22:12:59 +08:00

mysql 上亿都没事，别太小看它了。只要不做太多查询就可以。
等以后要做数据分析，再考虑把数据复制到其他数据库中。

jasonkayzk

2022-07-29 22:33:12 +08:00

埋点上报分库分表就行，周表、月表

em70

2022-07-29 22:36:34 +08:00

mysql 存过几千万的埋点,一点问题都没有,定期归档就是了

Ayanokouji

2022-07-29 22:39:14 +08:00

比如按年 /按月建一堆表，写的时候加个路由，实在不行，就每年 /每月发一次版，手动指定表

iseki

2022-07-29 22:47:41 +08:00 via Android

换 PostgreSQL （暴论
讲真几十几百万行一般情况下都不会有什么问题，只要这一行太大，索引建好

T0m008

2022-07-29 23:00:28 +08:00

用什么取决于你需要怎么使用这些数据

Felldeadbird

2022-07-30 00:06:36 +08:00

数据不用的话，就是死数据。我公司有上千万的几年数据，但是基本不用。优化都不需要。当时提需求就提得响亮。结果用不响亮。等数据量上千万，使用量频率在考虑优化。现在就去部署 ES ，我认为纯粹给自己增加工作量。

Features

2022-07-30 01:34:20 +08:00

单独建个库，日志丢里面就行，分表什么的都不用考虑

单独建库主要是为了备份主库方便

其实 100 亿行对于 MySQL 来说也不算什么

MySQL 和其他数据库自身很强大，他们在发展的历程几十年中遇到的问题比我们任何一个人一辈子遇到的问题都要多，他们也有很优雅的方式去解决这些问题

这些问题包含了超大数据
最多行数：There is a limit of (2^32)^2 (1.844E+19) rows in a MyISAM table.
最大控件：256TB
单库最大表数：20 亿

Features

2022-07-30 01:35:31 +08:00

@Features 尾部数据，是单表的指标
控件 -> 单表最大空间

lithiumii

2022-07-30 01:40:55 +08:00 via Android

前司 Matomo 埋点，直接一股脑写 mysql 了，没啥大问题

westoy

2022-07-30 03:09:22 +08:00 via Android

es 高可用的运营成本和硬件成本可比 mysql 高的多的多

documentzhangx66

2022-07-30 05:00:30 +08:00

会不会爆，要通过监控各设备性能，来观察性能是否足够。

做好主备节点、UPS 、备份。

进行删、改前，先在实验环境下测试好了后，再去生产环境上做。

documentzhangx66

2022-07-30 05:03:02 +08:00

如果为了稳，建议直接上 Oracle ，地球上最强数据库。PG 什么的就免了，最近有团体在各平台鼓吹 PG ，请不要上当。

cheng6563

2022-07-30 07:33:55 +08:00

才 300 万你慌个啥，特小的公司？那等 300 亿再说吧

ychost

2022-07-30 08:11:37 +08:00

用时序数据库简单点，比如 influxDB ，还能直观看到一个人的操作曲线

dayeye2006199

2022-07-30 08:32:20 +08:00 via Android

做成文件存对象存储吧，便宜。

下次要分析的时候再入库

realpg

2022-07-30 08:45:46 +08:00

日增 oplog 记录条数 1700 万条
MySQL 存储分表备份无压力
这玩意就看你架构设计了

我们的方案
开一个 office E5,买 25 个手机号, 25 个 onedrive 5T
每日凌晨 1 点-2 点 cron 生成次日表名
每日凌晨 3 点-4 点备份昨日数据表 sql,bzip2,删表,rclone 怼 onedrive 备份,联通 onedrive 超快,基本很快就能备份完,删本地文件