1
aru 2023-06-07 14:26:37 +08:00 1
数据就是干这活的呀
市面上很多数仓产品,大部分都是有定制化开发的,就看你们有多少预算做这个事情 |
2
sss495088732 2023-06-07 14:27:30 +08:00 1
oss+foreign table+bi
|
3
sijue 2023-06-07 14:32:48 +08:00 1
代码使用 httpClient 直接访问第三方公司页面 http 的请求,获取返回的 excel ,解析 excel 写入 mysql ,然后从 mysql 定时写入数仓
|
4
hhjswf 2023-06-07 14:33:24 +08:00 1
就这么点需求感觉没有数仓的必要,一般是考虑大数据量的实时或者离线计算才引入。
|
5
xuelang 2023-06-07 14:36:15 +08:00 1
最简单就是用 clickhouse 了,直接 Excel 导入 clickhouse 表,秒级分析。。
|
7
liprais 2023-06-07 14:36:49 +08:00 1
你先把你想要的做出来
就知道怎么做了 |
9
optional 2023-06-07 14:50:23 +08:00 via iPhone 1
数仓=etl 工程师+报表工程师。
理想很美好,各部门都准备好数据。 实际很现实,数据都要自己去扣,自己找资源整合数据。 |
11
tensorzhang 2023-06-07 14:56:05 +08:00 1
直接去找专业的公司就好了,例如神策之类的。能花钱尽量自己不动手
|
12
sujin190 2023-06-07 15:03:47 +08:00 1
这事看起来没啥复杂的,就是累人,图表显示还好,既有开源系统可以用各种云厂商也有,收集数据确实麻烦,一般也不标准化,或许可以看看各种 pra 工具能不能搞搞
|
13
voids OP 感谢各位老哥,我大概知道方向了。
|
14
xuelang 2023-06-07 15:15:36 +08:00 1
clickhouse + grafana / redash 都行,肯花钱就直接买云服务,不舍得就自己部署,也是很简单的
|
15
vincent7245 2023-06-07 15:49:45 +08:00 1
友情提醒 OP ,如果只有你自己维护这套系统,别弄太复杂,如果 mysql 这种数据库就能满足你的需求,那就用 mysql 。如果你们没有 BI 部门,没有专业的大数据开发,别搞数仓那一套东西,光运维这套系统就能累死你。
|
16
qzwmjv 2023-06-07 15:59:59 +08:00 1
你这个不需要大数据,合理的数据库就行了,就是需要 ETL 工程师写解析任务
|